전체 글

#️⃣S3-Lifecycle Rules 1) Transition objects between storage class 2) Lifecycle Rules Rule은 특정 prefix 혹은 Tags 단위로 생성 가능 1. Transition Actions 특정 기간 후에 object를 다른 storage class로 transition(옮기는) 설정 Move obj to Standard IA class 60 days after creation 2. Expiration Actions 특정 기간 후에 object를 expire(delete) 하는 설정 Can be used to delete old versions of files (if versioning is enable) #️⃣S3 Analytics Stor..

🌟 새로 알게된 점 - docker-compose network 부분 back과 front로 나누기 - docker-compose up은 # build => create => start 과정 - docker-compose 옵션 중 healthcheck Docker Compose란? 다수의 Container로 소프트웨어가 구성되는 경우 사용할 수 있는 환경 설정 파일 파일 : docker-compose.yaml 혹은 .yml 다른 이름 파일 사용시 -f 옵션 사용 docker-compose -f docker-compose.mac.yml up Docker Compose v.1.27+ 부터 v2와 v3가 합쳐짐 v1은 docker-compose, v2는 docker compose인데, 대부분의 문서가 dock..

오늘은 Docker Volume과 Network에 대해 학습하였다. Docker Volume은 이전에 사용한 적이 있어서 알고 있었는데, Docker Volume의 타입과 Docker Network는 이번에 처음 알게되어 정리해본다. Docker Volume이란? 호스트 파일 시스템 폴더를 Docker Container 파일 시스템의 폴더로 마운트하는 것 쉽게 말해, Docker Container내의 가상 파일 시스템과 호스트 시스템의 파일 시스템을 맵핑하는 것이다 (특정 폴더를 공유하는 것) 이는 컨테이너가 중지되거나 삭제되어도, 데이터가 영구적으로 보관되고 재사용될 수 있도록 한다. #️⃣ 1) Docker Volume 타입 Docker Volume에도 지정하는 방식에 따라 타입이 나뉜다. 만약 Vo..

Github Action을 이용하여 파이썬 코드를 확인하고, 자동적으로 Docker Image로 빌드해주는 CI를 구현해보는 실습을 진행하였다. 이를 기억하기 위해 관련 이론과 실습 내용을 문서로 정리해본다. 🌟새롭게 알게 된 점 Git Action에서 여러 Template을 지원해준다는 것을 알게됨 Github Actions란? CI/CD를 위한 Github서비스 Workflow라고 불림 1) Workflow Workflow는 트리거 이벤트가 발생하면 시작되는 일련의 동작들을 의미함 트리거 이벤트 example : 코드 커밋, PR, 다른 Workflow의 성공적인 실행 등 Workflow의 명령어들은 YAML파일로 저장됨 Workflow는 Job들로 나눠지며 각 Job은 일련의 스텝을 수행 스텝은 1..

AWS: Amazon S3 Introduction #️⃣Amazon S3 Use cases backup / storages Disaster Recovery Archive Hybrid Cloud storage Application hosting Media hosting Data lakes & big data analytics Software delivery Static websit #️⃣ Buckets & Objects 1) Buckets 버킷 store objects GLOBALLY UNIQUE NAME 위치는 in a region 2) Objects (파일) Have a Key key는 FULL PATH key는 prefix+object name ex. s3://my-bucket/my_folder1/a..

오늘은 전반적인 Docker 개념과 Airfow에서 Docker와 K8s가 필요한 이유에 대해 학습하였다. 새로 알게된 점은 다음과 같다. 💡 새로 알게된 점 💡 1. Docker run과 exec 차이 2. Dockerfile에서 arg와 env 차이 3. Airflow 운영상의 이슈와 이를 Docker 및 K8S로 해결하는 법 이전에는 단순 K8s를 이용해서 컨테이너 관리를 하겠지라고만 생각했는데, "Airflow의 task를 Docker Image로 만들고 Worker를 Airflow 전용 worker가 아닌 K8s에서 할당받아서 실행하는 형태" 라는 것을 새롭게 알게되었다. 이로 인해 Docker 학습의 중요성을 깨달았고, 이번주 학습도 신경써서 들어야겠다. 01. Docker란 01-1. Doc..