#️⃣ Cloud&Container

Google Cloud Composer Cloud Composer 환경 아키텍처 | Google Cloud Cloud Composer 환경 아키텍처 | Google Cloud Airflow Summit 2023 9월 19일부터 21일까지 Airflow Summit 2023 컨퍼런스가 열리는 동안 Airflow 커뮤니티에 참여하여 Airflow에 대해 자세히 알아보고 전문 지식을 공유해 보세요. 접수 시작 의견 보내기 Cloud C cloud.google.com 완전 관리형 서비스를 조사한 이유! 프로젝트 규모를 보면 Airflow DAG가 최대 5개로 예측되며, DAG당 작업량이 적음 확장성을 크게 고려할 필요없음 안정성과 프로젝트 기간, 관리 측면에서 볼 때 다른 부분도 신경써야 될 부분 많음 추상화 ..

Kubernetes 구성요소 Kubernetes 기본 구조는 Master-Node Node: 물리 서버/가상 서버 클러스터 : Node의 집합 Master : 클러스터를 관리해주는 역할 #️⃣Master Cluster의 주 컨트롤러 GUI나 CLI로 마스터와 통신하며 YAML 구성 파일로 작업한다. Master는 모든 노드 이벤트를 관리하고, 전체 클러스터 구성을 안정적이게 유지한다. Master의 구성요소는 다음과 같다. Kube-APIserver ETCD Kube-Scheduler kube-controller-manager ▶ Kube-APIserver Kubernets의 프런트엔드(control plane) 즉 Endpoint API 호출과 REST 서비스를 처리하여, 개발자가 클러스터와 통신할 수..

오늘은 Docker를 배우는 마지막 날이라 Docker의 전반적인 학습 내용을 정리하며, Production에서 사용 시 주의점 그리고 Container Orchestration에 대해 학습하였다. 그리고 강의에서 Container Orchestration이 무엇인지 알아보며 K8s 컴포넌트 구조를 간단하게 설명주셨는데, 평소에 쿠버네티스가 궁금했던 터라 K8s에 대해 더 찾아보았다. (다음글 : https://hyem207.tistory.com/121) 우선은 아래에 오늘 배운 내용을 정리해본다. #️⃣ Docker를 실제 Production 환경에서 사용할 때 주의할 점 Production에서는 Docker volumes 를 named volumes 를 써야된다. Docker container는 re..

#️⃣S3-Lifecycle Rules 1) Transition objects between storage class 2) Lifecycle Rules Rule은 특정 prefix 혹은 Tags 단위로 생성 가능 1. Transition Actions 특정 기간 후에 object를 다른 storage class로 transition(옮기는) 설정 Move obj to Standard IA class 60 days after creation 2. Expiration Actions 특정 기간 후에 object를 expire(delete) 하는 설정 Can be used to delete old versions of files (if versioning is enable) #️⃣S3 Analytics Stor..

🌟 새로 알게된 점 - docker-compose network 부분 back과 front로 나누기 - docker-compose up은 # build => create => start 과정 - docker-compose 옵션 중 healthcheck Docker Compose란? 다수의 Container로 소프트웨어가 구성되는 경우 사용할 수 있는 환경 설정 파일 파일 : docker-compose.yaml 혹은 .yml 다른 이름 파일 사용시 -f 옵션 사용 docker-compose -f docker-compose.mac.yml up Docker Compose v.1.27+ 부터 v2와 v3가 합쳐짐 v1은 docker-compose, v2는 docker compose인데, 대부분의 문서가 dock..

오늘은 Docker Volume과 Network에 대해 학습하였다. Docker Volume은 이전에 사용한 적이 있어서 알고 있었는데, Docker Volume의 타입과 Docker Network는 이번에 처음 알게되어 정리해본다. Docker Volume이란? 호스트 파일 시스템 폴더를 Docker Container 파일 시스템의 폴더로 마운트하는 것 쉽게 말해, Docker Container내의 가상 파일 시스템과 호스트 시스템의 파일 시스템을 맵핑하는 것이다 (특정 폴더를 공유하는 것) 이는 컨테이너가 중지되거나 삭제되어도, 데이터가 영구적으로 보관되고 재사용될 수 있도록 한다. #️⃣ 1) Docker Volume 타입 Docker Volume에도 지정하는 방식에 따라 타입이 나뉜다. 만약 Vo..