이번주 월요일부터 Airflowd의 기본 개념과 설치하는 방법을 학습했다. 학습을 진행하며 워커, 스케줄러 등 Airflow 구성요소와, 스케일링 방법을 배울 수 있었다. 차례대로 Airflow 정의와 구성 요소등을 정리하고, 다음 글에 이어서 설치하는 법을 정리하겠다. 01. Airflow란 가장 많이 사용되는 데이터 파이프라인 관리/작성 프레임워크 Airflow는 파이썬으로 작성된 데이터 파이프라인 (ETL) 프레임워크 데이터 파이프라인 스케줄링 지원 정해진 시간에 ETL 실행 혹은 한 ETL의 실행이 끝나면 다음 ETL 실행 웹 UI 제공 데이터 파이프라인(ETL)을 쉽게 만들 수 있음 다양한 데이터 소스와 데이터 웨어하우스를 쉽게 통합해주는 모듈 제공 Backfill 등 데이터 파이프라인 관리 관..
