Ch1. Airflow 살펴보기

💁‍♀️내용 정리에 앞서, 책 읽게 된 이유

데브코스 하며 Airflow 학습하고 실제 프로젝트에 적용해보는 경험을 했다.

하지만 최종 프로젝트를 하며 Airflow를 조금 더 깊게 학습하고 제대로 공부하고 싶다는 생각에 책을 구입하게 되었다.

 

또한, 9월에 프로젝트를 종료하고 두 달 정도 지나니 머리속에서 가물가물해져 복습할겸 책을 읽어본다.

한 챕터씩 읽고 글로 정리하는 목표로 읽어보자

 

---

Ch1. Airflow 살펴보기

Airflow 웹 인터페이스

Airflow 주요 기능

유연한 파이썬 프레임워크를 사용해 쉽게 데이터 파이프라인 구축 가능하며, 서로 다른 기술들을 연결할 수 있는 다양한 빌딩 블록 제공

• Airflow 는 직접 데이터 처리 X → 데이터 처리를 위한 다양한 구성 요소들을 조정

방향성 비순환 그래프 (Directed Acyclic Graph, DAG)

태스크 간 의존성을 명확히 표현하는 것은 방향성 그래프

이때 그래프는 비순환 (반복 X, 순환 X)

• 방향성 그래프 : 태스크는 노드, 태스크 간의 의존성은 노드간의 방향
• 비순환 : 끝점을 포함하되, 반복 X,순환 X

참고 : “업스트림 의존성” 에서 업스트림이란 이전 태스크를 뜻함

워크플로 매니지먼트 툴 비교

이름	시작회사	워크플로 정의	개발언어	스케줄 관리	백필	사용자 인터페이스	플랫폼 설치	수평 확장
Airflow	Airbnb	파이썬	파이썬	O	O	O	Anywhere	O
Luigi	Spotify	파이썬	파이썬	X	O	O	Anywhere	O
Oozie		XML	JAVA	O	O	O	Hadoop	O

• Airflow는 DAG 예약, 실행, 그리고 실행 결과에 대한 모니터링 가능한 웹 인터페이스 제공함.
• 또한 태스크 실패 시에 재시도 및 오류 발생 시 태스크 실패 통보 및 복구 가능
• Airflow 스케줄 기능으로 DAG에 정의된 특정 시점에 트리거 할 수 있고, 최종 시점 및 예약되는 다음 스케줄 주기 상세히 알려줌.
• 백필로 과거 시점 및 기간에 대해 실행 가능함

Airflow 구성 요소

1. Airflow 스케줄러: DAG 분석 후 조건에 맞으면 Airflow 워커에 DAG의 태스크를 예약
2. Airflow 워커: 예약된 태스크를 선택 및 실행
3. Airflow 웹서버 : 스케줄러에서 분석한 DAG 시각화 & DAG 실행 &결과 확인 할 수 있는 주요 인터페스 제공

Airflow 실행 순서

1. 개발자는 DAG로 워크플로 작성
2. Airflow 스케줄러가 (1) DAG 내용 파싱, (2) DAG에 예약된 태스크를 예약, (3) 태스크 간 의존성 확인
   1. DAG 확인 (태스크, 의존성, 스케줄 주기)
   2. DAG 예약 시간 지나면 태스크 예약
   3. 예약된 태스크 존재하는 동안 태스크 의존성 확인
   4. 의존성 모두 해결되면 실행할 태스크를 대기열에 추가
   5. x초 만큼 대기
   6. (과정 1) 반복
3. Airflow 워커는 예약된 태스크를 실행 (병렬 처리)
   • 태스크가 실행대기열에 추가되면 Airflow 워크의 풀의 워커가 태스크를 선택 및 실행
4. 실행 결과는 Airflow 메타스토어에 저장
5. Airflow 웹서버는 Airflow 메타스토어에 저장된 DAG 목록과 태스크 결과를 참고하여 웹 인터페이스 제공함

https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/overview.html

 

---

 

책 [Apache Airflow기반의 데이터 파이프라인] 을 읽으며 정리한 내용을 기록했습니다.