airflow backfill

이번주 Airflow 학습 4일차에는 마지막 섹션으로 Backfill에 대해 학습하였다. Backfill의 개념을 알아보며 Airflow의 Execution Date과 StartDate에 대해 설명을 해주셨는데, 이 두 Date 개념이 이해가 안 되어 5번 넘게 뒤로 감기를 반복했다. 😂 예시를 보며 이해하고, 이해한 것을 정리하니까, 현재는 헷갈리진 않다. 다만, 예시를 daily DAG 위주로 봤던터라 다른 사례를 보면 머리가 복잡해지며 답이 떠오르지 않는다. 이는 추후 추가학습으로 진행해야겠다 Backfill Backfill은 Incremental Update시 이슈임 일반적으로 Full Refresh형태가 좋으며, 데이터가 커져서 Full Refresh를 사용하기 힘들 경우엔 Incremental..
HyeM207
'airflow backfill' 태그의 글 목록