저번주 데브코스에서는 DW를 이용하여 대시보드를 구성하는 프로젝트를 진행했고, 이번주에는 데이터 파이프라인에 대해 알아보며 Airflow에 대해 학습을 진행 중이다. 오늘은 데이터 파이프라인이 무엇인지 알아보고, 용도에 따른 데이터 파이프라인 종류 그리고 데이터 파이프라인 설계 시 고려할 점을 살펴보며 마지막에는 ETL을 python으로 직접 구현해보는 실습으로 학습을 진행했다. 새롭게 알게된 것은 다음과 같다. 1. 데이터 파이프라인 종류를 명확히 나눌 수 있게 되었다. 기존에는 다양한 형태가 있다는 것만 알았지, 사용 용도에 따른 ETL 종류를 더 명확히 알게 되었다. 2. 데이터 파이프라인 만들 때, Full Refresh와 멱등성을 보장해야된다는 점 등 고려사항을 이번에 처음 듣고 알게 되었다. ..
