#️⃣ Data Engineering/Snowflake

들어가기 전에 오늘 8주차 4일자는 Snowflake를 학습했다. 어제까지는 Redshfit를 사용했는데, Snowflake로 넘어오니까 UI가 빛이 난다...🎇✨ UI가 직관적으로 짜여있어서 작업환경 왔다갔다할때 편리했고, 무엇보다 워크시트 옵션(warehouse, 권한 설정, 특정 줄만 실행 등등)들이 너무 편리했다. 물론 Redshift와 Snowflake를 많이 깊게 다뤄본건 아니지만, 지금까지 사용한 후기는 그렇다! 이제 본론을 들어가서 Snowflake 실습 내용은 같다. 실습 내용 1. Snowflake로 database와 스키마를 생성한다. 2. 스키마 아래에 테이블을 만든다. 3. AWS S3에 있는 csv 파일을 2번에서 만든 테이블로 data를 copy한다. (Burk Update) ..
📘Snowflake 이론 1. Snowflake란 클라우드 기반 데이터 웨어하우스 멀티 클라우드 (AWS, GCP, Azure위에서 모두 동작함) Data Sharing/MarketPlace (개념링크) ETL, 다양한 데이터 통합 기능 제공 2. 특징 멀티 클라우드와 다른 지역에 있는 데이터 공유(Cross-Region Replication) 가변 비용 모델 스토리지와 컴퓨팅 인프라가 별도로 설정됨 SQL 기반 + 비구조화 데이터 처리 + ML 기능 제공 다양한 데이터 포맷 제공 배치 데이터 중심 + 실시간 데이터 처리 지원] Time Travel (과거 데이터 쿼리 기능) 웹콘솔, Python API, ODBC/JDBC 연결 지원 자체 스토리지 + 클라우드 스토리지를 외부 테이블로 사용 가능 3. 계..
HyeM207
'#️⃣ Data Engineering/Snowflake' 카테고리의 글 목록