전체 글

오류 발생 AWS Redshift을 Colab을 통해 '%sql'을 통해 연결한 후, s3의 데이터를 가져와 EXTERNAL TABLE을 만들던 도중 다음과 같은 오류를 만나게 되었다. 다른 쿼리문 (CREATE EXTERNAL SCHEMA) 는 잘 되었는데 이상하게 아래 EXTERNAL TABLE 생성하면 transaction 오류를 뱉었다. 오류명 : (psycopg2.errors.ActiveSqlTransaction) CREATE EXTERNAL TABLE cannot run inside a transaction block 오류 원인 파악해보기 오류를 읽어보면, 위의 쿼리를 트랜젝션 블락 안에서는 실행할 수 없나보다. 그래서 찾아보니까, colab에서 연결할 때 '%sql'로 연결을 했는데, 이 매..

들어가며 이번주는 프로그래머스 데이터 엔지니어링 8주차를 진행 중이며, 데이터 웨어하우스에 대해 학습 중이다. Redshfit를 월요일부터 수요일까지 배웠는데, 배우면서 정리한 내용을 블로그로 가져왔다. 원래는 TIL을 Git에다 정리 중인데 사진도 넣을겸해서 블로그로 가져와봤다 Git링크 첨부 Redshift를 써보면서 느낀 것은 S3 연동이 정말 유용하고 좋은 기능이라 생각을 했고, 다른 AWS 서비스와 연동하여 쓸 수 있다는 점이 큰 장점인 것 같다. 그리고 첫 사용시 무료 크레딧 $300 로, 학습자로서 은근 넉넉히 준 것 같아 좋았다. 자 이제 본론으로 들어가서 Redshift에 대해 학습하고 정리한 내용을 살펴보자. AWS Redshift 톺아보기 #️⃣ 1. AWS Redshft란? Scal..

들어가기 전에 오늘 8주차 4일자는 Snowflake를 학습했다. 어제까지는 Redshfit를 사용했는데, Snowflake로 넘어오니까 UI가 빛이 난다...🎇✨ UI가 직관적으로 짜여있어서 작업환경 왔다갔다할때 편리했고, 무엇보다 워크시트 옵션(warehouse, 권한 설정, 특정 줄만 실행 등등)들이 너무 편리했다. 물론 Redshift와 Snowflake를 많이 깊게 다뤄본건 아니지만, 지금까지 사용한 후기는 그렇다! 이제 본론을 들어가서 Snowflake 실습 내용은 같다. 실습 내용 1. Snowflake로 database와 스키마를 생성한다. 2. 스키마 아래에 테이블을 만든다. 3. AWS S3에 있는 csv 파일을 2번에서 만든 테이블로 data를 copy한다. (Burk Update) ..

📘Snowflake 이론 1. Snowflake란 클라우드 기반 데이터 웨어하우스 멀티 클라우드 (AWS, GCP, Azure위에서 모두 동작함) Data Sharing/MarketPlace (개념링크) ETL, 다양한 데이터 통합 기능 제공 2. 특징 멀티 클라우드와 다른 지역에 있는 데이터 공유(Cross-Region Replication) 가변 비용 모델 스토리지와 컴퓨팅 인프라가 별도로 설정됨 SQL 기반 + 비구조화 데이터 처리 + ML 기능 제공 다양한 데이터 포맷 제공 배치 데이터 중심 + 실시간 데이터 처리 지원] Time Travel (과거 데이터 쿼리 기능) 웹콘솔, Python API, ODBC/JDBC 연결 지원 자체 스토리지 + 클라우드 스토리지를 외부 테이블로 사용 가능 3. 계..

4월 초중반에 시작한 프로그래머스 데이터 엔지니어링 데브코스를 참여하면서 지금까지 대략 8주가 흘렀다. 초반에는 열정 가득한 마음으로 "데브코스를 통해 모든 활동 열심히 하고 끝났을 때 모든 것을 다 알 수 있게 학습해야지! " 라는 마음으로 아침부터 새벽까지 학습에 집중했던거 같다. 매일 강의 꾸준히 들어며 TIL를 자세히 작성하고 부족한 개념은 찾아가면서 주로 TIL 작성에 집중했다. 그렇게 3주차까지 꾸준히 열정적으로 달려오고, 4주차 프로젝트를 진행했다. 한 주동안 진행되는프로젝트라 시간이 많이 부족했기에 밤샘을 병행하며 진행했다. (이 때 프로젝트 하면서 제대로 된 협업과 프로젝트를 하며 얻은게 많았었는데, 이는 후속 글에서 자세한 후기를 남기겠다.) 이때 이후가 진짜 고비였는데, 그 전주에는 ..

Elastic Beanstalk이란 AWS 클라우드에서 애플리케이션을 신속하게 배포하고 관리할 수 있는 서비스로, 별도의 인프라 설정 없이도 쉽게 사용 가능하다는 특징이 있다. 자세한 이론은 아래 정리한 내용을 참고하기 바란다. https://github.com/HyeM207/TIL/blob/main/Cloud/AWS/AWS%20Elastic%20Beanstalk.md GitHub - HyeM207/TIL: ✏ Today I Learned ✏ Today I Learned . Contribute to HyeM207/TIL development by creating an account on GitHub. github.com 바로 구축 실습으로 들어가보자. [1] Elastic Beanstalk 생성하기 1...