#️⃣ Cloud&Container

AWS: Amazon S3 Introduction #️⃣Amazon S3 Use cases backup / storages Disaster Recovery Archive Hybrid Cloud storage Application hosting Media hosting Data lakes & big data analytics Software delivery Static websit #️⃣ Buckets & Objects 1) Buckets 버킷 store objects GLOBALLY UNIQUE NAME 위치는 in a region 2) Objects (파일) Have a Key key는 FULL PATH key는 prefix+object name ex. s3://my-bucket/my_folder1/a..

오늘은 전반적인 Docker 개념과 Airfow에서 Docker와 K8s가 필요한 이유에 대해 학습하였다. 새로 알게된 점은 다음과 같다. 💡 새로 알게된 점 💡 1. Docker run과 exec 차이 2. Dockerfile에서 arg와 env 차이 3. Airflow 운영상의 이슈와 이를 Docker 및 K8S로 해결하는 법 이전에는 단순 K8s를 이용해서 컨테이너 관리를 하겠지라고만 생각했는데, "Airflow의 task를 Docker Image로 만들고 Worker를 Airflow 전용 worker가 아닌 K8s에서 할당받아서 실행하는 형태" 라는 것을 새롭게 알게되었다. 이로 인해 Docker 학습의 중요성을 깨달았고, 이번주 학습도 신경써서 들어야겠다. 01. Docker란 01-1. Doc..

오류 발생 AWS Redshift을 Colab을 통해 '%sql'을 통해 연결한 후, s3의 데이터를 가져와 EXTERNAL TABLE을 만들던 도중 다음과 같은 오류를 만나게 되었다. 다른 쿼리문 (CREATE EXTERNAL SCHEMA) 는 잘 되었는데 이상하게 아래 EXTERNAL TABLE 생성하면 transaction 오류를 뱉었다. 오류명 : (psycopg2.errors.ActiveSqlTransaction) CREATE EXTERNAL TABLE cannot run inside a transaction block 오류 원인 파악해보기 오류를 읽어보면, 위의 쿼리를 트랜젝션 블락 안에서는 실행할 수 없나보다. 그래서 찾아보니까, colab에서 연결할 때 '%sql'로 연결을 했는데, 이 매..

들어가며 이번주는 프로그래머스 데이터 엔지니어링 8주차를 진행 중이며, 데이터 웨어하우스에 대해 학습 중이다. Redshfit를 월요일부터 수요일까지 배웠는데, 배우면서 정리한 내용을 블로그로 가져왔다. 원래는 TIL을 Git에다 정리 중인데 사진도 넣을겸해서 블로그로 가져와봤다 Git링크 첨부 Redshift를 써보면서 느낀 것은 S3 연동이 정말 유용하고 좋은 기능이라 생각을 했고, 다른 AWS 서비스와 연동하여 쓸 수 있다는 점이 큰 장점인 것 같다. 그리고 첫 사용시 무료 크레딧 $300 로, 학습자로서 은근 넉넉히 준 것 같아 좋았다. 자 이제 본론으로 들어가서 Redshift에 대해 학습하고 정리한 내용을 살펴보자. AWS Redshift 톺아보기 #️⃣ 1. AWS Redshft란? Scal..

Elastic Beanstalk이란 AWS 클라우드에서 애플리케이션을 신속하게 배포하고 관리할 수 있는 서비스로, 별도의 인프라 설정 없이도 쉽게 사용 가능하다는 특징이 있다. 자세한 이론은 아래 정리한 내용을 참고하기 바란다. https://github.com/HyeM207/TIL/blob/main/Cloud/AWS/AWS%20Elastic%20Beanstalk.md GitHub - HyeM207/TIL: ✏ Today I Learned ✏ Today I Learned . Contribute to HyeM207/TIL development by creating an account on GitHub. github.com 바로 구축 실습으로 들어가보자. [1] Elastic Beanstalk 생성하기 1...

오류난 상황 설명 외부(Colab)에서 s3 객체를 불러오고 싶었는데, 다음과 같은 오류가 떴다. getFileStatus on s3a://(버킷명/(불러올파일).json: com.amazonaws.services.s3.model.AmazonS3Exception: Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Request ID: ---; S3 Extended Request ID: 찾아보니, 이는 S3버킷 권한 문제로 인해 발생한 것이라고 한다. 저 당시 나는 "분명 S3버킷 생성할 때 모두 public으로 설정했는데 그러면 되어야 하는거 아니야? ? ? " 이랬는데, 이는 권한하고는 다른 문제인 것으로 보인다. 해..