#️⃣ Cloud&Container/AWS

#️⃣S3-Lifecycle Rules 1) Transition objects between storage class 2) Lifecycle Rules Rule은 특정 prefix 혹은 Tags 단위로 생성 가능 1. Transition Actions 특정 기간 후에 object를 다른 storage class로 transition(옮기는) 설정 Move obj to Standard IA class 60 days after creation 2. Expiration Actions 특정 기간 후에 object를 expire(delete) 하는 설정 Can be used to delete old versions of files (if versioning is enable) #️⃣S3 Analytics Stor..

AWS: Amazon S3 Introduction #️⃣Amazon S3 Use cases backup / storages Disaster Recovery Archive Hybrid Cloud storage Application hosting Media hosting Data lakes & big data analytics Software delivery Static websit #️⃣ Buckets & Objects 1) Buckets 버킷 store objects GLOBALLY UNIQUE NAME 위치는 in a region 2) Objects (파일) Have a Key key는 FULL PATH key는 prefix+object name ex. s3://my-bucket/my_folder1/a..

오류 발생 AWS Redshift을 Colab을 통해 '%sql'을 통해 연결한 후, s3의 데이터를 가져와 EXTERNAL TABLE을 만들던 도중 다음과 같은 오류를 만나게 되었다. 다른 쿼리문 (CREATE EXTERNAL SCHEMA) 는 잘 되었는데 이상하게 아래 EXTERNAL TABLE 생성하면 transaction 오류를 뱉었다. 오류명 : (psycopg2.errors.ActiveSqlTransaction) CREATE EXTERNAL TABLE cannot run inside a transaction block 오류 원인 파악해보기 오류를 읽어보면, 위의 쿼리를 트랜젝션 블락 안에서는 실행할 수 없나보다. 그래서 찾아보니까, colab에서 연결할 때 '%sql'로 연결을 했는데, 이 매..

들어가며 이번주는 프로그래머스 데이터 엔지니어링 8주차를 진행 중이며, 데이터 웨어하우스에 대해 학습 중이다. Redshfit를 월요일부터 수요일까지 배웠는데, 배우면서 정리한 내용을 블로그로 가져왔다. 원래는 TIL을 Git에다 정리 중인데 사진도 넣을겸해서 블로그로 가져와봤다 Git링크 첨부 Redshift를 써보면서 느낀 것은 S3 연동이 정말 유용하고 좋은 기능이라 생각을 했고, 다른 AWS 서비스와 연동하여 쓸 수 있다는 점이 큰 장점인 것 같다. 그리고 첫 사용시 무료 크레딧 $300 로, 학습자로서 은근 넉넉히 준 것 같아 좋았다. 자 이제 본론으로 들어가서 Redshift에 대해 학습하고 정리한 내용을 살펴보자. AWS Redshift 톺아보기 #️⃣ 1. AWS Redshft란? Scal..

Elastic Beanstalk이란 AWS 클라우드에서 애플리케이션을 신속하게 배포하고 관리할 수 있는 서비스로, 별도의 인프라 설정 없이도 쉽게 사용 가능하다는 특징이 있다. 자세한 이론은 아래 정리한 내용을 참고하기 바란다. https://github.com/HyeM207/TIL/blob/main/Cloud/AWS/AWS%20Elastic%20Beanstalk.md GitHub - HyeM207/TIL: ✏ Today I Learned ✏ Today I Learned . Contribute to HyeM207/TIL development by creating an account on GitHub. github.com 바로 구축 실습으로 들어가보자. [1] Elastic Beanstalk 생성하기 1...

오류난 상황 설명 외부(Colab)에서 s3 객체를 불러오고 싶었는데, 다음과 같은 오류가 떴다. getFileStatus on s3a://(버킷명/(불러올파일).json: com.amazonaws.services.s3.model.AmazonS3Exception: Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Request ID: ---; S3 Extended Request ID: 찾아보니, 이는 S3버킷 권한 문제로 인해 발생한 것이라고 한다. 저 당시 나는 "분명 S3버킷 생성할 때 모두 public으로 설정했는데 그러면 되어야 하는거 아니야? ? ? " 이랬는데, 이는 권한하고는 다른 문제인 것으로 보인다. 해..