[AWS-SAA] Advanced S3

#️⃣S3-Lifecycle Rules

1) Transition objects between storage class

https://aws.amazon.com/ko/s3/storage-classes-infographic/

2) Lifecycle Rules

Rule은 특정 prefix 혹은 Tags 단위로 생성 가능

1. Transition Actions

특정 기간 후에 object를 다른 storage class로 transition(옮기는) 설정

• Move obj to Standard IA class 60 days after creation

2. Expiration Actions

특정 기간 후에 object를 expire(delete) 하는 설정

• Can be used to delete old versions of files (if versioning is enable)

#️⃣S3 Analytics

Storage Class Analysis

말 그대로 언제 object를 어떤 storage class로 옮기면 좋을지 알려줌

• 추천: Standard와 Standard IA (One-Zone IA와 Glacier에서는 동작 X)
• Report: Daily updated
• 데이터 분석 보려면 시작 후 24-48h

#️⃣S3 Requester Pays

데이터가 큰 경우 : Requester Pays buckets으로 requester가 돈을 지불함

• 일반적 : bucket owner가 Storage Cost + Network Cost 모두 지불
• Requester Pays buckets 이려면 request는 반드시 authenticated in AWS (cannot be anonymous)

#️⃣S3 Event

S3 Events를 만들 수 있음

• S3: ObjectCreated, Removed, Restore, Replication 등에 관한 Event Notifications 가능
• object 이름을 *.jpg 처럼 filtering 가능
• 보통 S3 Event Notifications은 deliver events in seconds)=두번째 서비스 (takes 1m 이상)
  • 이를 위해서는 IAM Permissions가 필요함
    (IAM Role 사용 X. 대신 아래 서비스들을 생성후 각 서비스에 Resource Policy 적용 필요)
  • SNS
  • SQS
  • Lambda

#️⃣Amazon EventBridge

All of S3 Events를 듣고, 이를 rules로 다른 서비스(18개 이상) 목적지로 전달 가능

• Advanced filtering - JSON
• Multiple Destinations
• EventBridge Capabilities

#️⃣S3- Baseline Performance

기본 성능 굳. automatically scales to high request rates, low latency

• Prefix당 적어도 초당 3,500건의 PUT/COPY/POST/DELETE 와 5,550건의 GET/HEAD 요청 가능
• 참고로 버킷 prefix 개수는 제한 없음

#️⃣S3 Performance - Upload시 성능향상

1) Multi-Part upload

Parallelize upload (Speed Up transfer)

• 100MB 이상 파일 사용 권고
• 5GB 이상은 필수

2) S3 Transfer Acceleration

Increase transfer speed with AWS Edge location

• Multi-Part upload와 동시 사용 가능
• AWS Edge location는 전세계적으로 200개 이상임
• Public Internet 사용을 줄이고 private하게 transfer 가능함

#️⃣S3 Performance - S3 Byte-Range Fetches

특정 byte range의 GET 요청을 병렬화함(Parallelize GETS)

• Better resilience in case of failures (회복탄력성 굳)
• 다운로드 속도 UP
• Only Partial data(ex. head of file)를 retrieve 하는 데 사용가능
  • ex. Byte-range request for header

#️⃣S3 Select & Glacier Select

• SQL로 server-side filtering 하여 불러오는 데이터 줄임
• less CPU cost client-side

#️⃣S3 Batch Operations

중요. 주로 object들을 암호화할때 사용됨
Encrypt un-encrypted objects

• S3 오브젝트를 단 한번의 request로 Bulk Operation 수행
• A job 은 objects, the action to perform, and optional parameters
• S3 Inventory와 S3 Select 사용 가능
  • S3 Inventory : Get Object list
  • S3 Select : Select to filter objects

 

 

참고

Ultimate AWS Certified Solutions Architect Associate SAA-C03

Section 12