Snowflake 이론

📘Snowflake 이론

1. Snowflake란

클라우드 기반 데이터 웨어하우스

• 멀티 클라우드 (AWS, GCP, Azure위에서 모두 동작함)
• Data Sharing/MarketPlace (개념링크)
• ETL, 다양한 데이터 통합 기능 제공

 

2. 특징

• 멀티 클라우드와 다른 지역에 있는 데이터 공유(Cross-Region Replication)
• 가변 비용 모델
  • 스토리지와 컴퓨팅 인프라가 별도로 설정됨
• SQL 기반 + 비구조화 데이터 처리 + ML 기능 제공
• 다양한 데이터 포맷 제공
• 배치 데이터 중심 + 실시간 데이터 처리 지원]
• Time Travel (과거 데이터 쿼리 기능)
• 웹콘솔, Python API, ODBC/JDBC 연결 지원
• 자체 스토리지 + 클라우드 스토리지를 외부 테이블로 사용 가능

 

3. 계정 구성도

Accounts 밑에 다수 Database 그리고 그 밑에 다수의 Schema

1. Organizations
   • 주로 큰 회사에서 사용하는 조직 구성도
   • 하나 이상의 account로 구성
   • 모든 account들의 접근 권한, 사용트래킹, 비용들을 관리함
2. Accounts
   • account아래에 다수의 database로 구성됨
   • Redshift와 다르게 사용자 그룹이 없고, 계승 가능한 Rule기반으로 권한 부여함
3. Databases
   • 하나의 database는
     • 다수의 스키마와 그 속의 테이블,뷰등으로 구성됨
     • PB단위까지 스케일 가능
     • 독립적인 컴퓨팅 리소스(Warehouses) 갖게됨

주의! 한 database에 종속된 Warehouse 가 있는 것이 아님! Warehouse와 Databases는 1:1 관계 아님

 

4. Snowflake 비용

4-(1). 비용 모델

Snowflake Pricing & Cost Structure(https://www.snowflake.com/pricing/)

기본적으로 쓴 만큼 내는 비용 지불함

[ 지불 방식 ]

• CAPACITY STORAGE : 미리 지불하면 조금 더 저렴함
• ON-DEMAND STORAGE : 기본적으로 쓴 만큼 내는 비용

[ 유형 ]

• STANDARD, ENTERPRISE, BUSINESS CRITICAL, VPS 로 구성됨

30일 무료 시험판 : 30일 혹은 최대 $400까지 사용 가능

 

4-(2). 비용 구조

크게 3가지 컴포넌트로 구성됨

• 컴퓨팅 비용 : 크래딧($3-4) 단위
• 스토리지 비용 : TB당 계산
• 네트워크 비용 : 지역간 데이터 전송 혹은 다른 클라우드 서비스간 데이터 전송시 TB당 계산

 

5. 기본 데이터 타입

• 데이터 타입 요약 표 (참고: 데이터 타입 요약 | Snowflake Documentation)카테고리 타입 참고

• https://docs.snowflake.com/ko/sql-reference/data-types-numeric.html	NUMBER	기본 전체 자릿수와 소수 자릿수는 (38,0)입니다.
  	DECIMAL, NUMERIC	NUMBER와 동의어입니다.
  	INT, INTEGER, BIGINT, SMALLINT, TINYINT, BYTEINT	전체 자릿수와 소수 자릿수를 지정할 수 없다는 점을 제외하고는, NUMBER와 동의어입니다.
  	FLOAT, FLOAT4, FLOAT8	[1]
  	DOUBLE, DOUBLE PRECISION, REAL	FLOAT와 동의어입니다. [1]
  https://docs.snowflake.com/ko/sql-reference/data-types-text.html	VARCHAR	기본값(최대값이기도 함)은 16,777,216바이트입니다.
  	CHAR, CHARACTER	기본 길이가 VARCHAR(1)이라는 점을 제외하면 VARCHAR과 동의어입니다.
  	STRING	VARCHAR과 동의어입니다.
  	TEXT	VARCHAR과 동의어입니다.
  	BINARY
  	VARBINARY	BINARY와 동의어입니다.
  https://docs.snowflake.com/ko/sql-reference/data-types-logical.html	BOOLEAN	현재 2016년 1월 25일 이후에 프로비저닝된 계정에 대해서만 지원됩니다.
  https://docs.snowflake.com/ko/sql-reference/data-types-datetime.html	DATE
  	DATETIME	TIMESTAMP_NTZ 의 별칭
  	TIME
  	TIMESTAMP	TIMESTAMP 변형 중 하나의 별칭입니다(기본적으로 TIMESTAMP_NTZ).
  	TIMESTAMP_LTZ	현지 타임존이 있는 TIMESTAMP. 타임존(제공되는 경우)은 저장되지 않습니다.
  	TIMESTAMP_NTZ	타임존이 없는 TIMESTAMP. 타임존(제공되는 경우)은 저장되지 않습니다.
  	TIMESTAMP_TZ	타임존이 있는 TIMESTAMP.
  https://docs.snowflake.com/ko/sql-reference/data-types-semistructured.html
  JSON지원함	VARIANT
  	OBJECT
  	ARRAY
  https://docs.snowflake.com/ko/sql-reference/data-types-geospatial.html	GEOGRAPHY
  	GEOMETRY

• Redshfit와 비교하면 JSON과 Array를 지원하여 nested 데이터 구조를 활용할 수 있다.
  • BigQuery도 Snowflake와 거의 유사함

 

6. Snowflake 사용자 권한 설정

6-(1). Role과 User 생성

snowflake는 group 지원 X

-- Role 생성
CREATE ROLE (role명)

-- 사용자 생성
CREATE USER (user명) PASSWORD='비밀번호';

-- 사용자 권한 지정 
CREATE ROLE (role명) TO USER (user명);

6-(2). 컬럼 레벨 보안, 레코드 레벨 보안

각각 테이블내의 특정 컬럼(들)/레코드(들)을 특정 사용자/Role에만 접근 가능하게 하는 것

⇒ 별도의 테이블로 관리하거나 혹은 데이터 시스템으로 로딩하지 않는 것이 Best

6-(3). Data Governance

Data Governance란, 필요한 데이터가 올바르게 사용됨을 보장하기 위한 데이터 관리 프로세스이다. 이는 데이터 품질 보장과 데이터 관련 법규 준수를 주 목적으로 한다.

Snowflake는 다음과 같이 Data Governance와 관련된 기능 제공한다. (단 Enterprise 이상부터 사용가능)

1. Object Tagging
   • Object(Organization, account, db, schema, table, column, view 등)에 Tag를 거는 것
   • 용도는 개인 정보 관리가 주임
   • Tag
     • 생성 : CREATE TAG
     • 종류 : 직접 생성된 태그, 시스템 태그
     • 특징 : tag는 구조를 다라 계승됨
2. Data Classification
   • snowflake이 알아서 특정 테이블의 컬럼 내용을 살피고 개인정보 상세 분류를 해서 Tagging 하는 기능 (Object Tagging을 보완하기 나온 기능)
   • Step 3
     • Analyze : 테이블 적용시 개인/민감정보의 컬럼 분류함
     • Review: 사람이 보고 최종 리뷰 및 수정
     • Apply: 최종 결과를 System Tag로 적용
       • System Tag 종류
         • SNOWFLAKE.CORE.PRIVACY_CATEGORY (상위레벨)
           • IDENTIFIER(식별자), QUASI_IDENTIFIER(준식별자), SENSITIVE(민감정보)
         • SNOWFLAKE.CORE.SEMANTIC_CATEGORY (하위레벨 - 더 세부정보)
3. Tag based Masking Policies
   • Tag마다 다른 액세스 권한 지정하는 것
4. Access History
   • 사용자별로 접속 시간, 행위등을 컬럼 기준으로 기록함 → 감사 추적을 위함
5. Object Dependencies
   • 개인정보와 관련된 보안 관련된 데이터가 누출되지 않도록 하기 위함
   • ETL 작업 중, 원본 테이블에서 설정한 컬럼 속성(접근 권한)이 새로운 테이블 생성시에도 해당 속성이 따라감.

 

 

7. Snowflake 작업 UI

Worksheet : 노트북 환경

Data: Database위치함. database 아래에는 여러 스키마들 존재함

data sharing: 공유한 항목 확인

• Query History: CRUD 관련된 작업 히스토리
• Copy History: Bulk Update와 같은 COPY 히스토리
• Task History: 주기적으로 실행해주는 SQL 관련 히스토리

 

8. Snowflake 기타 기능

8-(1). Data Marketplace &Data Sharing

marketplace

• Data Sharing (“Share, Don’t Move”)
  : copy해오는 것이 아닌, 스토리지를 공유하는 것 즉, 데이터 셋을 사내/파트너에게 스토리지 레벨에서 공유하는 방식
• Data Marketplace(무료계정 사용 불가)
  : Data Sharing을 바탕으로 데이터를 돈을 주고 구매할 수 있는 서비스