Chapter 02 | 빅데이터의 탐색 2-1. 크로스 집계의 기본 데이터 시각화의 기본은 '크로스 집계' 1) 용어 정리 크로스 테이블 : 행은 상품명, 열은 매출 월, 행/열 교차부분에는 숫자 데이터 트랜젝션 테이블 : 행에 데이터가 추가되는 형식 (열 방향 증가 X) - DB 형태 크로스 집계 : 트랜잭션 테이블 -> 크로스 테이블로 변환하는 과정 (엑셀의 피벗테이블) 룩업 테이블 : 트랜젝션 테이블에 새로운 항목을 추가하는 것이 아닌, 다른 테이블과 결합할 때 사용됨 크로스 테이블은 시각적으로는 보기 편하지만, DB에서 다루기는 힘든 데이터 형식 반면 트랜젝션 테이블은 db에서 다루는 데이터 형식 2) 크로스 집계 방법 BI 도구인 Tableau를 이용하여 테이블 결합 Pandas의 pivot_t..
빅데이터를 지탱하는 기술
Hadoop과 Spark를 책으로 공부하고 있던 중에 빅데이터 관련하여 감이 안 잡히고, 개념 등을 제대로 알지 못한 것을 깨달았다. 기술을 본격적으로 공부하기 전에, 기초를 잡기 위해 꽤 추천받았던 '빅데이터를 지탱하는 기술' 책을 읽기로 결정하였다. 이 책을 아직 챕터 1밖에 읽진 않았지만, 읽기 참 잘 했다는 생각이 든다. 이전에는 데이터 마트, 데이터 웨어하우스, 파이프라인, 데이터 레이크 등등을 알지 못했는데, 해당 책의 챕터1 만을 통해 빅데이터란 무엇이고, 어떤 목적을 위해 구축되고, 시스템/프로세스들의 구성 등의 개념을 명확히 알게되었다. (참고로 그림구성과 설명이 정말 이해하기 쉽도록 기술되어 있다. 추천 별 5개 ⭐⭐⭐⭐⭐) 목표는 하루 당 챕터 하나씩 읽고 정리하여 빠르게 기초를 잡은..