전체 글

🐳 도커 컨테이너 기본 도커 명령어는 공식 독스에 가면 자세히 기입되어 있다. 그 중 자주 쓰이는 명령어를 책 (시작하세요! 도커/쿠버네티스)을 참고하여 아래에 정리해보았다. 명령어 정리 도커 엔진 버전 확인 docker -v 이미지 내려받기 및 조회 이미지 내려받기 docker pull [옵션] 이미지명[:TAG|@DIGEST] 도커 공식 이미지 저장소인 docker hub에서 이미지를 다운로드 함 이미지 조회 docker images 도커 엔진에 존재하는 이미지 목록 출력 컨테이너 목록 확인 docker ps docker ps 명령어는 정지되지 않은 컨테이너만 출력함 exit 로 나온 컨테이너는 정지 상태라 목록에 출력되지 않음 ctrl+P, Q를 입력해 나온 컨테이너는 목록에 출력됨 모든 컨테이너 ..

2022년 후기와 2023년 다짐 1월 1일 노래 플레이리스트 들으며 올해 2022 회고록을 작성해본다. 2022년을 한 문장으로 정의해보면, 엄청 바쁘진 않았지만 나름 얻은 게 많은 한 해 였던 거 같다. 2021년에 교내 소학회 부회장일과 외부활동 그리고 학교 생활하며 일에 치여서 사느라 엄청 바쁜 한 해 였는데, 2022년은 할 일을 하며 다소 여유롭고 마음의 안정/평화를 찾은 한 해였다. (2021년은 진로와 상반된 일들이 과중되어 진로 고민과 함께, 일적으로 많이 힘들었다. 하지만 지금 생각해보면 그 바쁨속에서 배운점도 있었고, 좋은 결과물도 얻었기 때문에 의미있는 한 해 였다.) 올해는 데이터 엔지니어라는 진로를 확정하고 이와 관련된 활동들을 하느라 진로 고민은 적었다. 2022년은 오히려 계..

2022년 12월 기준, 우리 졸업 프로젝트 팀은 1년 동안 게임 규칙 및 시나리오 설계부터 Nodejs와 Unity를 이용해 게임 개발까지 진행중이다. 현 상태는 주요 게임 기능은 완성된 상태이고, 안정성 작업과 예외 케이스 설정 그리고 로깅 및 배포 단계가 남아있다. 나는 게임 기능 중 게임 입장부터 대기룸 생성 및 동작, 제어 등 게임 메인 화면 전까지의 기능을 개발 하였고, 주 게임 기능으로는 공격 시나리오 탭 부분을 개발한 상태이다. 게임 입장과 대기룸 부분은 어느정도 안정성을 확보한 상황이지만, 공격 시나리오 기능은 아직 불안정해서 다듬고 있는 중이다. 최근 나는 빅데이터 중 데이터 엔지니어링에 관심이 있어 게임 로그와 관련하여 로그 수집 부터 분석 및 시각화까지의 데이터 파이프라인 설계 및 ..

보호되어 있는 글입니다.

Chapter 02 | 빅데이터의 탐색 2-1. 크로스 집계의 기본 데이터 시각화의 기본은 '크로스 집계' 1) 용어 정리 크로스 테이블 : 행은 상품명, 열은 매출 월, 행/열 교차부분에는 숫자 데이터 트랜젝션 테이블 : 행에 데이터가 추가되는 형식 (열 방향 증가 X) - DB 형태 크로스 집계 : 트랜잭션 테이블 -> 크로스 테이블로 변환하는 과정 (엑셀의 피벗테이블) 룩업 테이블 : 트랜젝션 테이블에 새로운 항목을 추가하는 것이 아닌, 다른 테이블과 결합할 때 사용됨 크로스 테이블은 시각적으로는 보기 편하지만, DB에서 다루기는 힘든 데이터 형식 반면 트랜젝션 테이블은 db에서 다루는 데이터 형식 2) 크로스 집계 방법 BI 도구인 Tableau를 이용하여 테이블 결합 Pandas의 pivot_t..

지난 1편에서는 실습에 쓰일 코드를 살펴보았다. 이어서 직접 실행을 해보자. 1편 : https://hyem207.tistory.com/57 [Spark] Spark Streaming - Twitter 해시태그 분석 (1) Spark Streaming을 이용한 실습을 찾아보던 중 twitter API를 이용하여 실시간 데이터를 받아와 Spark 로 해시태그를 분석해보는 예제를 찾아볼 수 있었다. 찾은 예제들은 Twitter API version.. hyem207.tistory.com 📜 Spark Streaming으로 Twitter API의 해시태그 분석하기 : Twitter에서 kpop으로 필터링 한 데이터를 실시간으로 가져와 해시태그(#) 분석해보기 실습 결과 미리 보기 A. 준비단계 docker h..