![]()
Spark Streaming을 이용한 실습을 찾아보던 중 twitter API를 이용하여 실시간 데이터를 받아와 Spark 로 해시태그를 분석해보는 예제를 찾아볼 수 있었다. 찾은 예제들은 Twitter API version 1을 이용하여 것들이 대부분이라 twitter 개발자 github예제의 twitter api version2의 코드를 참고하여 재구성하였다. 또한 spark 분석 코드를 변형하여 콘솔에 해시태그 집계 결과가 출력되도록 바꾸어 실습을 진행하였다. 📜 Spark Streaming으로 Twitter API의 해시태그 분석하기 : Twitter에서 kpop으로 필터링 한 데이터를 실시간으로 가져와 해시태그(#) 분석해보기 실습 결과 미리 보기 A. 준비단계 docker hub에서 실습 도커..
![]()
1 | 이벤트시간 윈도우, 워터마크 1-1 | 이벤트 시간 윈도우 (event-time window) 📌 이벤트 시간 윈도우란, 행의 이벤트 시간이 속하는 윈도우별로 집계(그룹화)하는 것을 말한다. 이벤트 시간 윈도우는 '이벤트 시간 처리' 개념에서 비롯된 것이다. 이벤트 시간 윈도우란 행의 이벤트 시간이 속하는 윈도우 별로 집계 즉 그룹화 하는 것을 말한다. 있는데 이를 쉽게 풀어서 설명하면, 이벤트가 실제로 발생한 이벤트 시간대 별로 스트리밍으로 들어온 데이터를 카운트하는 것을 말한다. 예를 들면 계속해서 스트리밍으로 들어오는 이벤트가 있다고 가정하면, 10분 간격으로 이벤트들을 이벤트 생성 시간 기준으로 이 이벤트들을 집계 하는 것을 한다. 여기 설명에서 행이라고 지칭한 이유는 structured ..
![]()
이전에 블로그에 정리했던 글을 동아리 스터디를 위해 한 번 더 정리한 글이다. 기록을 위해 블로그에도 남긴다. 이전 정리글 :https://hyem207.tistory.com/43 [Hadoop] Spark란 + 실습 보호되어 있는 글입니다. 내용을 보시려면 비밀번호를 입력하세요. hyem207.tistory.com 목차 1 | Spark란 2 | Spark 정의 및 등장 배경 2-1 | Spark란 2-2 | Spark 등장 배경 3| Spark Architecture 4 | Spark SQL실습 1 | Spark란 간략 소개 The most widely-used engine for scalable computing Thousands of companies, including 80% of the For..
나 혼자 Spring 공부 8월에 있는 공모전에 SpringBoot로 백엔드 개발을 하기로 계획하여, 프로젝트 진행과 동시에 Spring에 대해 알아가려 한다. 본 내용은 직접 서칭 및 공식 사이트 그리고 개인적인 생각도 첨부되어 있으니 참고하여 봐주시길 바랍니다. :) 1부. SpringBoot? Spring? Gradle과 Maven은 뭘까 스프링 부트 vs 스프링 추상적으로 표현하자면 스프링은 원초적인 느낌이고, 스프링 부트는 스프링의 셋팅을 어느정도 해 둔 상태 스프링으로 하면 모든 설정들을 다 하나씩 바꿔줘야하지만, 스프링부트는 사이트에서 설정만 하면 되어 편리함 공식 사이트 설명에 따르면, SpringBoot는 바로 실행할 수 있는 독립 실행형으로, Spring 기반의 서비스를 쉽게 만들 수 ..
![]()
AWS Regions Regions - all around the world - Names / Region code (ex. us-east-1) - Most AWS Services are region-scoped (서비스는 특정 region에 linked됨) 선택 기준 1. Compliance (with data governace and legal requirements) 2. Proximity : 사용하는 곳과 가까운 region 이용 -> reduced latency 3. Available services : 모든 Region에 모든 서비스가 있지 않음 4. Pricing : different by region Region 구성 - Each region has many available zones(A..
