Beats 책 '엘라스틱 스택 개발부터 운영까지 - 김준영/정상운 지음'을 공부하며 정리하였습니다. 1. Beats 소개 Beats는 가볍고 사용하기 쉬운 데이터 수집기 이다. Go언어로 작성된 경량 프로그램이라 로그 수집을 원하는 시스템에 큰 부담을 주지 않으며 Logstash와 Elasticsearch와 연계해 다양한 시스템의 이벤트를 수집할 수 있게 도와준다. Logstash와는 다르게 범용성을 포기하고 특정 목적만 수행하도록 가볍게 구성되어 애플리케이션 성능에 영향 미치지 않고 필요한 이벤트를 수집할 수 있다. Beats는 목적별로 다양한 비츠가 존재한다. 엘라스틱에서 공식적으로 지원하는 파일비트, 메트릭비트, 패킷 비트 등과 공동체에서 만든 카프카비트, 엔진엑스 비트, MySQL 비트 등 종류가..
#️⃣ Data Engineering/ELK Stack
Elastic Stack 책 '엘라스틱 스택 개발부터 운영까지 - 김준영/정상운 지음'을 공부하며 정리하였습니다. 1. 역사 1.1 탄생 배경 'CNET 네트워크'가 상용 서비스에 적합한 수준의 높은 트래픽을 뒷받침하는 고성능 검색 엔진인 '솔라'를 개발하고 있을 시절에, '샤이배넌'은 버전 3에 이르러서 많은 부분을 재작성해 확장 가능한 검색 엔진 솔루션을 만들면 좋겠다는 생각을 하게 됨 처음부터 분산 환경을 위한 솔루션과, HTTP상에서 JSON으로 인터페이스를 지원하는 솔루션, 자바 이외에도 다양한 프로그래밍 언어를 지원하는 솔루션을 표방하고 작업한 배넌은 2010년 2월에 '엘라스틱 서치'를 공개함' 1.2 엘라스틱 스택으로 발전 엘라스틱 서치가 개발될 무렵, 로그스테시와 키바나 두 가지 오픈소스..