Elastic Stack

Elastic Stack이란?

 - E(Elasticsearch), L(LogStash), K(Kibana)을 사용하여 이루어진 오픈소스 실시간 풀텍스트 검색 및 분석 엔진 스택 

 - 경량 데이터 전송기 비츠(beats), 다양한 플러그인을 이용하여 데이터를 수집하는 로그스태시(logstash),  분산형 검색엔진 엘라스틱서치(elasticsearch), 데이터 시각화 도구 키바나(kibana)로 구성

 

• 진행 과정

 - Beats(경량 수집) -> LogStash(수집 후 데이터 정형화) -> ElsticSearch(풀텍스트 검색 및 분석) -> Kibana(시각화)

 

 

ELK 구조

 

1. Beats

 1-1) FileBeat

   - 보안 장치, 클라우드, 컨테이너, 호스트 또는 OT에서 수집하든 상관없이, Filebeat는 로그와 파일을 경량화된 방식으로 전달하고 중앙 집중화하여 작업을 보다 간편하게 만들어 주는 역할을 합니다.

 1-2) MetricBeat 

   -  시스템과 서비스에서 메트릭을 수집하세요. CPU부터 메모리, Redis, NGINX까지 Metricbeat를 통해 다양한 시스템 서비스 통계를 가볍게 전송할 수 있습니다.

 etc) PackBeat, WinlogBeat, Auditbeat, HeartBeat, Funcitonbeat

 

2. LogStash

 - 무료 오픈 소스 서버의 데이터 처리 파이프라인인 Logstash는 다양한 소스에서 데이터를 수집하여 변환한 후 자주 사용하는 저장소로 전달합니다.

 - 파일의 정보를 구문 분석하여 ElasticSearch로 데이터를 제공

 

3. ElasticSearch

- Elasticsearch는 분산형 RESTful 검색 및 분석 엔진입니다. Elastic Stack의 중심으로, Elasticsearch는 손쉽게 확장되는 번개처럼 빠른 검색, 정교하게 조정된 정확도, 강력한 분석을 위해 데이터를 중앙에 저장합니다

 

4. Kibana

- Kibana는 Elasticsearch 데이터를 시각화하고 Elastic Stack을 탐색하게 해주는 무료 오픈 소스 인터페이스

 

참조
- https://www.elastic.co/guide/kr/elasticsearch/reference/current/getting-started.html
- https://www.edureka.co/blog/elk-stack-tutorial/

- https://www.elastic.co/