Logstash

개요

• Logstash 기본 설치 과정을 확인한다.
• Logstash 활용 예제를 확인한다.

사전준비

• 기존에 Elasticsearch와 Kibana 실행 방법을 알고 있어야 한다.
• 모든 코드는 Windows 에서 실행하였다.

Logstash의 역할

• 데이터 수집 (Ingest) - 데이터 변환 및 처리 (Processing / Filtering) - 데이터 출력 (Output)

데이터 수집

• 다양한 데이터 소스로부터 데이터 수집
  • 로그파일
  • TCP/UDP/HTTP 요청
  • Kafka, Redis, JDBC(DB) 등

데이터 변환 및 처리 (Processing / Filtering)

• 주요 내용

  • Logstash는 수집한 원시 데이터를 구조화된 형식으로 파싱하고 정제 및 가공
  • 정규표현식 기반 grok 필터로 로그 파싱
  • 날짜 포맷 통일 (date)
  • 필드 추가/삭제/이름 변경
  • 조건 분기 처리 (if, else)
  • JSON, CSV 파싱
  • 지오IP, 위치 정보 추가 등

• 예시 코드