Logstash 실행 및 확인 - 기본예제
개요 Logstash 기본 설치 과정을 확인한다. Logstash 활용 예제를 확인한다. 사전준비 기존에 Elasticsearch와 Kibana 실행 방법을 알고 있어야 한다. 모든 코드는 Windows 에서 실행하였다. Logstash의 역할 데이터 수집 (Ingest) - 데이터 변환 및 처리 (Processing / Filtering) - 데이터 출력 (Output) 데이터 수집 다양한 데이터 소스로부터 데이터 수집 로그파일 TCP/UDP/HTTP 요청 Kafka, Redis, JDBC(DB) 등 데이터 변환 및 처리 (Processing / Filtering) 주요 내용
Logstash는 수집한 원시 데이터를 구조화된 형식으로 파싱하고 정제 및 가공 정규표현식 기반 grok 필터로 로그 파싱 날짜 포맷 통일 (date) 필드 추가/삭제/이름 변경 조건 분기 처리 (if, else) JSON, CSV 파싱 지오IP, 위치 정보 추가 등 예시 코드