[2021.03.22] 인턴 + 21 일래스틱서치(ELK) 설치

[2021.03.22] 인턴 + 21 일래스틱 서치(ELK) 설치

 

 

Elasticsearch란?

-> 텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 분산형 오픈 소스 검색 및 분석 엔진입니다. 또한 데이터 수집, 보강, 저장, 분석, 시각화를 위한 오픈 소스 도구 모음인 Elastic Stack의 중심 구성 요소입니다

 

Logstash란?

-> 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진입니다. 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있게 해 줍니다

 

 

Kibana란?

-> Elasticsearch에서 색인된 데이터를 검색하고 시각화하는 기능을 제공합니다. 또한 Elastic Stack 클러스터를 모니터링, 관리 및 보호하기 위한 사용자 인터페이스의 역할과 Elastic Stack에서 개발된 기본 제공 솔루션의 중앙 집중식 허브 역할도 제공합니다

 

 

Elasticsearch는 검색을 위해 단독으로 사용되기도 하며, ELK( Elasticsearch / Logstatsh / Kibana )스택으로 사용되기도 합니다.

 

 

ELK 스택이란? 

Elasticsearch

-> Logstash로부터 받은 데이터를 검색 및 집계를 하여 필요한 관심 있는 정보를 획득

 

Logstash

-> 다양한 소스( DB, csv파일 등 )의 로그 또는 트랜잭션 데이터를 수집, 집계, 파싱하여 Elasticsearch로 전달

 

Kibana

-> Elasticsearch의 빠른 검색을 통해 데이터를 시각화 및 모니터링

 

 

 

 

 

 

 

1. elasticsearch 설치

 

 

 

Elasticsearch 윈도우 버전을 설치

-> https://www.elastic.co/kr/downloads/elasticsearch

Download Elasticsearch Free | Get Started Now | Elastic

 

 

 

 

 

 

 

-> 파일을 다운로드 받은 후, 압축 풀기

-> C드라이브 에서 elasticsearch 폴더 생성 / 그 후에, 받은 window용 3개 전부 다 넣음

 

 

 

-> 압축 푼 후에, 관리자 명령프롬포트를 켜서, bin 폴더 안에 있는 elasticsearch.bat를 실행시켜서 설치

 

 

Elasticsearch 설치 확인

-> curl -XGET 127.0.0.1:9200

 

 

-> http://localhost:9200/를 입력

 

 

-> 관리자 명령프롬포트창을 끄면 안 된다.

 

 

 

 

 

2. Kibana를 설치한다.(Logstash는 제일 마지막으로 설치)

 

Kibana 윈도우 버전을 설치

-> www.elastic.co/kr/downloads/kibana

Download Kibana Free | Get Started Now | Elastic

 

 

-> Kibana의 설치는 bin/kibana.bat 실행

-> Kibana의 설정 파일은 config/kibana.yml (변경 X -> 5601 port)

 

 

 

-> 아까처럼 관리자 프롬프트 창을 하나 더 열어 준 후, 해당 경로로 이동(cd)

C:\ElasticSearch\kibana-7.11.2-windows-x86_64\bin>kibana.bat

 

-> 설치가 완료되었다 (localhost:5601)

 

 

-> 크롬에서 Kibana 서버(http://localhost:5601 )에 접속한 모습

-> dev tools를 검색해서 들어가면 된다.

 

 

 

-> Kibana Dev Tools 메뉴 모습이다.

-> 왼쪽 (쿼리 입력창)에서 JSON형태의 쿼리를 작성하고,  화살표 모양을 클릭하면 오른쪽(결과 창)에 쿼리 결과 나타남

 

 

 

 

 

3. Logstash 윈도우 버전을 설치

-> www.elastic.co/kr/downloads/logstash

Download Logstash Free | Get Started Now | Elastic

 

 

 

 

 

 

 

-> 마찬가지로 명령 프롬프트 창을 하나 더 열어준다(총 3개)

-> 그런 후에 해당 디렉터리 경로로 이동

 

 

★★★★★ path 설정해줘야 한다 ★★★★★

시스템 -> 관련 설정(고급 시스템 설정) -> 고급 -> 환경변수(맨 밑) 클릭  -> 시스템 변수에 있는 path를 더블 클릭

->새로 만들기를 눌러 logstash 경로를 넣어준 후, 차례대로 kibana , elasticsearch경로를 각 각 넣어줌

 

logstash 실행 방법(logstash -f 파일명.conf)

C:\Users\shraddhasrivastav\Downloads\logstash-6.3.1\bin>logstash -f logstash.conf

+@ JDK랑 경로 겹친다고 뜸. (에러 발생)
Unrecognized VM option 'UseParNewGC'
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

 

 

 

★★★★★ 명령 프롬프트 창을 열어서, logstash에서 제공해주는 jdk폴더로 환경변수를 재설정해준다. ★★★★★

(기존에 설치 할 때, 제공해주는 jdk를 쓰는 게 제일 좋다)

 

 

-> ★ logstash.bat 파일을 오른쪽 마우스 눌러서 편집 후, set JAVA_HOME=C:\ElasticSearch\logstash-7.11.2\jdk를 추가해줌, 추가함으로써 에러가 발생하지 X, 정상적으로 작동된다. (JDK 경로가 안 겹치기 위해서) ★

 

환경변수를 재설정 해준다.