[2021.03.24] 인턴 + 23 파일 비트란?(설치 및 실습 포함)

[2021.03.24] 인턴 + 23 파일 비트란?(설치 및 실습 포함)

 

 

Filebeat란?

-> 실시간 경량 로그 수집기. 

-> 분산되어 있는 여러 시스템에서 발생하는 로그들을(System.log, WebServer.log, Engine.log, Error.log 등) 수집 

-> 경량화된 하나의 로그(Beat)로 만들고, 이를 Elasticsearch, Logstash 등 다양한 Output으로 Push 해주는 Producer

 

 

 

Filebeat 다운로드 

www.elastic.co/kr/downloads/past-releases

Past Releases of Elastic Stack Software

-> 컨트롤 + F로로 filebeat를 검색하여, 다운로드 한다다운로드한다(filebeat 7.11.2)

 

 

 

 

 

 

www.elastic.co/kr/downloads/past-releases/filebeat-7-12-0 

Filebeat 7.12.0 | Elastic

-> 2021.03.04 기준으로 가장 최신 버전인 Filebeat 7.12.0 Version

 

 

-> 자신의 운영체제(OS)에 맞게, 해당 사항을 설치해주면 된다.(본인 노트북 사양 : 윈도우 - 64bit)

 

 

 

압축 풀기(엘라스틱이 있는 곳으로 압축 풀어줌) 

-> C:\ElasticSearch\filebeat-7.11.2-windows-x86_64

 

 

 

 

압축 파일 안에 있는 것들 

-> kibana : 데이터 시각화 툴로 수집된 데이터를 웹으로 확인할 수 있게 도와줌

-> filebeat.yml : Filebeat Configuration 파일

-> filebeat.reference.yml : filebeat 설정들을 참조할 수 있는 파일, 필요한 설정을 filebeat.yml으로 복사

-> fields.yml: Beat를 내보낼 때 덧붙일 Field를 정의

-> filebeat.exe : 실행파일

 

 

 

 

-> 파일 비트를 다운로드한 후, 압축을 풀고, filebeat.yml을 연결 프로그램으로 메모장으로 열어준다.

 

 

 

 

-> paths를 수정 (log경로를 어디다가 할 건지 말하는 것 같음)

 

 

-> 파일 비트를 압축 푼 곳에, 새로 만들기로 log라는 폴더를 만들어줌

 

 

 

-> 해당 경로 : C:\ElasticSearch\filebeat-7.12.0-windows-x86_64\log 

-> 이것을 path에 붙여줌

 

 

-> path 부분에 C:\ElasticSearch\filebeat-7.12.0-windows-x86_64\log\*

-> ★★★★★ \*를 꼭 붙여줘야 한다 ★★★★★

-> 그리고 enable에 false -> true로 수정해준다.(true로 수정한 것을 캡처함)

 

 

-> 아래로 내리다 보면, output.elasticsearch라고 있는데, 

-> 깔려 있는 elasticsearch를 실행시켜, 9200 포트가 맞는지 확인해보자.

 

 

-> 9200 포트가 맞다(elasticsearch port 기본 값이 9200이다.)

 

 

 

------------------------------------------------------------------------------------------------------------------------------

이제, 파일 비트 setting은 끝났으니, 사용해보도록 하자

 

 

우선, 실습에 있어서 각 서버(elasticsearch, kibana)를 (관리자 권한) 명령 프롬포트로 열어줘야 한다.

 

C:\ElasticSearch\elasticsearch-7.11.2\bin>elasticsearch.bat

-> elasticsearch 실행

 

 

C:\ElasticSearch\kibana-7.11.2-windows-x86_64\bin>kibana.bat

-> kibana 실행

 

 

 

 

 

 

 

-> 파일 비트를 실행 전에, filebrat.yml에서 지정해준 log경로(C:\ElasticSearch\filebeat-7.12.0-windows-x86_64\log)에 파일. csv를 넣어준다.

 

 

 

 

그런 후에,  관리자 권한으로 cmd를 열어, Filebeat경로로 이동한 후 filebeat.exe -c filebeat.yml (enter)

 

 

 

-> localhost:5601(kibana) 들어가기 -> search(index patterns) -> Create index patten 클릭

 

 

 

-> step1에서, filebeat-*라고 검색한 후, Next step 클릭

 

 

-> step 2에서,@timestamp select 후, Create index pattern 클릭

 

-> filebeat로 만들어진 것을 볼 수 있다.

 

 

 

 

-> 이제, discover를 검색해서 들어간 뒤, 파일을 보자

 

 

 

-> 이로써, 파일 비트 실습을 끝내도록 하겠다.

 

 

 

+@ 파일 비트 로그 기록하기 

-> filebeat.exe -c filebeat.yml -e -v

 

 

-> C:\ElasticSearch\filebeat-7.12.0-windows-x86_64\logs (filebeat)라는 파일로 log가 기록되고 있다.

 

 

 

 

-> +@ http://localhost.:9200/_cat/indices

-> 파일이 생성되거나 들어오는 것을 볼 수 있다.