본문 바로가기

Data72

[2021.04.16] 인턴 +46 Linux(Ubuntu18.04) - Apache log analysis (geoip 사용) [2021.04.16] 인턴 +46 Linux(Ubuntu18.04) - Apache log analysis (geoip 사용) * Linux 복사하기 명령어 cp 파일명 경로 cp geoip_test1.conf /usr/share/logstash/bin * Linux 삭제하기 명령어 rm -rf 파일명 * PC 와 Linux(Ubuntu)에서 ELK를 설치 및 사용 하면서 느낀점 -> 같은 사양이라도 ELK를 Linux(Ubuntu)에서 깔아서 출력하는게 PC보다 렉이 훨 안걸린다. 결론, ELK를 Linux(Ubuntu)에 설치 할 줄 알면, Linux를 적극적으로 사용하자. * PC 와 Linux(Ubuntu)에서 geoip를 하기 위해선? 1. kibana에 들어가서 dev tools 검색 후 들.. 2021. 4. 16.
[2021.04.14] 인턴 +44 Linux(Ubuntu18.04) - ELK 설치(MySQL 연동 포함) & Virtual Machine (Azure) [2021.04.14] 인턴 +44 Linux(Ubuntu18.04) - ELK 설치(MySQL 연동 포함) & Virtual Machine (Azure) portal.azure.com/ Microsoft Azure portal.azure.com -> Azure에서 제공해주는 가상 머신을 만들어, ELK(elasticsearch, logstash, kibana)를 설치해보자. * Azure 사이트는 머신러닝(Machine Learning) , ELK , jupyter notebook 다양한 기능을 제공해주는 사이트 -> 즉, 머신러닝 과 인공지능을 하기 위해 만들어진 사이트라고 생각하자 * 돈을 내야 사용할 수 있다. (나는 회사에서 제공해주는 계정을 사용할 것이다.) * 4월9일~4월14일 오후 4시 .. 2021. 4. 14.
[2021.04.06] 인턴 +36 Azure에서 ELK 사용하기(가상머신X) [2021.04.06] 인턴 +36 Azure에서 ELK 사용하기(가상머신X) portal.azure.com/ Microsoft Azure portal.azure.com -> 해당 사이트는 머신러닝(Machine Learning) , elasticsearch, logstash, kibana(ELK) , jupyter notebook 다양한 기능을 제공해주는 사이트이다. -> 즉, 머신러닝 과 인공지능을 하기 위해 만들어진 사이트라고 생각하자. * 돈을 내야 사용할 수 있다. (나는 회사에서 제공해주는 계정을 사용할 것이다.) -> Azure에 로그인한 화면이다. -> 검색창에 elastic 치면 marketplace에 Elasticsearch (Self-Managed)가 있다. 클릭해준다. -> Crea.. 2021. 4. 6.
[2021.04.02] 인턴 +32 Apache log Analysis log file(3GB) - geoip 사용 O [2021.04.02] 인턴 +32 Apache log Analysis log file(3GB) - geoip 사용 O 이번 아파치 로그 분석에 대한 실습 자료는 아래 링크에서 받을 수 있다.(Kaggle) www.kaggle.com/eliasdabbas/web-server-access-logs?select=access.log Web Server Access Logs A sample of web server logs file www.kaggle.com -> 구글로 로그인 후 다운로드를 하면 된다. 하지만, log 데이터 용량이 3GB라 파일을 볼 수 없다. 파일을 보기 위해 무설치 버전(대용량 editor)을 설치해서 심심하면 열어봐라. * 에디터의 배경을 수정하고 싶으면 -> LTFViewr5u.ini.. 2021. 4. 2.
[2021.04.01] 인턴 +31 log Analysis 2 (로그 분석 2) [2021.04.01] 인턴 +31 log Analysis 2 (로그 분석 2) 우선 시작하기 앞서, 내가 공부해야 할 것들을 정리해보겠다. 1. log analysis ( 로그 분석 - 거의 끝나감) 2. 친절한 AI(끝까지 보기 - 이번 주 할 예정) 3. kaggle -> 월마트 -> AWS SageMarker (youtube 참고해서 공부) ------------------------------------------------------------------------------ 자, 이제 다른 web log 파일을 가지고 실습하기 전에, 로그 분석 1(게시글)에 썼던 꿀팁들을 기억하자 ★★★ 로그 분석을 하면서 꼭 기억할 점 ★★★ 1. 컴퓨터 사양이 부족해서 (위의 로그 55000 line -.. 2021. 4. 1.
[2021.03.31] 인턴 +30 Apache log concept과 로그 분석1 [2021.03.31] 인턴 +30 Apache log concept과 로그 분석1 아파치 로그 개념에 대해서 알아본 후, 로그 분석을 해보자. 자, 우선 Apache log가 어떻게 생겼고, 어떤 형태로 되어있는지 알아보기 위해 document를 참고해보자. httpd.apache.org/docs/2.4/logs.html 로그파일 - Apache HTTP Server Version 2.4 로그파일 이 문서는 최신판 번역이 아닙니다. 최근에 변경된 내용은 영어 문서를 참고하세요. 효율적으로 웹서버를 관리하려면 발생하는 문제와 함께 서버의 활동과 성능에 대해 알아야 한다. httpd.apache.org -> Apache Log document 아파치 로그 분석1 (Apache log analysis 1) .. 2021. 3. 31.