Data72 [2021.07.22] 인턴 +143 How to create Multiple tables conf file in logstash? (+xpack elasticsearch include id & password ) [2021.07.22] 인턴 +143 How to create Multiple tables conf file in logstash? (+xpack elasticsearch include id & password ) 해당 게시글은, 다중 테이블을 넣기 위한 conf 파일을 파이썬 코드로 짠 것이다. + Xpack을 설정하면, jdbc -> elasticsearch로 보낼 때, id & password 가 필요하다. * 해당 게시글은 elasticsearch id & password가 포함되어 있음. db_tables = [ "Classification_diseases", "Highblood_pressure ", "aged_disease ", "blood_pressure_sugar ", "blood_test.. 2021. 7. 23. [2021.07.22] 인턴 +143 Tips) How to save mysql data only once in logstash without duplicate data? [2021.07.22] 인턴 +143 Tips) How to save mysql data only once in logstash without duplicate data? 해당 게시글은, logstash를 이용하여, mysql db에 접근하여, elasticsearch로 중복 데이터 없이 단 한번만 보내는 방법이다. 예를 들자면 db 데이터의 row 행 값이 960이라면, 960만 들어가게 한다. why ? -> 정확한 데이터로 분석을 해야 하기 때문에 중복 값이 필요가 없다. 그럴려면, conf 파일에 해당 기능을 추가 해줘야 한다. test.conf input { jdbc { jdbc_driver_library => "/usr/share/java/mysql-connector-java-8.0.25.ja.. 2021. 7. 23. [2021.07.22] 인턴 +143 How to solve error : Could not index event to Elasticsearch? [2021.07.22] 인턴 +143 How to solve error : Could not index event to Elasticsearch? 해당 에러는 logstash를 이용하여, elasticsearch에 데이터를 넣는 과정에서 발생하는 에러이다. Could not index event to Elasticsearch Could not index event to Elasticsearch 해결방법 -> 이것은 db에 담겨진 컬럼(속성) 값이 한글이기 때문에, 에러가 발생하는 것임. -> 컬럼(속성)을 꼭 영어로 해주자 2021. 7. 23. [2021.07.22] 인턴 +143 How to solve java.sql.SQLNonTransientConnectionException: Public Key Retrieval is not allowed in Logstash [2021.07.22] 인턴 +143 How to solve java.sql.SQLNonTransientConnectionException: Public Key Retrieval is not allowed in Logstash 해당 게시글은, Linux에서 jdbc 플러그인을 이용하여, db에 있는 데이터를 접근하여 elasticsearch로 보내는 과정에 발생하는 에러이다. java.sql.SQLNonTransientConnectionException: Public Key Retrieval is not allowed 해결 방법 -> test.conf 파일에서 , jdbc_connection_string 에서 useSSL=false가 아닌, allowPublicKeyRetrieval=true&useSSL.. 2021. 7. 23. [2021.07.22] 인턴 +143 How to solve ERROR flood stage disk watermark [95%] exceeded on in elasticsearch(+sovle kibana error : Unable to complete saved object migrations for the .kibana index) [2021.07.22] 인턴 +143 How to solve ERROR flood stage disk watermark [95%] exceeded on in elasticsearch(+solve kibana error : Unable to complete saved object migrations for the .kibana index) 해당 게시글은 Linux에서 elasticsearch 와 kibana를 실행 했을 때, /dev/root에 용량이 없을 경우, 발생하는 에러이다. ERROR flood stage disk watermark [95%] exceeded on in elasticsearch kibana error : Unable to complete saved object migrations .. 2021. 7. 23. [2021.07.15] 인턴 +136 ELK install (Ubuntu20.04) + XPack(Security 설정 및 User Create) + jdbc on AWS EC2 [2021.07.15] 인턴 +136 ELK install (Ubuntu20.04) + XPack(Security 설정 및 User Create) + jdbc on AWS EC2 https://injekim97.tistory.com/243 [2021.05.25~28] 인턴 +85 ELK install (Ubuntu20.04) + XPack(Security 설정 및 User Create) + jdbc on Azure :: 기초부 injekim97.tistory.com -> 해당 게시글은 Cloud Azure에서 ELK를 세팅하는 방법이다. -> 하지만 클라우드만 다를 뿐, 설치 및 설정방법은 똑같기 때문에, 순차대로 진행하면 된다. 이번 게시글은 Azure가 아닌 AWS EC2 에서 ELK를 구축해보도록 .. 2021. 7. 15. 이전 1 2 3 4 5 6 ··· 12 다음
