전체 글346 [2021.07.23] 인턴 +144 How to increase /dev/root storage on AWS EC2 Linux?( /dev/root storage : 100gb upgrade) [2021.07.23] 인턴 +144 How to increase /dev/root storage on AWS EC2 Linux?( /dev/root storage : 100gb upgrade) 해당 게시글은 , AWS EC2에서 만든 Linux의 /dev/root 용량을 100gb로 업그레이드 하는 방법에 대해서 알아 보자. 순서 (꼭 순서대로 진행할 것) 1. AWS EC2 인스턴스 볼륨 확장 2. Linux에 들어가서 /dev/root 용량과 EC2 인스턴스에서 확장시킨 볼륨 연동하기 1. AWS EC2 인스턴스에 들어가야 한다. -> 위의 사진처럼 인스턴스 ID(링크) 클릭 2. 아래 사진을 보자. -> 스토리지 -> 볼륨 ID(링크 부분 클릭) 3. 해당 볼륨ID에 오른쪽 마우스를 눌러서, 볼륨.. 2021. 7. 23. [2021.07.23] 인턴 +144 How to solve error : index [.async-search] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block] ? [2021.07.23] 인턴 +144 How to solve error : index [.async-search] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block] ? 해당 에러는 logstash로 데이터를 넣을 때 발생하는 에러이다. index [.async-search] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block] 발생 원인 -> ELK가 깔린 Linux 서버에서, root 저장소를.. 2021. 7. 23. [2021.07.23] MySQL에 1분 내로 대용량 데이터 CSV File 업로드 방법? [2021.07.23] MySQL에 1분 내로 대용량 데이터 CSV File 업로드 방법? 1. 우선, csv 파일을 다운 받는다 2. 해당 파일을 아스키코드(.excel)로 workbench를 통해, 자동으로 테이블 과 컬럼(속성)을 만든다 -> 여기서, 아스키코드가 아니라면 editplus를 통해, utf-8 -> ASCII로 인코딩 해준다 3. 2번에서 업로드후 10~20초후에 종료한다 -> 자동으로 테이블과 컬럼을 setting 하기 위한 작업이기 때문이다. -> 그런후 truncate로 데이터를 모두 삭제한다 4. workbench에서, num이라는 필드를 추가하면서 , PK,NN,AI를 Select 후, apply를 눌러준다(auto_increment) 5. 파일질라(FTP) -> 해당 아스키.. 2021. 7. 23. [2021.07.22] 인턴 +143 How to create Multiple tables conf file in logstash? (+xpack elasticsearch include id & password ) [2021.07.22] 인턴 +143 How to create Multiple tables conf file in logstash? (+xpack elasticsearch include id & password ) 해당 게시글은, 다중 테이블을 넣기 위한 conf 파일을 파이썬 코드로 짠 것이다. + Xpack을 설정하면, jdbc -> elasticsearch로 보낼 때, id & password 가 필요하다. * 해당 게시글은 elasticsearch id & password가 포함되어 있음. db_tables = [ "Classification_diseases", "Highblood_pressure ", "aged_disease ", "blood_pressure_sugar ", "blood_test.. 2021. 7. 23. [2021.07.22] 인턴 +143 Tips) How to save mysql data only once in logstash without duplicate data? [2021.07.22] 인턴 +143 Tips) How to save mysql data only once in logstash without duplicate data? 해당 게시글은, logstash를 이용하여, mysql db에 접근하여, elasticsearch로 중복 데이터 없이 단 한번만 보내는 방법이다. 예를 들자면 db 데이터의 row 행 값이 960이라면, 960만 들어가게 한다. why ? -> 정확한 데이터로 분석을 해야 하기 때문에 중복 값이 필요가 없다. 그럴려면, conf 파일에 해당 기능을 추가 해줘야 한다. test.conf input { jdbc { jdbc_driver_library => "/usr/share/java/mysql-connector-java-8.0.25.ja.. 2021. 7. 23. [2021.07.22] 인턴 +143 How to solve error : Could not index event to Elasticsearch? [2021.07.22] 인턴 +143 How to solve error : Could not index event to Elasticsearch? 해당 에러는 logstash를 이용하여, elasticsearch에 데이터를 넣는 과정에서 발생하는 에러이다. Could not index event to Elasticsearch Could not index event to Elasticsearch 해결방법 -> 이것은 db에 담겨진 컬럼(속성) 값이 한글이기 때문에, 에러가 발생하는 것임. -> 컬럼(속성)을 꼭 영어로 해주자 2021. 7. 23. 이전 1 ··· 35 36 37 38 39 40 41 ··· 58 다음
