[2021.07.22] 인턴 +143 How to solve ERROR flood stage disk watermark [95%] exceeded on in elasticsearch(+sovle kibana error : Unable to complete saved object migrations for the .kibana index)

[2021.07.22] 인턴 +143   How to solve ERROR flood stage disk watermark [95%] exceeded on in elasticsearch(+solve kibana error : Unable to complete saved object migrations for the .kibana index)

 

 

 

 

해당 게시글은 Linux에서 elasticsearch 와 kibana를 실행 했을 때, /dev/root에 용량이 없을 경우, 발생하는 에러이다.

ERROR flood stage disk watermark [95%] exceeded on in elasticsearch

kibana error : Unable to complete saved object migrations for the .kibana index

 

 

해결방법은 간단하다.

Linux의 root storage를 확보해주면 되는것이다.

 

 

ubuntu@ip-172-31-9-174:/usr/share/logstash/bin$ df -h

Filesystem      Size  Used Avail Use% Mounted on
/dev/root       7.7G  7.7G   75M 100% /
devtmpfs        3.9G     0  3.9G   0% /dev
tmpfs           3.9G     0  3.9G   0% /dev/shm
tmpfs           796M  860K  796M   1% /run
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/loop0       34M   34M     0 100% /snap/amazon-ssm-agent/3552
/dev/loop1       56M   56M     0 100% /snap/core18/1997
/dev/loop3       33M   33M     0 100% /snap/snapd/11588
/dev/loop4       56M   56M     0 100% /snap/core18/2074
/dev/loop5       33M   33M     0 100% /snap/snapd/12398
/dev/loop6       68M   68M     0 100% /snap/lxd/20326
/dev/loop7       71M   71M     0 100% /snap/lxd/21029
tmpfs           796M     0  796M   0% /run/user/1000
s3fs             16E     0   16E   0% /mnt/mount_dir

* /dev/root       7.7G  7.7G   75M 100% /

-> root 용량이 100% 사용하는 것을 알 수 있다.

-> 그러므로, 불필요한 데이터를 지워, 용량을 확보 해보자.

큰 용량 파일 찾기

아래 명령어는  /home/ubuntu 디렉토리에 100MB 이상의 파일을 찾는 명령어

find /home/ubuntu -size +100000 -print

해당 명령어로 캐시를 삭제하여, 공간 확보 가능

sudo apt-get clean

 

 

 

 

 

ubuntu@ip-172-31-9-174:/usr/share/logstash/bin$ df -h

Filesystem             1K-blocks    Used         Available Use% Mounted on
/dev/root                8065444 6869972           1179088  86% /
devtmpfs                 4068964       0           4068964   0% /dev
tmpfs                    4074932       0           4074932   0% /dev/shm
tmpfs                     814988     836            814152   1% /run
tmpfs                       5120       0              5120   0% /run/lock
tmpfs                    4074932       0           4074932   0% /sys/fs/cgroup
/dev/loop2                 56832   56832                 0 100% /snap/core18/2074
/dev/loop0                 34176   34176                 0 100% /snap/amazon-ssm-agent/3552
/dev/loop3                 69248   69248                 0 100% /snap/lxd/20326
/dev/loop1                 56832   56832                 0 100% /snap/core18/1997
/dev/loop4                 33152   33152                 0 100% /snap/snapd/12398
/dev/loop5                 72064   72064                 0 100% /snap/lxd/21029
/dev/loop6                 33152   33152                 0 100% /snap/snapd/11588
s3fs           18014398509465600       0 18014398509465600   0% /mnt/mount_dir
tmpfs                     814984       0            814984   0% /run/user/1000

* /dev/root       7.7G  7.7G   75M 100% /

root 용량이 100% -> 86%로 줄어든 것을 확인할 수 있다.

 

 

이렇게 /dev/root 용량을 확보해주면, 위에서 발생한 elasticsearch 에러와, kibana에러가 발생하지 않는다.