Filebeats kibana 연동 및 실행시 에러

2022-04-19T02:33:20.491+0900    ERROR   instance/beat.go:956    Exiting: 1 error: error loading index pattern: index [.kibana_1] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block];. Response: {"objects":[{"id":"filebeat-*","type":"index-pattern","error":{"message":"index [.kibana_1] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block];"}}]}
Exiting: 1 error: error loading index pattern: index [.kibana_1] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block];. Response: {"objects":[{"id":"filebeat-*","type":"index-pattern","error":{"message":"index [.kibana_1] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-delete block];"}}]}

대처법

스토리지 용량이 부족해지면, 키바나에서 해당 인덱스를 read-only로 변경하는 설정이 있다. 먼저 디스크에 용량이 부족하거나 했던적이 있는지 확인하고, 그런 사실이 있는 경우 에러가 발생하는 인덱스의 설정을 확인한다.

curl -XGET "{elasticsearch 주소}/{인덱스이름}/_settings?pretty"

curl -XGET "localhost:9200/.kibana_1/_settings?pretty"

-> Response

{
  ".kibana_1" : {
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "auto_expand_replicas" : "0-1",
        "blocks" : {
          "read_only_allow_delete" : "true"
        },
        "provided_name" : ".kibana_1",
        "creation_date" : "1645644544163",
        "number_of_replicas" : "0",
        "uuid" : "mqiYO9n7SXazsYRhTvz4Cw",
        "version" : {
          "created" : "7100299"
        }
      }
    }
  }
}

여기에

        "blocks" : {
          "read_only_allow_delete" : "true"
        },

부분을 보면, 이 값을 false로 바꿔주거나, 스토리지 부족 문제를 해결해주면 된다. 인덱스를 삭제해줘도 일시적으로 해결할 수는 있겠다.

인덱스 삭제

curl -XDELETE "{elasticsearch 주소}/{인덱스이름}"

귀찮아서 이 인덱스를 삭제해주고 넘어가려고 했다.

curl -XDELETE "http://localhost:9200/.kibana_1"

하지만, 금방 또 kibana를 구동시키면 이 이슈가 재발해버리기 때문에 값을 수정해주자.

curl -XPUT 'http://<elastic_search_주소>/<인덱스 이름>/_settings' -H 'Content-Type: application/json' -d '{
"index": {
    "blocks": {
        "read_only_allow_delete": "false"
        }
    }
}'

curl -XPUT 'http://localhost:9200/.kibana_1/_settings' -H 'Content-Type: application/json' -d '{
"index": {
    "blocks": {
        "read_only_allow_delete": "false"
        }
    }
}'

DolphaGo / TIL

Filebeats kibana 연동 및 실행시 에러 #97