CLOVER🍀

That was when it all began.

ElasticsearchのIndex Lifecycle Management(ILM)を使って、指定された期間を過ぎたインデックスを削除する

これは、なにをしたくて書いたもの?

Elasticsearch 6.6.0から、Index Lifecycle Management(ILM)というものが入っているようなので、こちらを試してみようかなと。

Release Notes / Elasticsearch 6.6.0 / New features

Index Lifecycle Management
・ Adds Index lifecycle feature #35193

以前は、Curatorというものがこの役割を行っていたみたいです。

Curator Reference [5.8] | Elastic

Index Lifecycle Management(ILM)とは?

Index Lifecycle Management(略してILM)について。

Managing the index lifecycle | Elasticsearch Reference [7.5] | Elastic

インデックスの管理の自動化の仕組みのようです。インデックステンプレートに、ILMを使って定義したライフサイクルポリシーを
紐付けることで、インデックステンプレートを元に作成されるインデックスにポリシーを紐付けます。この結果、指定されたスケジュールで
特定のアクションを実行したりすることができるようになったりします。

ILMでは、インデックスのライフサイクルを以下の4つのフェーズで管理します。

  • Hot … このフェーズのインデックスは、よく更新、検索される
  • Warm … インデックスはもう更新されなくなっているが、検索は行われる
  • Cold … インデックスは更新もされないし、ほとんど検索もされない。検索自体は可能であるが、速度が遅くなっていてもかまわない
  • Delete … このフェーズのインデックスは、もはや不要になっていて、削除しても大丈夫なもの

最初は、Hotフェーズで、上から下に向かって遷移します。

これらのフェーズの役割は目安のようなものみたいですが、各フェーズにいつ移行するかはライフサイクルポリシーで定めます。

各フェーズにはアクションを紐付けることができ、どのフェーズでどのようなアクションが実行可能かは決まっています。

Actions | Elasticsearch Reference [7.5] | Elastic

特定のフェーズでしか、実行できないアクションもあります。

たとえばHotフェーズではRolloverを行う、Warmフェーズではインデックスのシュリンクを行う、Deleteフェーズではインデックスの
削除を行ったりします。

クラスタ内で、各フェーズに対するノードを割り当てることで、同一クラスタ内でもHotフェーズのインデックスを持つノードは
スペックを高めに、WarmやColdフェーズのインデックスを持つノードは、Hotフェーズを持つノードと比べて低めのスペックで
構成する、といったことも可能なようです。

Elasticsearchでインデックスライフサイクル管理を使用してHot-Warm-Coldアーキテクチャーを実装 | Elastic Blog

ILMかCuratorか?

Curatorについて調べていくと、ILMと用途が被っているようにも思います。

Curator and Index Lifecycle Management | Curator Reference [5.8] | Elastic

そのあたりは、ドキュメントにも記載があります。

ILM or Curator? | Curator Reference [5.8] | Elastic

Basicライセンス以上を使う場合は、CuratorよりもILMを使った方がよいみたいです。

If ILM provides the functionality to manage your index lifecycle, and you have at least a Basic license, consider using ILM in place of Curator.

Filebeat 7.0以降は、デフォルトでILMを使用するようですし

Starting with version 7.0, Filebeat uses index lifecycle management by default when it connects to a cluster that supports lifecycle management.

LogstashもILMを使用するようです。

Logstash can use Index Lifecycle Management to automate the management of indices over time.

デフォルトで、ILMが利用可能かどうかの検出もするみたいですしね。

The use of Index Lifecycle Management is controlled by the ilm_enabled setting. By default, this will automatically detect whether the Elasticsearch instance supports ILM, and will use it if it is available.

CuratorとILMの併用も可能なようです。

ILM and Curator! | Curator Reference [5.8] | Elastic

併用する場合、allow_ilm_indicesオプションを指定しない限りは、CuratorはILMポリシーに関連付けられたインデックスにはなにもしない
ようです。

ILMとCuratorの大きな違いは、ILMがElasticsearch内で動作する仕組みなのに対して、CuratorはElasticsearchの外で動作する仕組み
ということでしょうか。Curatorを使う場合は、別途実行のためのジョブ(たとえばcronなど)を設定することになります。

試してみる

と、ここまでつらつら書いてきましたが、動かしてみないとよくわからないので、実際に試してみたいと思います。

環境

今回の環境は、こちら。

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 18.04.3 LTS
Release:    18.04
Codename:   bionic


$ java --version
openjdk 11.0.5 2019-10-15
OpenJDK Runtime Environment (build 11.0.5+10-post-Ubuntu-0ubuntu1.118.04)
OpenJDK 64-Bit Server VM (build 11.0.5+10-post-Ubuntu-0ubuntu1.118.04, mixed mode, sharing)

Elasticsearchは、7.5.1を使います。

$ curl localhost:9200
{
  "name" : "ubuntu1804.localdomain",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "SZLLMXCmRjCZlo1SfMd7KA",
  "version" : {
    "number" : "7.5.1",
    "build_flavor" : "default",
    "build_type" : "deb",
    "build_hash" : "3ae9ac9a93c95bd0cdc054951cf95d88e1e18d96",
    "build_date" : "2019-12-16T22:57:37.835892Z",
    "build_snapshot" : false,
    "lucene_version" : "8.3.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

また、Elasticsearchが動作しているサーバーのIPアドレスは、192.168.33.12とします。

このIPアドレスは、あとで作成する、データ投入用のプログラムを動作させる時のみ使用します。

お題

Hotフェーズの例だとすぐRolloverとか出てきますが、ここはシンプルに指定の期間がすぎたらインデックスを削除する、というケースで
試します。

まずは、インデックスポリシーを登録します。

Set up index lifecycle management policy | Elasticsearch Reference [7.5] | Elastic

登録するインデックスポリシーは、こんな感じで作成。インデックスポリシーの名前は、「my_index_policy」とします。

$ curl -XPUT -H 'Content-Type: application/json' localhost:9200/_ilm/policy/my_index_policy -d '
{
    "policy": {                       
        "phases": {
            "hot": {
                "min_age": "1m",          
                "actions": {}
            },
            "warm": {
                "min_age": "3m",          
                "actions": {}
            },
            "delete": {
                "min_age": "7m",           
                "actions": {
                    "delete": {}              
                }
            }
        }
    }
}
'

今回は、Hot、Warm、Deleteの3つのフェーズを使うことにします。Coldフェーズは書かないので、使われません(遷移もしません)。

min_ageは、デフォルトでは「インデックスを作成してからの時間」を指します。

Timing | Elasticsearch Reference [7.5] | Elastic

min_age is usually the time elapsed from the time the index is created, unless the index.lifecycle.origination_date index setting is configured, in which case the min_age will be the time elapsed since that specified date. If the index is rolled over, then min_age is the time elapsed from the time the index is rolled over. The intention here is to execute following phases and actions relative to when data was written last to a rolled over index.

なので、インデックスを作成してから1分後にHotフェーズへ、3分後にWarmフェーズへ、7分後にDeleteフェーズへと移っていきます。
※ちなみに、Hotになる前は「New」というフェーズになります

Deleteフェーズでは、アクションとしてインデックスの削除を行います。それ以外のフェーズでは、なにもアクションを行いません。

ドキュメントではWarmフェーズでインデックスをシュリンクするアクションを設定したり、

Timing | Elasticsearch Reference [7.5] | Elastic

HotフェーズでRolloverを行ったりするような設定例が記載されています。

Full Policy | Elasticsearch Reference [7.5] | Elastic

続いて、インデックステンプレートを登録し、この時にインデックスポリシーを紐付けます。

Applying a policy to an index template | Elasticsearch Reference [7.5] | Elastic

「index.lifecycle.name」で、今回作成したインデックスポリシーを指定しています。

$ curl -XPUT -H 'Content-Type: application/json' localhost:9200/_template/my_index_template -d '
{
    "index_patterns": ["my_index-*"],
    "settings": {
        "number_of_shards": 1,
        "number_of_replicas": 0,
        "index.lifecycle.name": "my_index_policy"
    }
}
'

インデックスを作る時に、インデックスポリシーを紐付けることもできるようです。

Apply a policy to a create index request | Elasticsearch Reference [7.5] | Elastic

ちなみに、ILMはKibanaで管理することができます。

f:id:Kazuhira:20200109011945p:plain

作成も、Kibana上で行うことができます。

f:id:Kazuhira:20200108235939p:plain

f:id:Kazuhira:20200109000113p:plain

なのですが、指定できる時間の単位が日、時間と待ち時間が大きくなるので、今回は直接ElasticsearchにJSONで放り込むことにしました。

フェーズの遷移の管理を、分単位で設定していますからね。

次に、用意したインデックステンプレートを使って、インデックスを作り続けるサンプルプログラムを作りましょう。

Pythonでスクリプトを書くことにします。

$ pip3 install elasticsearch

インストールしたElasticsearchライブラリのバージョンと、Pythonのバージョン。

$ pip3 freeze
elasticsearch==7.1.0
pkg-resources==0.0.0
urllib3==1.25.7


$ python3 -V
Python 3.6.9

用意したプログラムはこちら。 ilm_example.py

from datetime import datetime
from elasticsearch import Elasticsearch
import time

index_name_prefix = "my_index"
index_alias = index_name_prefix
sleep_sec = 10

elasticsearch_url = "http://192.168.33.12:9200"

es = Elasticsearch([elasticsearch_url])

while True:
    now = datetime.now()
    now_str = now.strftime('%Y-%m-%d-%H.%M')
    index_name = f"{index_name_prefix}-{now_str}"

    id = int(now.timestamp())

    doc = {"message": f"Hello!! {now_str}"}

    es.index(index = index_name, id = id, body = doc)

    print(f"write {now_str}...")

    time.sleep(sleep_sec)

10秒に1回データを投入しつつ、1分ごとに異なるインデックスを作成するプログラムになります。

実行。

$ python3 ilm_example.py

インデックスにデータが書き込まれていきます。

write 2020-01-09-01.21...
write 2020-01-09-01.21...
write 2020-01-09-01.22...
write 2020-01-09-01.22...

cat APIで、見てみると

$ watch curl -s localhost:9200/_cat/indices?v

インデックスが増えていく様子が確認できます。

Every 2.0s: curl -s localhost:9200/_cat/indices?v                                                                                       ubuntu1804.localdomain: Wed Jan  8 16:22:58 2020

health status index                     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_task_manager_1    HEDAc98pTYiPDjh1yJWbyg   1   0          2            1     51.7kb         51.7kb
green  open   .apm-agent-configuration  bpB7peSqRXmV4lDTDIwzxw   1   0          0            0       283b           283b
green  open   my_index-2020-01-09-01.21 gGs-aFvVQjOtQngIhgdCIw   1   0          2            0      6.9kb          6.9kb
green  open   .kibana_1                 Oyyp7IHlRaKvitTwCYI-_A   1   0          5            0     13.3kb         13.3kb
green  open   my_index-2020-01-09-01.22 eaSRXIwFSYqv11UppfWWsg   1   0          3            0     10.3kb         10.3kb

Kibanaの「Index Management」で見ると、できたばかりのインデックスは「New」と表示されます。

f:id:Kazuhira:20200109012353p:plain

ドキュメントと違って、フェーズではなくフェーズになってますが…。

1分経過すると「Hot」になります。

f:id:Kazuhira:20200109012448p:plain

3分経ったインデックスは「Warm」になり

f:id:Kazuhira:20200109012540p:plain

7分経過したインデックスは「Delete」になります。

f:id:Kazuhira:20200109012938p:plain

この情報は、Kibanaでなくとも、APIで確認できます。

Explain lifecycle API | Elasticsearch Reference [7.5] | Elastic

$ curl localhost:9200/my_index-2020-01-09-01.23/_ilm/explain?pretty
{
  "indices" : {
    "my_index-2020-01-09-01.23" : {
      "index" : "my_index-2020-01-09-01.23",
      "managed" : true,
      "policy" : "my_index_policy",
      "lifecycle_date_millis" : 1578500580240,
      "age" : "3.8m",
      "phase" : "warm",
      "phase_time_millis" : 1578500763864,
      "action" : "complete",
      "action_time_millis" : 1578500580566,
      "step" : "complete",
      "step_time_millis" : 1578500763864,
      "phase_execution" : {
        "policy" : "my_index_policy",
        "phase_definition" : {
          "min_age" : "3m",
          "actions" : { }
        },
        "version" : 1,
        "modified_date_in_millis" : 1578500401430
      }
    }
  }
}

今、どのフェーズにいるか(phase)、min_ageの計算に使われるタイムスタンプ(lifecycle_date_millis)、インデックスを作成してから
どれくらい経過したか(age)、今のフェーズに入った時の時間(phase_time_millis)などを確認することができます。

ところで、「Delete」フェーズに入ったインデックスですが、今回の設定ではすぐに消えるわけではありません。

Every 2.0s: curl -s localhost:9200/_cat/indices?v                                                                                       ubuntu1804.localdomain: Wed Jan  8 16:33:47 2020

health status index                     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   my_index-2020-01-09-01.30 Iz9JH9ifTtOPzG39WRgYLQ   1   0          3            0     10.3kb         10.3kb
green  open   .apm-agent-configuration  bpB7peSqRXmV4lDTDIwzxw   1   0          0            0       283b           283b
green  open   .kibana_1                 Oyyp7IHlRaKvitTwCYI-_A   1   0          6           11     11.2kb         11.2kb
green  open   my_index-2020-01-09-01.29 6OkP64XRRCmun8Ge4WyPTQ   1   0          3            0     10.3kb         10.3kb
green  open   my_index-2020-01-09-01.28 MhhcLFEtQgW8m_QcBat76Q   1   0          3            0     10.3kb         10.3kb
green  open   .kibana_task_manager_1    HEDAc98pTYiPDjh1yJWbyg   1   0          2            1     51.7kb         51.7kb
green  open   my_index-2020-01-09-01.25 rW-_yzWcSD2Vgb6pSVjCVA   1   0          6            0       14kb           14kb
green  open   my_index-2020-01-09-01.24 ErkpWv7bSuO1M2moNrYMtw   1   0          6            0       14kb           14kb
green  open   my_index-2020-01-09-01.27 najDdeJYTTKCb--X2g0qLA   1   0          6            0       14kb           14kb
green  open   my_index-2020-01-09-01.26 0SICmJlPQX2JNFv5oDA5Dw   1   0          6            0       14kb           14kb
green  open   my_index-2020-01-09-01.32 tP1lQEyHT0aEw8YQ6vCPWQ   1   0          3            0     10.3kb         10.3kb
green  open   my_index-2020-01-09-01.21 gGs-aFvVQjOtQngIhgdCIw   1   0          2            0      7.1kb          7.1kb
green  open   my_index-2020-01-09-01.31 yw7Idha-RECTZnF9Ztu7uA   1   0          3            0     10.3kb         10.3kb
green  open   my_index-2020-01-09-01.23 mTwSYlBARqqf5zrsVCN4Mg   1   0          6            0       14kb           14kb
green  open   my_index-2020-01-09-01.22 eaSRXIwFSYqv11UppfWWsg   1   0          5            0       14kb           14kb
green  open   my_index-2020-01-09-01.33 6Chi4ylkTm2DGL39IKmP_w   1   0          3            0     10.3kb         10.3kb

「Delete」フェーズに入った、つまり作成してから7分経過したインデックスも、残っています。

これは、ILMがポリシーに対してインデックスを確認するタイミングが、デフォルトで10分間隔だからです。

Index lifecycle management settings | Elasticsearch Reference [7.5] | Elastic

「indices.lifecycle.poll_interval」という設定です。

今回は、分刻みでmin_ageを設定しているので、しばらく残るように見えてしまいます。

この間隔をたとえば1分間隔にして、すぐにElasticsearchに確認してもらうには、elasticsearch.ymlに以下のように設定して
Elasticsearchを再起動します。

indices.lifecycle.poll_interval: "1m"

こうすると、今回の設定では7分を超えて「Delete」フェーズになったインデックスは割とすぐに消えていきます。

とはいえ、今回のように分単位でフェーズを切り替えるなんてことはほぼないと思うので、こんなに短くすることはないと思いますが。

ちょっと設定方法、感覚がわかった気がします。

その他

Elasticsearchに対して、ILM自体の有効無効を切り替える場合は、こちらに記載のある「xpack.ilm.enabled」を設定します。

Index lifecycle management settings | Elasticsearch Reference [7.5] | Elastic

ILMをメンテナンスなどの理由で一時停止したり、停止したILMを再開する場合はこちら。

Start and stop index lifecycle management | Elasticsearch Reference [7.5] | Elastic