CLOVER🍀

That was when it all began.

Logstash

LogstashのPipeline to Pipeline Communicationを試す

これは、なにをしたくて書いたもの? Logstashのパイプラインを書いていると、だんだん設定ファイルが大きくなってきて、困るなぁと。 こういう時、どうしたらいいのだろうと調べたら、こういうのがあったので試してみることにしました。 Pipeline-to-Pipeli…

Logstashで独自のGrokパターンを定義する際に、ファイルにまとめて読み込む

これは、なにをしたくて書いたもの? LogstashのGrok filter pluginで使えるGrokパターンは、自分で定義することもできるようなのですが、これをファイルにまとめることが できるようなので試してみようかなと。 こちらですね。 Grok Filter Configuration O…

Filebeatで読み込んだログを、LogstashでパースしてElasticsearchに放り込む

これは、なにをしたくて書いたもの? 先日、Filebeatでログファイルを取り込む時に、ElasticsearchのIngest Nodeを使ってパースすることを試してみました。 Filebeatでログファイルを取り込む時に、Ingest Nodeのパイプラインを合わせて使う - CLOVER 今度は…

Elasticsearch、Logstashで使える、事前定義されたGrokパターンについて

Grokを使ってパースを行う時に、事前定義されたパターンがあるのですが、この意味や確認方法をコロッと忘れそうな気がとてもするので。 メモとして。 Elasticsearch、Logstashも、7.4系を対象にこのエントリを書いています。 Elasticsearchは、こちら。 http…

LogstashのLogback JSON encoderで、Logbackで出力するログをJSONエンコードする

これは、なにをしたくて書いたもの? ログ出力する時に、JSONフォーマットにするようなライブラリがないかな?ということで、少し調べてみました。 Fluentdなどを使ってログを収集する場合、ログのフォーマットはなかなか悩ましいなぁ、と…。 ロギングライブ…

WildFly SwarmのログをLogstashに突っ込む

WildFly Swarmには、Logstash用のFractionがあります。こちらを使うと、アプリケーションやWildFly Swarm自身が 出力するログを、Logstashに送ることができるようです。Logstash追加設定自体は、Maven依存関係を加えることと、 <dependency> <groupId>org.wildfly.swarm</groupId> <artifactId>logstash</artifactId> </dependency>…

Ubuntu LinuxにLogstashをインストールする

これまで、ElasticsearchとKibanaをちょくちょくと扱ってきたのですが、Logstashも少し触っておこうと 思いまして。Logstash | データの一元化、変換、保管 | Elasticドキュメントは、こちら。Logstash Reference [5.1] | ElasticLogstash自体は、ログなどを…