CLOVER🍀

That was when it all began.

UndertowからVert.xバックエンドになった、QuarkusのRESTEasyを試す

これは、なにをしたくて書いたもの? 最近Quarkusを触っていなかったのですが、少し前にRESTEasyのバックエンドがUndertowからVert.xに移ったという話を見たので、 1度見ておこうかなと。 Quarkus 0.24.0 released - Vert.x everywhere Quarkus 0.23.2 relea…

Moleculeで使うインスタンスを、Vagrantで管理する

これは、なにをしたくて書いたもの? MoleculeでAnsibleのRoleをテストする時のDriverとして、Dockerではなく仮想マシン…というかVagrantが使えそうだったので 1度試してみることにしました。 まあ、いろいろありそうなのですが…。 Molecule Vagrant Driver …

Ansible Roleを開発、テストするためのMoleculeを試す

これは、なにをしたくて書いたもの? AnsibleのRoleに対して、テストが書きたいなぁと思いまして。 調べてみたら、Moleculeというのが良さそうな感じだったので、ちょっと試してみることにしました。 Molecule — Molecule 2.22 documentation Molecule入門 M…

LogstashのPipeline to Pipeline Communicationを試す

これは、なにをしたくて書いたもの? Logstashのパイプラインを書いていると、だんだん設定ファイルが大きくなってきて、困るなぁと。 こういう時、どうしたらいいのだろうと調べたら、こういうのがあったので試してみることにしました。 Pipeline-to-Pipeli…

ElasticsearchのIndex Lifecycle Management(ILM)を使って、指定された期間を過ぎたインデックスを削除する

これは、なにをしたくて書いたもの? Elasticsearch 6.6.0から、Index Lifecycle Management(ILM)というものが入っているようなので、こちらを試してみようかなと。 Release Notes / Elasticsearch 6.6.0 / New features Index Lifecycle Management ・ Ad…

Infinispan ServerのデフォルトのJGroups Stackが、UDPからTCPになっていたという話

これは、なにをしたくて書いたもの? 最近のInfinispan Serverでクラスタを構成しようとして、ちょっと変化に気づいたので。 Infinispan Serverは10.0.0.Finalから新しいサーバーモジュールになっているのですが、この時にデフォルトのJGroups Stackが UDPか…

Logstashで独自のGrokパターンを定義する際に、ファイルにまとめて読み込む

これは、なにをしたくて書いたもの? LogstashのGrok filter pluginで使えるGrokパターンは、自分で定義することもできるようなのですが、これをファイルにまとめることが できるようなので試してみようかなと。 こちらですね。 Grok Filter Configuration O…

Canonicalが開発したパッケージ管理システムSnappy(Snap)を使う

これは、なにをしたくて書いたもの? 以前MicroK8sを試す時に、よくわからないままsnapコマンドでMicroK8sをインストールしたのですが、またsnapを見る機会が できたので、1度ちゃんと調べてみようかなと思いまして。 Snappy? Snappyとは、Ubuntu Linuxの開…

Elasticsearchクラスタで必要なシャード数、ノード数を計算する

これは、なにをしたくて書いたもの? Elasticsearchクラスタのシャード数やノード数を算出する時の考え方についていろいろ調べたので、メモをしておこうかなと。 Elasticsearchクラスタでのシャード数とノード数を計算する 基本となるのは、以下のブログエン…

Pythonでの、文字列書式化の方法をメモする

使おうと思った時に忘れているので、メモとして。 Python 3.6以降には、3つの文字列書式化を実現する方法があります。 7. 入力と出力 — Python 3.6.10 ドキュメント フォーマット済み文字列リテラル(f-string) str.format printf 形式の文字列書式化 f-str…

ElasticsearchにCSVファイルの内容をロードする(CSVモジュール & Pandas)

これは、なにをしたくて書いたもの? Elasticsearchに、CSVファイルで用意されたデータをロードする、簡単なスクリプトを書いてみようかなぁと。 こういうのは、バルクローダー的なものでやったり、なにかツールを使ったりすることが多いように思いますが、…

2019年の振り返り

2019年もそろそろ終わりですね。というわけで、振り返りをしたいなと思います。2019年、最後のエントリです。 2018年の振り返りで言っていたこと 2018年の振り返りでは、このあたりをやりたいなと書いていました。 OKD/Kubernetes Prometheus/Grafana Keyc…

Infinispan ServerのAnsible GalaxyのRoleを作ってみる

これは、なにをしたくて書いたもの? Ansible GalaxyのRoleを作る練習に、と。 お題は、Infinispan Serverとして、こちらをインストールするAnsible GalaxyでのRoleを作成してみます。 環境 今回の環境は、こちら。 $ ansible --version ansible 2.9.2 confi…

systemdのユニット定義ファイルで指定する、EnvironmentFileについて

systemdのユニット定義ファイルには、EnvironmentFileという要素を記述することができます。 こんな感じに。 [Service] ... ... EnvironmentFile=/etc/default/foo これで対象のサービスが使う環境変数をファイルとして定義して、読み込ませることができます…

Filebeatで読み込んだログを、LogstashでパースしてElasticsearchに放り込む

これは、なにをしたくて書いたもの? 先日、Filebeatでログファイルを取り込む時に、ElasticsearchのIngest Nodeを使ってパースすることを試してみました。 Filebeatでログファイルを取り込む時に、Ingest Nodeのパイプラインを合わせて使う - CLOVER 今度は…

Filebeatでログファイルを取り込む時に、Ingest Nodeのパイプラインを合わせて使う

これは、なにをしたくて書いたもの? この前、ElasticsearchのIngest Nodeと、FilebeatのMultiline Messageを試してみました。 ElasticsearchのIngest Nodeを試す - CLOVER Filebeatで、複数行のログをElasticsearchに取り込んでみる - CLOVER 今度は、この2…

Filebeatで、複数行のログをElasticsearchに取り込んでみる

これは、なにをしたくて書いたもの? Filebeatで、複数行で書かれたログを読む時の設定、挙動を確認してみようかなと思いまして。 環境 今回の環境は、こちら。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu…

ElasticsearchのIngest Nodeを試す

これは、なにをしたくて書いたもの? Filebeatを見ていて、パイプラインやモジュールを覚えようと思うと、Ingest Nodeを知らなければいけないなぁと思い。 ちょっと、Ingest Nodeを試してみることにしました。 環境 今回の環境は、こちら。 $ lsb_release -a…

FilebeatのLog inputをシンプルに見る

これは、なにをしたくて書いたもの? Filebeatの設定で以下のような感じで最初に出てくる、 - type: log paths: - /var/log/*.log 「log」ってなんだろう?と思ったので、少し見てみようかなと。 環境 今回の環境は、こちら。 $ lsb_release -a No LSB modul…

Filebeatで、ApacheのログをElasticsearchに取り込んでみる

これは、なにをしたくて書いたもの? ちょっとFilebeatを試してみようかなと。 まだ感覚がわからないので、まずは手始めにApacheのログを取り込むようにしてみたいと思います。 環境 今回の環境は、こちら。 $ lsb_release -a No LSB modules are available.…

Elasticsearch、Logstashで使える、事前定義されたGrokパターンについて

Grokを使ってパースを行う時に、事前定義されたパターンがあるのですが、この意味や確認方法をコロッと忘れそうな気がとてもするので。 メモとして。 Elasticsearch、Logstashも、7.4系を対象にこのエントリを書いています。 Elasticsearchは、こちら。 http…

Apache 2.0 LicenseのElasticsearch、KibanaをUbuntu Linux 18.04 LTSにインストールする

これは、なにをしたくて書いたもの? ElasticsearchやKibanaをインストールする際に、Elastic LicenseのものとApache 2 Licenseのものでインストール方法が異なることに 気づいていなかったので、メモとして。 よくよく見ると、ダウンロードページから異なる…

AnsibleをUbuntu Linux 18.04 LTSにインストールする

これは、なにをしたくて書いたもの? ちょっとAnsibleを勉強しようかなと思いまして。 まずは、Ubuntu Linuxにインストールして簡単に確認してみようかな、と。 Ansible サーバーに対して、ソフトウェアのインストールを自動化するためのツールです。 Ansibl…

Elasticsearchでクラスタを構成してみる(Settings-based seed hosts provider利用)

これは、なにをしたくて書いたもの? そういえば、Elasticsearchを使ってクラスタを組んだことがないなぁと思いまして。 1度、試しておこうかなと。 環境とお題 Elasticsearch 3台を、シンプルにデフォルトのSettings-based seed hosts providerを使ってクラ…

TF-IDFを実装してみる(Java)

これは、なにをしたくて書いたもの? ちょっとTF-IDFをちゃんと見てみたくなりまして。 せっかくなので、1度自分で実装してみようかな、と。 TF-IDF TF-IDFは、文書中に含まれる単語の重要度を評価する手法のひとつです。 tf-idf - Wikipedia tf-idfについて…

Infinispan 10.0でMarshallingがリファクタリングされたという話(Embedded Mode)

これは、なにをしたくて書いたもの? Infinispan 10.0.0.Finalがリリースされたということで。 ※その後、すぐに10.0.1.Finalがリリースされましたが… Blog: Infinispan 10.0.0.Final - Infinispan Blog: Infinispan 10.0.1.Final - Infinispan Infinispanは1…

Linux上のコマンドで、ファイルの文字コードを変換する

これは、なにがしたくて書いたもの? 表題通り。iconvが有名だとは思いますが、ちゃんと使ってこなかったのでこの機会に、と。 環境 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 18.04.3 LTS Release: 18.0…

QuarkusのOpenID Connect Extensionを試す(リソース保護のみ)

これは、なにをしたくて書いたもの? QuarkusのExtensionに、OpenID Connect向けのものができていたようなので、ちょっと試してみようかなと。 Quarkus - Using OpenID Connect Adapter to Protect JAX-RS Applications Quarkus 0.27.0を使います。 Quarkus …

unittestライブラリで、Pythonのテストコードを書いて実行する

これは、なにをしたくて書いたもの? Pythonを勉強するにあたって、テストコードまわりについて少し押さえておいた方がいいかなぁと思いまして。 Pythonには、いくつかテストをサポートするライブラリ、ツールがあるようです。 コードのテスト — The Hitchhi…

Spring BootのUber JARで、アプリケーションコードとJARを作成するプロジェクトを別々にする(オマケでrequiresUnpack)

これは、なにをしたくて書いたもの? ふと、これをやってもふつうに動くのかな?と思ったので。 いや、動いたんですけど。 Spring BootでSpring Web MVCを使って作成したMavenプロジェクトと、それをUber JARにパッケージングするMavenプロジェクトを 別々に…