Infinispan Server 15.0をsystemdで起動できるようにする＆設定できる環境変数やシステムプロパティを確認する

これは、なにをしたくて書いたもの？

Infinispan Serverにsystemdの設定ファイルが含まれていることに今更ながら気づいたので、せっかくなのでちょっと設定してみようかなと
いうことで。

ついでに、設定可能な環境変数やシステムプロパティなども見ていってみようと思います。

環境

今回の環境は、こちら。

No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 22.04.4 LTS
Release:        22.04
Codename:       jammy


$ uname -srvmpio
Linux 5.15.0-101-generic #111-Ubuntu SMP Tue Mar 5 20:16:58 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux


$ java --version
openjdk 21.0.2 2024-01-16
OpenJDK Runtime Environment (build 21.0.2+13-Ubuntu-122.04.1)
OpenJDK 64-Bit Server VM (build 21.0.2+13-Ubuntu-122.04.1, mixed mode, sharing)

Infinispan Serverをsystemdで起動できるように設定する

まずはInfinispan Serverをダウンロードします。

$ curl -LO https://downloads.jboss.org/infinispan/15.0.0.Final/infinispan-server-15.0.0.Final.zip

展開します。

$ unzip infinispan-server-15.0.0.Final.zip

展開したディレクトリ内の、docs/systemd/infinispan.serviceというファイルがsystemdのユニット定義ファイルのサンプルになっています。

infinispan-server-15.0.0.Final/docs/systemd/infinispan.service

# This script allows you to run Infinispan Server as a systemd service.
# Modify environment properties in this script as appropriate.
# Copy this script to the following location: /etc/systemd/system
# Activate with 'systemctl daemon-reload'
#               'systemctl start|enable infinispan'

[Unit]
Description=Infinispan Server Service
After=network.target

[Service]
Environment="INFINISPAN_HOME=/opt/infinispan"
#Environment="JAVA_HOME=/usr/java/jdk-11.0.8"
ExecStart=/bin/bash -c ${INFINISPAN_HOME}/bin/server.sh
Type=simple
User=infinispan

[Install]
WantedBy=multi-user.target

ソースコードとしては、こちらにあります。

https://github.com/infinispan/infinispan/blob/15.0.0.Final/server/runtime/src/main/server/docs/systemd/infinispan.service

どうやらInfinispan 11.0.5.Final、12.0.0.CR1で含まれるようになったようです。

Possibility to separate the subdirectories under server-root

全然気づいていませんでした。

では、こちらを使ってInfinispan Serverをsystemdで起動できるようにしていきましょう。

infinispanというユーザーを前提としているようなので、合わせてユーザーを作成します。

$ sudo adduser --shell /usr/sbin/nologin --disabled-password --no-create-home --gecos '' infinispan

また、配置場所は/opt/infinispanディレクトリを期待しているようなので、そちらに移動して所有者の変更。

$ sudo mv infinispan-server-15.0.0.Final /opt/infinispan
$ sudo chown -R infinispan:infinispan /opt/infinispan

systemdのユニット定義ファイルを/etc/systemd/system/ディレクトリにコピーします。

$ sudo cp /opt/infinispan/docs/systemd/infinispan.service /etc/systemd/system/

変更を反映して

$ sudo systemctl daemon-reload

起動。

$ sudo systemctl start infinispan

ステータスを見てみます。

$ sudo systemctl status infinispan
● infinispan.service - Infinispan Server Service
     Loaded: loaded (/etc/systemd/system/infinispan.service; disabled; vendor preset: enabled)
     Active: active (running) since Sat 2024-03-23 23:37:01 JST; 15s ago
   Main PID: 3113 (server.sh)
      Tasks: 40 (limit: 2220)
     Memory: 191.6M
        CPU: 8.893s
     CGroup: /system.slice/infinispan.service
             ├─3113 /bin/sh /opt/infinispan/bin/server.sh
             └─3196 java -server --add-exports java.naming/com.sun.jndi.ldap=ALL-UNNAMED --add-opens java.base/java.util=ALL-UNNAMED --add-opens java.base/java.util.concurrent=ALL-UNNAM>

 3月 23 23:37:07 ubuntu2204.localdomain bash[3196]: 2024-03-23 23:37:07,408 INFO  [o.i.CONTAINER] ISPN000390: Persisted state, version=15.0.0.Final timestamp=2024-03-23T14:37:07.4068825>
 3月 23 23:37:08 ubuntu2204.localdomain bash[3196]: 2024-03-23 23:37:08,038 INFO  [o.i.CONTAINER] ISPN000104: Using EmbeddedTransactionManager
 3月 23 23:37:08 ubuntu2204.localdomain bash[3196]: 2024-03-23 23:37:08,323 INFO  [o.i.SERVER] ISPN080018: Started connector Memcached (internal)
 3月 23 23:37:08 ubuntu2204.localdomain bash[3196]: 2024-03-23 23:37:08,326 INFO  [o.i.SERVER] ISPN080018: Started connector Resp (internal)
 3月 23 23:37:08 ubuntu2204.localdomain bash[3196]: 2024-03-23 23:37:08,375 INFO  [o.i.SERVER] ISPN080018: Started connector HotRod (internal)
 3月 23 23:37:08 ubuntu2204.localdomain bash[3196]: 2024-03-23 23:37:08,496 INFO  [o.i.SERVER] ISPN080018: Started connector REST (internal)
 3月 23 23:37:08 ubuntu2204.localdomain bash[3196]: 2024-03-23 23:37:08,510 INFO  [o.i.SERVER] ISPN005055: Using transport: Epoll
 3月 23 23:37:08 ubuntu2204.localdomain bash[3196]: 2024-03-23 23:37:08,607 INFO  [o.i.SERVER] ISPN080004: Connector SinglePort (default) listening on 127.0.0.1:11222
 3月 23 23:37:08 ubuntu2204.localdomain bash[3196]: 2024-03-23 23:37:08,608 INFO  [o.i.SERVER] ISPN080034: Server 'ubuntu2204-43585' listening on http://127.0.0.1:11222
 3月 23 23:37:08 ubuntu2204.localdomain bash[3196]: 2024-03-23 23:37:08,654 INFO  [o.i.SERVER] ISPN080001: Infinispan Server 15.0.0.Final started in 5523ms

OKですね。

自動起動の設定。

$ sudo systemctl enable infinispan
Created symlink /etc/systemd/system/multi-user.target.wants/infinispan.service → /etc/systemd/system/infinispan.service.

標準出力に書き出されたログもjournalctlで見ることができます。

$ sudo journalctl -u infinispan

Infinispan Serverに設定できる環境変数やシステムプロパティを確認する

で、これだけで終わっても面白くないので、Infinispan Serverに設定できる環境変数やシステムプロパティを確認していきたいと思います。

ドキュメントは…見ている限りありません。

以前、こういう設定ファイルがありますよ、くらいは調べたことがあります。

Infinispan Server 14.0の設定まわりのファイルをメモしておく - CLOVER🍀

systemdで起動できるようにしたので、環境変数やシステムプロパティは把握したいところですね。

まずはInfinispan Serverのディレクトリ内に移動。

$ cd /opt/infinispan

起動スクリプトまわりでポイントになるのは、次の3つのファイルです。

• bin/server.sh
• bin/common.sh
• bin/server.conf

設定箇所や、すでに環境変数が設定されているかどうかの判定などを抜き出してみます。

$ grep -E 'x\$|^#?[^ ]+=' bin/server.sh bin/common.sh bin/server.conf
bin/server.sh:LOADER_CLASS=org.infinispan.server.loader.Loader
bin/server.sh:MAIN_CLASS=org.infinispan.server.Bootstrap
bin/server.sh:ARGUMENTS=
bin/server.sh:PROCESS_NAME=infinispan-server
bin/server.sh:PROGNAME=$(basename "$0")
bin/server.sh:DIRNAME=$(dirname "$0")
bin/server.sh:   if [ "x$ISPN_PIDFILE" != "x" ]; then
bin/server.sh:   if [ "x$ISPN_PIDFILE" != "x" ]; then
bin/common.sh:DEBUG_MODE="${DEBUG:-false}"
bin/common.sh:DEBUG_PORT="${DEBUG_PORT:-8787}"
bin/common.sh:JMX_REMOTING="${JMX:-false}"
bin/common.sh:JMX_PORT="${JMX_PORT:-9999}"
bin/common.sh:GC_LOG="$GC_LOG"
bin/common.sh:JAVA_OPTS_EXTRA=""
bin/common.sh:PROPERTIES=""
bin/common.sh:GREP="grep"
bin/common.sh:MAX_FD="maximum"
bin/common.sh:MALLOC_ARENA_MAX="${MALLOC_ARENA_MAX:-1}"
bin/common.sh:cygwin=false;
bin/common.sh:darwin=false;
bin/common.sh:linux=false;
bin/common.sh:solaris=false;
bin/common.sh:freebsd=false;
bin/common.sh:other=false
bin/common.sh:RESOLVED_ISPN_HOME=$(cd "$DIRNAME/.." >/dev/null; pwd)
bin/common.sh:if [ "x$ISPN_HOME" = "x" ]; then
bin/common.sh:if [ "x$RUN_CONF" = "x" ]; then
bin/common.sh:JAVA_OPTS="$JAVA_OPTS_EXTRA $JAVA_OPTS"
bin/common.sh:    if [ "x$DEBUG_OPT" = "x" ]; then
bin/common.sh:    if [ "x$JMX_OPT" = "x" ]; then
bin/common.sh:if [ "x$JAVA" = "x" ]; then
bin/common.sh:    if [ "x$JAVA_HOME" != "x" ]; then
bin/common.sh:if [ "x$ISPN_ROOT_DIR" = "x" ]; then
bin/common.sh:if [ "x$ISPN_LOG_DIR" = "x" ]; then
bin/common.sh:if [ "x$ISPN_CONFIG_DIR" = "x" ]; then
bin/common.sh:    if [ "x$JVM_D32_OPTION" != "x" ]; then
bin/common.sh:    elif [ "x$JVM_D64_OPTION" != "x" ]; then
bin/common.sh:    elif $darwin && [ "x$SERVER_SET" = "x" ]; then
bin/common.sh:    if [ "x$CLIENT_SET" = "x" -a "x$SERVER_SET" = "x" ]; then
bin/common.sh:        if [ "x$NO_GC_LOG_ROTATE" = "x" ]; then
bin/common.sh:CLASSPATH=
bin/server.conf:#MAX_FD="maximum"
bin/server.conf:#PROFILER=""
bin/server.conf:#JAVA_HOME="/opt/java/jdk"
bin/server.conf:#JAVA=""
bin/server.conf:#PRESERVE_JAVA_OPTS=true
bin/server.conf:if [ "x$JAVA_OPTS" = "x" ]; then
bin/server.conf:#JAVA_OPTS="$JAVA_OPTS -agentlib:jdwp=transport=dt_socket,address=8787,server=y,suspend=n"
bin/server.conf:#JAVA_OPTS="$JAVA_OPTS -agentlib:jdwp=transport=dt_shmem,server=y,suspend=n,address=infinispan"
bin/server.conf:if [ "x$GC_LOG" = "x" ]; then

このあたりをヒントに、設定できる環境変数と設定していなかった場合のデフォルト値、デフォルト値の定義場所などを見てみます。

環境変数名	意味	デフォルト値	デフォルト値の定義場所
JAVA_OPTS	JavaVMオプション	-Xms64m -Xmx512m -XX:MetaspaceSize=64M -Djava.net.preferIPv4Stack=true -Djava.awt.headless=true	bin/server.conf#L49-L50
JAVA_HOME	javaコマンドの探索に利用	なし	bin/server.conf#L30
JAVA	javaコマンドのパス	java	bin/server.conf#L38、bin/common.sh#L167-L169
GC_LOG	trueに設定するとGCログ （-Xlog:gc*:file=\"$ISPN_LOG_DIR/gc.log\":time,uptimemillis:filecount=5,filesize=3M）を有効にする	true	bin/server.conf#L63
JMX	trueにするとJMX Remote（-Dcom.sun.management.jmxremote）を 有効にする	false	bin/common.sh#L14
JMX_PORT	JMX=trueとした場合に -Dcom.sun.management.jmxremote.port=に設定される	9999	bin/common.sh#L15
DEBUG_MODE	trueに設定するとJavaVMオプションに -agentlib:jdwp=transport=dt_socket,address=$DEBUG_PORT,server=y,suspend=nを 追加する	false	bin/common.sh#L7
DEBUG_PORT	DEBUG_MODEがtrueの場合に -agentlib:jdwp=...,address=$DEBUG_PORT,...の部分に使用される	8787	bin/common.sh#L8
PRESERVE_JAVA_OPTS	true以外に設定するとJavaVMオプションの調整を行わなくなる	なし	bin/server.conf#L43
MALLOC_ARENA_MAX	mallocが使用するメモリープールの数をglibcに伝える	-1	bin/common.sh#L73
RUN_CONF	起動スクリプトが読み込む設定ファイルを指定する	bin/server.conf	bin/common.sh#L136
ISPN_LOG_DIR	Infinispan Serverのログ出力先ディレクトリ	[Infinispan Serverのインストールディレクトリ]/log	bin/common.sh#L251
ISPN_CONFIG_DIR	Infinispan Serverの設定ファイル配置ディレクトリ	[Infinispan Serverのインストールディレクトリ]/conf	bin/common.sh#L255

すべてを列挙しているわけではないのですが、知っておいたら良さそうなのはこんなところでしょうか。

とはいえ、コマンドラインオプションで指定できる項目があることも忘れてはいけません。

$ bin/server.sh --help

Infinispan Server 15.0.0.Final (I'm Still Standing)
Copyright (C) Red Hat Inc. and/or its affiliates and other contributors
License Apache License, v. 2.0. http://www.apache.org/licenses/LICENSE-2.0
Usage:
  -b, --bind-address=<address>  Binds the server endpoint to a specific address.
  -c, --server-config=<config>  Specifies a server configuration file. Defaults to `infinispan.xml`. Can be repeated, in which case the configurations are layered.
  -l, --logging-config=<config> Specifies a logging configuration file. Defaults to `log4j2.xml`.
  -g, --cluster-name=<name>     Sets the name of the cluster. Default set by configuration expression
  -h, --help                    Displays usage information and exits.
  -j, --cluster-stack=<name>    Specifies the JGroups stack for clustering. Default set by configuration expression
  -k, --cluster-address=<name>  Specifies the JGroups bind address for clustering.
  -n, --node-name=<name>        Sets the name of this node. Must be unique across the cluster.
  -o, --port-offset=<offset>    Adds a numeric offset to all ports.
  -p, --bind-port=<port>        Binds the server to a specific port. Defaults to `11222`.
  -s, --server-root=<path>      Specifies the root path for the server. Defaults to `server`.
  -v, --version                 Displays version information and exits.
  -D<name>=<value>              Sets a system property to the specified value.
  -P, --properties=<file>       Sets system properties from the specified file.

コマンドラインオプションでシステムプロパティを指定することもできます。

また、ここに記載がありませんが、コマンドラインオプションで--debugや--jmxを指定することで
DEBUG_MODE=trueやJMX_REMOTING=trueを指定した状態にもできます。

https://github.com/infinispan/infinispan/blob/15.0.0.Final/server/runtime/src/main/server/bin/common.sh#L23-L36

最後にシステムプロパティです。

システムプロパティ名	同義のコマンドラインオプション	意味	デフォルト値
-Dinfinispan.bind.address=...	-b, --bind-address=<address>	Infinispan Serverがバインドするアドレス	127.0.0.1（定義場所）
-Dinfinispan.bind.port=...	-p, --bind-port=<port>	Infinispan Serverがバインドするポート	11222（定義場所）
-Dinfinispan.cluster.name=...	-g, --cluster-name=<name>	クラスター名	cluster（定義場所）
-Dinfinispan.cluster.stack=...	-j, --cluster-stack=<name>	使用するJGroupsスタック	tcp（定義場所）
-Dinfinispan.node.name=...	-n, --node-name=<name>	Infinispan Serverのノード名	なし（定義場所）
-Dinfinispan.socket.binding.port-offset=...	-o, --port-offset=<offset>	同一ホストに複数インスタンスを起動する時に使うポートオフセット	0（定義場所）
-Djgroups.bind.address=...		JGroupsがバインドするアドレス	SITE_LOCAL（定義場所は選択したJGroupsスタックごとに依存）
-Djgroups.bind.port=...		JGroupsがバインドするポート	定義値は選択したJGroupsスタックごとに依存
-Djgroups.fd.port-offset=...		JGroupsのポートオフセット	定義値は選択したJGroupsスタックごとに依存

JGroupsの場合、これ以外にも設定可能なシステムプロパティがあるので、各スタックの定義を参照してください。各スタックの
デフォルトの設定ファイルは以下にあります。

https://github.com/infinispan/infinispan/tree/15.0.0.Final/core/src/main/resources/default-configs

システムプロパティを設定する場合は、環境変数JAVA_OTPSに指定するか、コマンドラインオプションで指定することになるでしょう。

こちらも環境変数と同様、すべてを列挙しているわけではないのですが知っておいたら良さそうなのはこんなところかなと。

その他はこのあたりと

https://github.com/infinispan/infinispan/blob/15.0.0.Final/server/runtime/src/main/java/org/infinispan/server/Server.java#L160-L188

デフォルト値はこのあたりを見るとよいでしょう。

https://github.com/infinispan/infinispan/blob/15.0.0.Final/server/runtime/src/main/java/org/infinispan/server/Server.java#L190-L206

設定してみる

では、せっかくなので設定してみましょう。

こんなファイルを用意。JavaVMオプションの調整とGCログの無効化をしてみます。

/etc/default/infinispan

JAVA_OPTS=-Xmx1G -XX:MetaspaceSize=64M -Djava.net.preferIPv4Stack=true -Djava.awt.headless=true -Dinfinispan.bind.address=192.168.33.10
GC_LOG=false

作成したファイルの内容を環境変数として読み込むように、EnvironmentFileとして追加。

/etc/systemd/system/infinispan.service

# This script allows you to run Infinispan Server as a systemd service.
# Modify environment properties in this script as appropriate.
# Copy this script to the following location: /etc/systemd/system
# Activate with 'systemctl daemon-reload'
#               'systemctl start|enable infinispan'

[Unit]
Description=Infinispan Server Service
After=network.target

[Service]
Environment="INFINISPAN_HOME=/opt/infinispan"
EnvironmentFile=-/etc/default/infinispan
ExecStart=/bin/bash -c ${INFINISPAN_HOME}/bin/server.sh
Type=simple
User=infinispan

[Install]
WantedBy=multi-user.target

systemdの設定を再読み込みして、Infinispan Serverを再起動。

$ sudo systemctl daemon-reload
$ sudo systemctl restart infinispan

変更前のJavaVM引数はこうでした。

$ sudo jcmd 5343 VM.command_line
5343:
VM Arguments:
jvm_args: --add-exports=java.naming/com.sun.jndi.ldap=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED -Xlog:gc*:file=/opt/infinispan/server/log/gc.log:time,uptimemillis:filecount=5,filesize=3M -Xms64m -Xmx512m -XX:MetaspaceSize=64M -Djava.net.preferIPv4Stack=true -Djava.awt.headless=true -Dvisualvm.display.name=infinispan-server -Djava.util.logging.manager=org.infinispan.server.loader.LogManager -Dinfinispan.server.home.path=/opt/infinispan
java_command: org.infinispan.server.loader.Loader org.infinispan.server.Bootstrap
java_class_path (initial): :/opt/infinispan/boot/infinispan-server-runtime-15.0.0.Final-loader.jar
Launcher Type: SUN_STANDARD

再起動後は、こうなりました。

$ sudo jcmd 5506 VM.command_line
5506:
VM Arguments:
jvm_args: --add-exports=java.naming/com.sun.jndi.ldap=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED -Xmx1G -XX:MetaspaceSize=64M -Djava.net.preferIPv4Stack=true -Djava.awt.headless=true -Dinfinispan.bind.address=192.168.33.10 -Dvisualvm.display.name=infinispan-server -Djava.util.logging.manager=org.infinispan.server.loader.LogManager -Dinfinispan.server.home.path=/opt/infinispan
java_command: org.infinispan.server.loader.Loader org.infinispan.server.Bootstrap
java_class_path (initial): :/opt/infinispan/boot/infinispan-server-runtime-15.0.0.Final-loader.jar
Launcher Type: SUN_STANDARD

変更が反映されました。

こんなところでしょうか。

おわりに

Infinispan Serverをsystemdで起動できるようにしたのと、設定できる環境変数やシステムプロパティをいろいろ見ていってみました。

環境変数やシステムプロパティはある程度は知っていたのですが、デバッグ用のものなどはそれほど気にしていなかったので参考に
なりましたね。
デバッグしたくなったら使ってみましょう…。

Amazon S3互換のオブジェクトストレージMinIOをs3fsでマウントする

これは、なにをしたくて書いたもの？

Amazon S3バケットをファイルシステムにマウント使いたいと思うことがあるのですが、s3fsをちょっと試しておこうかなと思いまして。

リモートのストレージをファイルシステムとしてマウントしていろいろ作業はしたい、という時の選択肢としてはNFSかなと思うのですが、
ちょっと面倒なので。性能や可用性が求められていなければ、Amazon S3互換のストレージをファイルシステムとしてマウントするのも
ありかなと。

Amazon S3バケットをマウントする選択肢

Amazon S3バケットをマウントする選択肢としては、以下があります。

• Mountpoint for Amazon S3
  • https://github.com/awslabs/mountpoint-s3
• s3fs
  • GitHub - s3fs-fuse/s3fs-fuse: FUSE-based file system backed by Amazon S3
• Goofys
  • GitHub - kahing/goofys: a high-performance, POSIX-ish Amazon S3 file system written in Go

一見、AWSの提供するMountpoint for Amazon S3がよいのかなと思うのですが。

Mountpoint for Amazon S3 – 一般公開されており、本番環境のワークロードにも対応可能 | Amazon Web Services ブログ

Mountpoint for Amazon S3 の使用 - Amazon Simple Storage Service

現時点の最新版であるv1.5.0においても変更操作はサポートされていないので、ちょっと微妙です。

but probably not the right fit for applications that:

・use file operations that S3 doesn't natively support, like directory renaming or symlinks
・make edits to existing files (don't work on your Git repository or run vim in Mountpoint 😄)

https://github.com/awslabs/mountpoint-s3/blob/v1.5.0/README.md

Goofysについては、すでに開発が止まっている様子です。

s3fsはまだまだ開発が続いていそうなのと、ファイルの変更などもできそうだったので今回はこちらにします。

また、Amazon S3の代わりにMinIOをマウントしたいと思います。

MinIO | S3 & Kubernetes Native Object Storage for AI

s3fs

s3fsは、Linux、macOSおよびFreeBSDでFUSE（ユーザー空間のファイルシステム）経由でAmazon S3バケットをマウントできるものです。

GitHub - s3fs-fuse/s3fs-fuse: FUSE-based file system backed by Amazon S3

s3fsの特徴はこちら。

• ファイル、ディレクトリ、シンボリックリンク、モード、uid／gid、拡張属性の読み取り／書き込みを含むPOSIXのサブセット
• Amazon S3およびその他Amazon S3ベースのオブジェクト ストアとの互換性
• ランダム書き込みおよび追記が可能
• 大きなファイルのマルチパートアップロードが可能
• リネームが可能（サーバーサイドのコピーを利用）
• オプションでサーバーサイド暗号化が可能
• MD5ハッシュによるデータの整合性確認
• インメモリーメタデータキャッシュ
• ローカルディスクデータキャッシュ
• ユーザー指定のリージョンの利用（Amazon GovCloudを含む）
• v2またはv4署名による認証

Features

インストール方法としても、OSのパッケージ管理システム等で簡単にインストール可能なようです。

• Amazon Linux
• Arch Linux
• Debian／Ubuntu Linux
• Fedora
• Gentoo
• RHEL／CentOS
• SUSE／openSUSE
• macOS（Homebrew）
• FreeBSD

Installation

Windowsも記載はありますが、コンパイルすることになるようです。

一方で、以下のような制限事項もあります。

• ファイルへのランダム書き込みまたは追記は、オブジェクト全体の書き換えとなりマルチパートアップロードされる
• ネットワーク環境によっては、ディレクトリのリスティングなどメタデータ操作のパフォーマンスが低下する
• AWS以外のプロバイダーの場合で結果整合性を使っているものは、一時的に古いデータが見えることがある
• ファイルやディレクトリをアトミックにリネームできない
• 同じバケットをマウントするクライアント間での調整は行われない
• ハードリンクはサポートしない
• inotifyはローカルの変更のみを検出し、他のクライアントやツールによる変更を検出しない

Limitations

というわけで、変更が可能だといってもオブジェクトストレージという性質上パフォーマンス的には不利だったり、複数のアクセスに対する
調整は行われないといったあたりが注意点ですね。
NFS等を使っても相応にトレードオフはありますが。

ドキュメントはこちら。

Home · s3fs-fuse/s3fs-fuse Wiki · GitHub

ベースとなるAmazon S3での使い方や設定はこちらですね。

Fuse Over Amazon · s3fs-fuse/s3fs-fuse Wiki · GitHub

各種Amazon S3互換のオブジェクトストレージでの使い方も書かれています。

Non Amazon S3 · s3fs-fuse/s3fs-fuse Wiki · GitHub

FAQも見ておいた方がよいでしょう。

FAQ · s3fs-fuse/s3fs-fuse Wiki · GitHub

ちなみに、Google Cloud Strorage向けのページもあったりします。

Google Cloud Storage · s3fs-fuse/s3fs-fuse Wiki · GitHub

今回は、こちらのs3fsを使っていきます。

環境

今回の環境は、こちら。

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 22.04.4 LTS
Release:        22.04
Codename:       jammy


$ uname -srvmpio
Linux 5.15.0-101-generic #111-Ubuntu SMP Tue Mar 5 20:16:58 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux

今回はこのUbuntu Linux 22.04 LTSを2つ用意し、片方にはMinIOをインストールして、もう片方にはs3fsをインストールしてMinIOを
ファイルシステムとしてマウントします。

MinIOをインストールする方のサーバーのIPアドレスは、192.168.33.11とします。

MinIOをインストールする

まずはMinIOをインストールします。

MinIO | Code and downloads to create high performance object storage

$ curl -LO https://dl.min.io/server/minio/release/linux-amd64/minio_20240321231343.0.0_amd64.deb
$ sudo dpkg -i minio_20240321231343.0.0_amd64.deb

バージョン。

$ minio --version
minio version RELEASE.2024-03-21T23-13-43Z (commit-id=7fd76dbbb71eeba0dd1d7c16e7d96ec1a9deba52)
Runtime: go1.21.8 linux/amd64
License: GNU AGPLv3 <https://www.gnu.org/licenses/agpl-3.0.html>
Copyright: 2015-2024 MinIO, Inc.

データ用のディレクトリを作成して起動。

$ mkdir data
$ MINIO_ROOT_USER=admin MINIO_ROOT_PASSWORD=password minio server data --console-address ":9001"

管理ユーザーの名前とパスワードは、ダウンロードページのサンプルと同じadmin／passwordとします。

MinIOのクライアントもインストール。

$ curl -LO https://dl.min.io/client/mc/release/linux-amd64/mcli_20240320210729.0.0_amd64.deb
$ sudo dpkg -i mcli_20240320210729.0.0_amd64.deb

バージョン。

$ mcli --version
mcli version RELEASE.2024-03-20T21-07-29Z (commit-id=9043bbf545d244b2dee9eefc5031d5dca1ccf78f)
Runtime: go1.21.8 linux/amd64
Copyright (c) 2015-2024 MinIO, Inc.
License GNU AGPLv3 <https://www.gnu.org/licenses/agpl-3.0.html>

MinIOサーバーへの接続設定をして、バケットを作成しておきます。

$ mcli alias set myminio http://localhost:9000 admin password
$ mcli mb myminio/my-bucket

ファイルの作成とアップロード。

$ echo 'Hello World' > hello.txt
$ mcli cp hello.txt myminio/my-bucket/hello.txt

MinIOの操作はここまでです。

s3fsをインストールしてMinIOのバケットをマウントする

それでは、s3fsをインストールしてMinIOのバケットをマウントしましょう。

まずはs3fsのインストール。

$ sudo apt install s3fs

とても簡単にインストールできますね。

バージョン。

$ s3fs --version
Amazon Simple Storage Service File System V1.90 (commit:unknown) with GnuTLS(gcrypt)
Copyright (C) 2010 Randy Rizun <rrizun@gmail.com>
License GPL2: GNU GPL version 2 <https://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

ヘルプを見てみます。

$ s3fs --help
Usage: s3fs BUCKET:[PATH] MOUNTPOINT [OPTION]...

バケット名だけではなく、パスも指定してマウントできそうですね。

では、ドキュメントにあるとおりにMinIOへマウントを指定してみます。

$ s3fs my-bucket -o url=http://192.168.33.11:9000 -o use_path_request_style
s3fs: missing MOUNTPOINT argument.
Usage: s3fs BUCKET:[PATH] MOUNTPOINT [OPTION]...

Non Amazon S3 · s3fs-fuse/s3fs-fuse Wiki · GitHub

マウントポイントの指定が足りません、と。どうやらこのページにはオプションを中心に記載しているようですね。

マウントポイントなるディレクトリを作成して

$ mkdir mountpoint

マウント。

$ s3fs my-bucket mountpoint -o url=http://192.168.33.11:9000 -o use_path_request_style
s3fs: could not determine how to establish security credentials.

今度はクレデンシャルがないと言われました。それはそうですね。

クレデンシャルはどこで指定するのでしょう？このあたりに書いてあります。

• Examples

• Fuse Over Amazon / Overview / To use it

• passwd_fileコマンドラインオプション

• AWS_ACCESS_KEY_IDおよびAWS_SECRET_ACCESS_KEY環境変数
• ${HOME}/.aws/credentials
• ${HOME}/.passwd-s3fs
• /etc/passwd-s3fs

ファイルで指定する場合は、ファイルの所有者のみがアクセス可能なように設定する必要があります。

$ echo 'admin:password' > $HOME/.passwd-s3fs
$ chmod 600 $HOME/.passwd-s3fs

再度実行。

$ s3fs my-bucket mountpoint -o url=http://192.168.33.11:9000 -o use_path_request_style

今度はうまくいきました。

$ ll mountpoint
合計 5
drwx------ 1 xxxxx xxxxx    0  1月  1  1970 ./
drwxr-x--- 5 xxxxx xxxxx 4096  3月 23 21:50 ../
-rw-r----- 1 xxxxx xxxxx   12  3月 23 21:49 hello.txt


$ cat mountpoint/hello.txt
Hello World

ファイルの変更もできます。

$ echo 'Hello World!!' > mountpoint/hello.txt
$ cat mountpoint/hello.txt
Hello World!!

止め方は…わからなかったのでプロセスをkillしました…。

ここで1度、クレデンシャルを削除しておきます。

$ rm .passwd-s3fs

OSの起動時にマウントする

OSの起動時にマウントするためには、以下のように/etc/fstabに追記します。

my-bucket /path/to/mountpoint fuse.s3fs _netdev,allow_other,passwd_file=/path/to/.passwd-s3fs,use_path_request_style,url=http://[MinIOが動作ししているサーバー]:9000 0 0

追記後はOSを再起動するか、以下のコマンドで反映します。

$ sudo mount -a

おわりに

Amazon S3互換のオブジェクトストレージMinIOを、s3fsでマウントしてみました。

クレデンシャルの指定方法が独特？だったりしたくらいで、特に困ることなく導入できました。

オブジェクトストレージをマウントするというところで注意点はあるのですが、使えるところでは使いたいというか、覚えておきたいですね。