Apache Spark 3.1をスタンドアロンモード（ローカルのみ、クラスター構成）で動かす

これは、なにをしたくて書いたもの？

Apache Sparkのスタンドアロンモードでクラスタを構成してみようかな、と。

それから、ローカルで動かす時のlocal[〜]の意味をよく忘れるので、これもメモしておこうかなと。

環境

今回の環境は、こちらです。

$ java --version
openjdk 11.0.11 2021-04-20
OpenJDK Runtime Environment AdoptOpenJDK-11.0.11+9 (build 11.0.11+9)
OpenJDK 64-Bit Server VM AdoptOpenJDK-11.0.11+9 (build 11.0.11+9, mixed mode)


$ python3 -V
Python 3.8.10

確認するテーマに応じて、pipでPySparkをインストールするか

$ pip3 install pyspark==3.1.2

Apache Sparkのディストリビューションそのものを使用します。

$ curl -LO https://downloads.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

Apache Sparkのバージョンは、3.1.2です。

スタンドアロンモード

まずスタンドアロンモードとはなにか？からですが、これはクラスターマネージャーのひとつでApache Spark自体に
含まれているものです。

Cluster Mode Overview - Spark 3.1.2 Documentation

クラスターマネージャーにはスタンドアロン、Hadoop YARN、Kubernetes、Apache Mesosなどがあります。

スタンドアロンモードのドキュメントは、こちら。

Spark Standalone Mode - Spark 3.1.2 Documentation

マスター、ワーカー構成を取り、以下のどちらかの形態で動作させます。

• マスター、ワーカーでクラスターを構成する
• （テスト目的のために）単一のマシン上でデーモンを構成する

また、Sparkアプリケーションはclientモード、clusterモードのデプロイモードのいずれかで動作します。

Spark Standalone Mode / Launching Spark Applications

SparkContextを生成するドライバーをローカルで動作させるのがclientモード、Sparkクラスター側で動作させるのが
clusterモードです。

clientモードだとSparkアプリケーションを送信するクライアントと同じプロセスでドライバーが起動され、完了を待ちます。
clusterモードの場合、クライアントはSparkアプリケーションをクラスターに送信したら完了を待たずに終了します。

この使い分けについては、こちらを参照しましょう。

Submitting Applications / Launching Applications with spark-submit

なんですけど、現時点のApache Sparkでは、Pythonアプリケーションの場合はclusterモードでのデプロイは
できないみたいです。

PySparkを使って、Sparkをローカルで実行する

まずは、pipを使ってインストールしたApache Sparkを使って、ローカルで実行します。

この時によく出てくるlocal[*]の意味を確認しておこうかな、と。

たとえば、pysparkコマンドを実行します。

$ pyspark

するとApache Sparkが起動してログが出力されるのですが、その時にこんな表示が見えます。

Spark context available as 'sc' (master = local[*], app id = local-1631357850789).

プログラムでmaster指定するような例もありますね。

spark = SparkSession.builder.master('local[2]').getOrCreate()

これは、spark.masterという設定でこちらに記載があります。

Spark Configuration / Application Properties

spark.masterに設定可能な値は、こちら。

Submitting Applications / Master URLs

このうち、local[〜]に関するものを抜粋します。

形式	意味
local	ひとつのワーカースレッドを使い、Sparkをローカルで実行する
local[K]	K個のワーカースレッドを使い、Sparkをローカルで実行する
local[K, F]	K個のワーカースレッドを使い、Sparkをローカルで実行する。タスクは最大F - 1回の失敗を許容する
local[*]	動作しているマシンのコア数と同じ数のワーカースレッドを使い、Sparkをローカルで実行する
local[*, K]	動作しているマシンのコア数と同じ数のワーカースレッドを使い、Sparkをローカルで実行する。タスクは最大F - 1回の失敗を許容する

先ほどの例だと、pysparkを起動した時のspark.masterはlocal[*]で、そのマシンのコアの数分だけワーカースレッドを
構成してローカル実行するという意味になりますね。

spark.masterの設定は、pysparkやspark-submit、spark-shellなどの--masterオプションで指定できます。

## pysparkの場合
$ pyspark --master local[2]

>>> spark.conf.get('spark.master')
'local[2]'


## spark-submitの場合
$ spark-submit --master local[2] [Application]

またpipでインストールしたApache Sparkからは脱線しますが、ディストリビューションからインストールしている場合は、
conf/spark-defaults.confファイルにデフォルトの値を記載しておくこともできます。

Spark Configuration / Dynamically Loading Spark Properties

確認してみましょう。こんな感じのWord Countプログラムを用意します。

word_count.py

from pyspark.rdd import RDD
from pyspark.sql import SparkSession, DataFrame
from pyspark.sql.types import StructType, StringType, LongType

spark: SparkSession = SparkSession.builder.getOrCreate()

print(f"spark.master = {spark.conf.get('spark.master')}")

df: DataFrame = spark.read.text('README.md')
splitted: RDD = df.rdd.map(lambda x: x[0]).flatMap(lambda x: x.split(' '))
words: RDD = splitted.map(lambda x: (x, 1))
results: RDD = words.reduceByKey(lambda a, b: a + b)

wordCountSchema: StructType = StructType().add('word', StringType()).add('count', LongType())

results.toDF(wordCountSchema).select('word', 'count').write.format('csv').save('/tmp/word_count_results')

print('end!!')

途中で、spark.masterの値を出力するようにしました。

print(f"spark.master = {spark.conf.get('spark.master')}")

Word Countする対象は、Apache SparkのREADME.mdとします。

$ curl -LO https://github.com/apache/spark/raw/v3.1.2/README.md

実行。

$ spark-submit word_count.py

この時、spark.masterはlocal[*]となっています。

spark.master = local[*]

結果は、今回のプログラムでは/tmp/word_count_resultsディレクトリに出力されます。

結果の例。

$ head -n 10 /tmp/word_count_results/part-00000-b64679f0-8e18-4c2e-880c-f7d57db2b3fc-c000.csv
"#",1
Apache,1
Spark,14
"",73
is,7
a,9
unified,1
analytics,1
engine,2
for,12

再実行する場合は、出力対象のディレクトリが存在すると実行に失敗するので、1度ディレクトリを削除しておくとよいでしょう。

$ rm -rf /tmp/word_count_results

local[2]で実行。

$ spark-submit --master local[2] word_count.py

設定に反映されていることが確認できます。

spark.master = local[2]

また、spark.masterは前述の通りプログラム内でも記載できますが、通常はコマンドラインオプションや設定ファイルで
指定した方がよいでしょうね。

spark: SparkSession = SparkSession.builder.master('local[2]').getOrCreate()

スタンドアロンクラスターを構成する

続いては、スタンドアロンクラスターを構成してみます。

172.17.0.2〜5の計4つのノードを用意し、172.17.0.2はマスター、それ以外はワーカーという構成にしたいと思います。

各ノードには、Apache Sparkをインストールしておきます。

$ curl -LO https://downloads.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
$ tar xf spark-3.1.2-bin-hadoop3.2.tgz
$ cd spark-3.1.2-bin-hadoop3.2

クラスターは、以下の手順とスクリプトに従って構成します。

Spark Standalone Mode / Starting a Cluster Manually

Spark Standalone Mode / Cluster Launch Scripts

SSHを使って一気にノードを起動する方法もあるようですが、SSHの設定が面倒なので…今回は個々に起動していきます。

マスターは、以下のstart-master.shで起動します。

$ sbin/start-master.sh

ホスト名は-hまたは--hostオプションで指定できます。今回は指定して起動します。

$ sbin/start-master.sh -h 172.17.0.2

Web UIを見てみましょう。http://[マスターのIPアドレス]:8080にアクセスしてみます。

現時点ではワーカーノードもありません。

次に、ワーカーを起動しましょう。マスターノードのURLを指定して、start-worker.shを実行します。

$ sbin/start-worker.sh spark://172.17.0.2:7077


$ sbin/start-worker.sh spark://172.17.0.2:7077


$ sbin/start-worker.sh spark://172.17.0.2:7077

起動後、Web UIを見るとワーカーが追加されています。

では、--masterを指定してspark-submitを実行。ここで--masterの指定を忘れると、単にローカルで動くだけになります…。

$ bin/spark-submit --master spark://172.17.0.2:7077 /host/word_count.py

実行中。

終了。

今回の実装方法の場合、結果のファイルはワーカーノードのいずれかに出力されるようです。

今回は、2つ目に起動したワーカーノード上にありました。

$ head -n 10 /tmp/word_count_results/_temporary/0/task_202109111327078853503780902620221_0001_m_000000/part-00000-1bdd6215-c471-4fb4-a0ea-ca8d32416b7d-c000.csv 
"#",1
Apache,1
Spark,14
"",73
is,7
a,9
unified,1
analytics,1
engine,2
for,12

こういうことになりたくなければ、データストアやオブジェクトストレージに結果を保存することになるんでしょうね。

ワーカーやマスターを停止するコマンドは、こちら。

$ sbin/stop-worker.sh


$ sbin/stop-master.sh

これで今回確認したかったことはひととおりできた感じです。

まとめ

Apache Sparkで、スタンドアロンクラスターマネージャーでちょっと遊んでみました。

ローカルで動かした時、クラスターで動かした時の初歩が確認できた感じですね。

Amazon S3互換のオブジェクトストレージ、MinIOを試す

これは、なにをしたくて書いたもの？

前々から1度試しておきたかった、Amazon S3互換のオブジェクトストレージMinIOを扱ってみようかなと。

MinIOとは

MinIOは、Amazon S3互換のオブジェクトストレージです。

MinIO | High Performance, Kubernetes Native Object Storage

Goで実装されています。

GitHub - minio/minio: High Performance, Kubernetes Native Object Storage

3つのライセンス形態があるようですが、サポートに差があるみたいですね。

Pricing

ドキュメントは、ベアメタル環境向け、Kubernetes環境向け、VMware Cloud Fundation環境向けのものがありますが、
今回はベアメタル環境向けのものを参照します。

MinIO High Performance Object Storage — MinIO Baremetal Documentation

MinIO Object Storage for Hybrid Cloud — MinIO Hybrid Cloud Documentation

機能については、こちら。

MinIO Server Features — MinIO Baremetal Documentation

Notification、バージョニング、耐障害性、レプリケーションを備えます。

ちなみに、これらのドキュメントは現在作成中で、レガシー扱いとなったドキュメントもあります。現在のドキュメントに
記載がないものについては、レガシードキュメントの方を参照する必要があるようです。

MinIO | The MinIO Quickstart Guide

たとえば、AWS CLIや各種プログラミング言語向けのクライアントライブラリなどはレガシードキュメントにしか
ありません。

MinIO | AWS CLI with MinIO - Cookbook/Recipe

MinIO | Java Client Quickstart Guide

Amazon S3互換ということで、AWS CLIやAWS SDKが使えるわけですが、専用のクライアントコマンドや管理コマンド、
クライアントライブラリも備えています。

MinIO Client (mc) — MinIO Baremetal Documentation

MinIO Admin (mc admin) — MinIO Baremetal Documentation

今回は、とりあえずスタンドアロンでMinIOサーバーを立てて、クライアントコマンドやAWS CLIでアクセスして
みたいと思います。

環境

今回の環境は、こちら。Ubuntu Linux 20.04 LTSです。

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 20.04.3 LTS
Release:    20.04
Codename:   focal


$ uname -srvmpio
Linux 5.4.0-84-generic #94-Ubuntu SMP Thu Aug 26 20:27:37 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

AWS CLIもインストールしておきました。

$ aws --version
aws-cli/2.2.36 Python/3.8.8 Linux/5.4.0-84-generic exe/x86_64.ubuntu.20 prompt/off

MinIOサーバーをインストールする

まずは、MinIOサーバーをインストールします。

MinIO | Code and downloads to create high performance object storage

インストール方法は実行バイナリ、rpmパッケージ、debパッケージ、そしてDockerイメージがありますが、今回は
debパッケージのものを使うことにします。

debパッケージをダウンロードして

$ curl -O https://dl.min.io/server/minio/release/linux-amd64/minio_20210903035613.0.0_amd64.deb

インストール。

$ sudo dpkg -i minio_20210903035613.0.0_amd64.deb

バージョン。

$ minio --version
minio version RELEASE.2021-09-03T03-56-13Z

実行方法についてはこちらに記載がありますが、

MinIO Server — MinIO Baremetal Documentation

ヘルプも確認。

$ minio --help
NAME:
  minio - High Performance Object Storage

DESCRIPTION:
  Build high performance data infrastructure for machine learning, analytics and application data workloads with MinIO

USAGE:
  minio [FLAGS] COMMAND [ARGS...]

COMMANDS:
  server   start object storage server
  gateway  start object storage gateway
  
FLAGS:
  --certs-dir value, -S value  path to certs directory (default: "/home/vagrant/.minio/certs")
  --quiet                      disable startup information
  --anonymous                  hide sensitive information from logging
  --json                       output server logs and startup information in json format
  --help, -h                   show help
  --version, -v                print the version
  
VERSION:
  RELEASE.2021-09-03T03-56-13Z

起動方法にserverとgatewayがあるようです。

MinIO Gatewayは、AWSやAzureのオブジェクトストレージをバックエンドにするプロセスです。

今回は、serverの方を使います。

$ minio server --help
NAME:
  minio server - start object storage server

USAGE:
  minio server [FLAGS] DIR1 [DIR2..]
  minio server [FLAGS] DIR{1...64}
  minio server [FLAGS] DIR{1...64} DIR{65...128}

DIR:
  DIR points to a directory on a filesystem. When you want to combine
  multiple drives into a single large system, pass one directory per
  filesystem separated by space. You may also use a '...' convention
  to abbreviate the directory arguments. Remote directories in a
  distributed setup are encoded as HTTP(s) URIs.

FLAGS:
  --address value              bind to a specific ADDRESS:PORT, ADDRESS can be an IP or hostname (default: ":9000")
  --console-address value      bind to a specific ADDRESS:PORT for embedded Console UI, ADDRESS can be an IP or hostname
  --certs-dir value, -S value  path to certs directory (default: "/home/vagrant/.minio/certs")
  --quiet                      disable startup information
  --anonymous                  hide sensitive information from logging
  --json                       output server logs and startup information in json format
  --help, -h                   show help
  
EXAMPLES:
  1. Start minio server on "/home/shared" directory.
     $ minio server /home/shared

  2. Start single node server with 64 local drives "/mnt/data1" to "/mnt/data64".
     $ minio server /mnt/data{1...64}

  3. Start distributed minio server on an 32 node setup with 32 drives each, run following command on all the nodes
     $ export MINIO_ROOT_USER=minio
     $ export MINIO_ROOT_PASSWORD=miniostorage
     $ minio server http://node{1...32}.example.com/mnt/export{1...32}

  4. Start distributed minio server in an expanded setup, run the following command on all the nodes
     $ export MINIO_ROOT_USER=minio
     $ export MINIO_ROOT_PASSWORD=miniostorage
     $ minio server http://node{1...16}.example.com/mnt/export{1...32} \
            http://node{17...64}.example.com/mnt/export{1...64}

データを保存するためのディレクトリが必要なようなので、作成して

$ mkdir data

起動。

$ minio server data
API: http://192.168.121.136:9000  http://192.168.33.10:9000  http://127.0.0.1:9000     
RootUser: minioadmin 
RootPass: minioadmin 

Console: http://192.168.121.136:42799 http://192.168.33.10:42799 http://127.0.0.1:42799   
RootUser: minioadmin 
RootPass: minioadmin 

Command-line: https://docs.min.io/docs/minio-client-quickstart-guide
   $ mc alias set myminio http://192.168.121.136:9000 minioadmin minioadmin

Documentation: https://docs.min.io

WARNING: Console endpoint is listening on a dynamic port (42799), please use --console-address ":PORT" to choose a static port.
WARNING: Detected default credentials 'minioadmin:minioadmin', we recommend that you change these values with 'MINIO_ROOT_USER' and 'MINIO_ROOT_PASSWORD' environment variables

特に指定しないと、Web Consoleのポートがランダムに決まるようなので、指定しておきます。ドキュメントに習って
9001にしておきました。

$ minio server data --console-address ":9001"
API: http://192.168.121.136:9000  http://192.168.33.10:9000  http://127.0.0.1:9000     
RootUser: minioadmin 
RootPass: minioadmin 

Console: http://192.168.121.136:9001 http://192.168.33.10:9001 http://127.0.0.1:9001   
RootUser: minioadmin 
RootPass: minioadmin 

Command-line: https://docs.min.io/docs/minio-client-quickstart-guide
   $ mc alias set myminio http://192.168.121.136:9000 minioadmin minioadmin

Documentation: https://docs.min.io
WARNING: Detected default credentials 'minioadmin:minioadmin', we recommend that you change these values with 'MINIO_ROOT_USER' and 'MINIO_ROOT_PASSWORD' environment variables

起動時に表示されているのは、MinIOの管理ユーザーの名前とパスワードでもあり、AWS SDKのクレデンシャルでも
あります。

これは、MINIO_ROOT_USERおよびMINIO_ROOT_PASSWORD環境変数で指定することができます。

$ MINIO_ROOT_USER=admin MINIO_ROOT_PASSWORD=password minio server data --console-address ":9001"
API: http://192.168.121.136:9000  http://192.168.33.10:9000  http://127.0.0.1:9000     
RootUser: admin 
RootPass: password 

Console: http://192.168.121.136:9001 http://192.168.33.10:9001 http://127.0.0.1:9001   
RootUser: admin 
RootPass: password 

Command-line: https://docs.min.io/docs/minio-client-quickstart-guide
   $ mc alias set myminio http://192.168.121.136:9000 admin password

Documentation: https://docs.min.io

今回は、デフォルトのminioadmin / minioadminをそのまま使うことにします。

$ minio server data --console-address ":9001"

MinIOクライアントをインストールする

続いては、MinIOクライアントをインストールしましょう。

こちらも、debパッケージでインストールします。ダウンロードして

$ curl -O https://dl.min.io/client/mc/release/linux-amd64/mcli_20210902092127.0.0_amd64.deb

インストール。

$ sudo dpkg -i mcli_20210902092127.0.0_amd64.deb

バージョン。

$ mcli --version
mcli version RELEASE.2021-09-02T09-21-27Z

ちなみに、実行可能ファイルでインストールするとmcコマンドとなり、rpmパッケージやdebパッケージでインストール
するとmcliコマンドになります。

MinIO | Code and downloads to create high performance object storage

どちらにせよ、インストールされるのは単一バイナリだけですが。

$ dpkg -L mcli
/usr
/usr/local
/usr/local/bin
/usr/local/bin/mcli

ダウンロードページに記載されているコマンドに従い、myminioという名前にローカルのMinIOをエイリアスとして
設定します。この時、ユーザー名とパスワードも必要です。

$ mcli alias set myminio http://localhost:9000 minioadmin minioadmin

MinIOサーバーの情報を確認。

$ mcli admin info myminio
●  localhost:9000
   Uptime: 6 minutes 
   Version: 2021-09-03T03:56:13Z
   Network: 1/1 OK 

いくつかコマンドを試してみます。

バケットの作成。

$ mcli mb myminio/my-bucket
Bucket created successfully `myminio/my-bucket`.

確認。

$ mcli ls myminio
[2021-09-10 22:58:17 JST]     0B my-bucket/

ローカルでファイルを作成して

$ echo 'Hello World' > hello.txt

アップロード。

$ mcli cp hello.txt myminio/my-bucket/hello.txt

ダウンロード。

$ mcli cp myminio/my-bucket/hello.txt hello-copy.txt


$ cat hello-copy.txt
Hello World

ファイル削除。

$ mcli rm myminio/my-bucket/hello.txt
Removing `myminio/my-bucket/hello.txt`.

バケット削除。

$ mcli rb myminio/my-bucket
Removed `myminio/my-bucket` successfully.

もう1度バケットの作成とファイルアップロード、そしてバケットをもうひとつ作成します。

$ mcli mb myminio/my-bucket
$ mcli cp hello.txt myminio/my-bucket/hello.txt


$ mcli mb myminio/my-bucket2

起動時に--console-address ":9001"を指定したので、http://[MinIOサーバーのIPアドレス]:9001でWeb Consoleに
アクセスできます。

MinIO Console — MinIO Baremetal Documentation

ログインアカウントは、起動時に表示されたユーザー名とパスワードです。

Web Consoleでは、Minioサーバーの情報を参照したり、バケットへのアクセス、ユーザー管理などができたりします。

AWS CLIでアクセスする

続いて、AWS CLIでアクセスしてみましょう。

クレデンシャルとリージョンは、環境変数で指定することにします。

$ export AWS_ACCESS_KEY_ID=minioadmin
$ export AWS_SECRET_ACCESS_KEY=minioadmin
$ export AWS_DEFAULT_REGION=ap-northeast-1

AWS CLIでアクセスする際は、--endpoint-url http://[MinIOサーバーのIPアドレス]:9000を指定します。

$ aws --endpoint-url http://localhost:9000 s3 ls
2021-09-10 23:03:54 my-bucket
2021-09-10 23:04:19 my-bucket2

先ほど、MinIOのクライアントツールで作成したバケットが見えています。

ファイルのダウンロード。

$ aws --endpoint-url http://localhost:9000 s3 cp s3://my-bucket/hello.txt -
Hello World

こちらもOKそうですね。

systemdでMinIOサーバーを起動する

ところで、MinIOサーバーのパッケージを見ると、どうやらsystemdの定義ファイルが含まれているようです。

$ dpkg -L minio
/usr
/usr/local
/usr/local/bin
/usr/local/bin/minio
/etc
/etc/systemd
/etc/systemd/system
/etc/systemd/system/minio.service

systemdのユニット定義ファイルは、こんな感じでした。

/etc/systemd/system/minio.service

[Unit]
Description=MinIO
Documentation=https://docs.min.io
Wants=network-online.target
After=network-online.target
AssertFileIsExecutable=/usr/local/bin/minio

[Service]
WorkingDirectory=/usr/local

User=minio-user
Group=minio-user
ProtectProc=invisible

EnvironmentFile=-/etc/default/minio
ExecStartPre=/bin/bash -c "if [ -z \"${MINIO_VOLUMES}\" ]; then echo \"Variable MINIO_VOLUMES not set in /etc/default/minio\"; exit 1; fi"
ExecStart=/usr/local/bin/minio server $MINIO_OPTS $MINIO_VOLUMES

# Let systemd restart this service always
Restart=always

# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65536

# Specifies the maximum number of threads this process can create
TasksMax=infinity

# Disable timeout logic and wait until process is stopped
TimeoutStopSec=infinity
SendSIGKILL=no

[Install]
WantedBy=multi-user.target

# Built for ${project.name}-${project.version} (${project.name})

有効化して

$ sudo systemctl enable minio
Created symlink /etc/systemd/system/multi-user.target.wants/minio.service → /etc/systemd/system/minio.service.

起動しようとすると、失敗します。

$ sudo systemctl start minio
Job for minio.service failed because the control process exited with error code.
See "systemctl status minio.service" and "journalctl -xe" for details.

ログを見ると、クレデンシャルに問題があるようです。

 9月 10 23:18:28 server systemd[1]: Starting MinIO...
 9月 10 23:18:28 server systemd[1989]: minio.service: Failed to determine user credentials: No such process
 9月 10 23:18:28 server systemd[1989]: minio.service: Failed at step USER spawning /bin/bash: No such process

ユニット定義のユーザーおよびグループ指定を見ると、存在しないユーザーとグループが指定されています。

User=minio-user
Group=minio-user

このままだと起動しないので、ユーザーを追加します。

$ sudo useradd minio-user

これでもまだ失敗します。

$ sudo systemctl start minio
Job for minio.service failed because the control process exited with error code.
See "systemctl status minio.service" and "journalctl -xe" for details.

エラーメッセージを確認すると、/etc/default/minioというファイルに環境変数の定義がないと言っています。

 9月 10 23:19:44 server systemd[1]: Starting MinIO...
 9月 10 23:19:44 server bash[2030]: Variable MINIO_VOLUMES not set in /etc/default/minio

これは、ExecStartPreおよびExecStartを見ると理由がわかります。

ExecStartPre=/bin/bash -c "if [ -z \"${MINIO_VOLUMES}\" ]; then echo \"Variable MINIO_VOLUMES not set in /etc/default/minio\"; exit 1; fi"
ExecStart=/usr/local/bin/minio server $MINIO_OPTS $MINIO_VOLUMES

起動時の設定をしなければいけないようです。

では、データを保存するディレクトリを作成して

$ sudo mkdir -p /var/lib/minio/data
$ sudo chown -R minio-user:minio-user /var/lib/minio

/etc/default/minioファイルも作成します。ここで、起動時のオプションとデータの保存先を指定します。

/etc/default/minio

MINIO_OPTS=--console-address :9001
MINIO_VOLUMES=/var/lib/minio/data

今度は起動するようになります。

$ sudo systemctl start minio

デフォルトのクレデンシャルだと警告が出るので

 9月 10 23:26:00 server minio[2273]: WARNING: Detected default credentials 'minioadmin:minioadmin', we recommend that you change these values with 'MINIO_ROOT_USER' and 'MINIO_ROOT_PASSWORD' environment variables

好みに応じて、MINIO_ROOT_USERおよびMINIO_ROOT_PASSWORDを設定してクレデンシャルを指定すると
よいでしょう。

/etc/default/minio

MINIO_OPTS=--console-address :9001
MINIO_VOLUMES=/var/lib/minio/data
MINIO_ROOT_USER=root-user
MINIO_ROOT_PASSWORD=password

まとめ

Amazon S3互換のオブジェクトストレージ、MinIOを試してみました。

MinIOのクライアントコマンドは最初は戸惑ったりしましたが、あとはそれほど困りませんでしたね。

お手軽に使えそうなので、Amazon S3の代わりが欲しい時はLocalStackと使い分けていこうかなと思います。