PyInstallerを使って、Pythonアプリケーションから単一の実行可能ファイルを作成する

Pythonで、実行可能なバイナリを作成するにはどうしたらいいのかな？と思って調べてみたのですが、PyInstallerというものを
使えばよさそうです。

PyInstaller Manual — PyInstaller 6.4.0 documentation

GitHub - pyinstaller/pyinstaller: Freeze (package) Python programs into stand-alone executables

Pythonスクリプトを単一実行ファイルにする方法 #Python - Qiita

python3 - Python のプログラムを実行可能バイナリにコンパイルするには？ - スタック・オーバーフロー

PyInstallerとは

Pythonで書かれたアプリケーションを、スタンドアロンで実行可能な形式にまとめることができるツールです。

Python 2.7、3.4〜3.7で動作し、マルチプラットフォームで動作しますが、PyInstaller自体を実行するプラットフォームとは
異なるプラットフォーム向けのバイナリは作成することができません。クロスプラットフォーム向けにバイナリを作成することは
できないので、例えば手持ちがWindows環境で、Linux環境向けのバイナリを作成しようと思ったら、LinuxをVMなどで用意する
必要があるということです。

前置きはこれくらいにして、さっそく試してみましょう。

環境

今回の環境は、こちら。

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 18.04.2 LTS
Release:    18.04
Codename:   bionic


$ python3 -V
Python 3.6.7

仮想環境も利用することにします。

$ python3 -m venv venv
$ . venv/bin/activate

お題とサンプルプログラム、実行可能バイナリの作成

Pythonで、起動スクリプトとは別のスクリプト、外部ライブラリを使用した簡単なアプリケーションを作成して、それを
PyInstallerで実行可能なバイナリにまとめてみます。

まずは、PyInstallerのインストール。

$ pip3 install pyinstaller

バージョン。

$ pip3 freeze
...
PyInstaller==3.4

外部ライブラリとしては、requestsとBeatiful Soupを使うことにします。

$ pip3 install requests beautifulsoup4
$ pip3 freeze
...
beautifulsoup4==4.7.1
...
requests==2.21.0
...

これらのライブラリを使って、このブログのトップページを取得して、タイトルだけを返すような関数を作成します。
func.py

from bs4 import BeautifulSoup
import requests

def get_title(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')

    return soup.title.text

作成した関数を利用する、起動スクリプト。
app.py

from func import get_title

title = get_title('https://kazuhira-r.hatenablog.com/')

print("https://kazuhira-r.hatenablog.com/'s title = {}".format(title))

確認。

$ python3 app.py 
https://kazuhira-r.hatenablog.com/'s title = CLOVER🍀

これで、準備は完了です。

では、PyInstallerでバイナリを作成します。「pyinstaller」コマンドに、起動スクリプトを引数に渡して実行。

$ pyinstaller app.py

「dist」というディレクトリができるので、この中身を見ると実行可能ファイルやSOファイルが並んでいます。

$ ll -h dist/app
合計 12M
drwxrwxr-x 3 xxxxx xxxxx 4.0K  4月 24 23:39 ./
drwxrwxr-x 3 xxxxx xxxxx 4.0K  4月 24 23:39 ../
-rwxr-xr-x 1 xxxxx xxxxx  22K 10月 22  2018 _bz2.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx 147K 10月 22  2018 _codecs_cn.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx 155K 10月 22  2018 _codecs_hk.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx  27K 10月 22  2018 _codecs_iso2022.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx 267K 10月 22  2018 _codecs_jp.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx 135K 10月 22  2018 _codecs_kr.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx 111K 10月 22  2018 _codecs_tw.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx  30K 10月 22  2018 _hashlib.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx  73K 10月 22  2018 _json.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx  33K 10月 22  2018 _lzma.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx  56K 10月 22  2018 _multibytecodec.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx 6.2K 10月 22  2018 _opcode.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx 118K 10月 22  2018 _ssl.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx 1.7M  4月 24 23:39 app*
-rw-rw-r-- 1 xxxxx xxxxx 754K  4月 24 23:39 base_library.zip
drwxrwxr-x 2 xxxxx xxxxx 4.0K  4月 24 23:39 certifi/
-rwxr-xr-x 1 xxxxx xxxxx  66K  1月 30  2017 libbz2.so.1.0*
-rwxr-xr-x 1 xxxxx xxxxx 2.5M 12月  6 00:59 libcrypto.so.1.1*
-rwxr-xr-x 1 xxxxx xxxxx 199K 12月 20  2017 libexpat.so.1*
-rwxr-xr-x 1 xxxxx xxxxx 151K  6月 29  2017 liblzma.so.5*
-rwxr-xr-x 1 xxxxx xxxxx 4.5M 10月 22  2018 libpython3.6m.so.1.0*
-rwxr-xr-x 1 xxxxx xxxxx 288K  5月 16  2017 libreadline.so.7*
-rwxr-xr-x 1 xxxxx xxxxx 424K 12月  6 00:59 libssl.so.1.1*
-rwxr-xr-x 1 xxxxx xxxxx 167K  5月 23  2018 libtinfo.so.5*
-rwxr-xr-x 1 xxxxx xxxxx 115K  5月 23  2017 libz.so.1*
-rwxr-xr-x 1 xxxxx xxxxx  32K 10月 22  2018 readline.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx  16K 10月 22  2018 resource.cpython-36m-x86_64-linux-gnu.so*
-rwxr-xr-x 1 xxxxx xxxxx  25K 10月 22  2018 termios.cpython-36m-x86_64-linux-gnu.so*

また、カレントディレクトリを見ると、「dist」ディレクトリ以外には起動スクリプト名.spec」というファイルと「build」ディレクトリが
作成されています。

$ ll
合計 36
drwxrwxr-x  6 xxxxx xxxxx 4096  4月 24 23:39 ./
drwxrwxr-x 14 xxxxx xxxxx 4096  4月 24 23:13 ../
drwxrwxr-x  2 xxxxx xxxxx 4096  4月 24 23:39 __pycache__/
-rw-rw-r--  1 xxxxx xxxxx  156  4月 24 23:38 app.py
-rw-rw-r--  1 xxxxx xxxxx  950  4月 24 23:39 app.spec
drwxrwxr-x  3 xxxxx xxxxx 4096  4月 24 23:39 build/
drwxrwxr-x  3 xxxxx xxxxx 4096  4月 24 23:39 dist/
-rw-rw-r--  1 xxxxx xxxxx  183  4月 24 23:39 func.py
drwxrwxr-x  6 xxxxx xxxxx 4096  4月 24 23:13 venv/

実行してみましょう。

$ dist/app/app
https://kazuhira-r.hatenablog.com/'s title = CLOVER🍀

動きましたね。他のスクリプトや外部ライブラリの情報まで見て、ビルドしてくれるようです。

ただ、この方法でのビルドでは、「dist」ディレクトリ配下のファイルをまるごと使う必要があり、例えばエントリとなる
実行可能ファイルだけを持ち出しても、ライブラリが足りずにエラーになります。

$ ./app 
[12] Error loading Python lib '/tmp/libpython3.6m.so.1.0': dlopen: /tmp/libpython3.6m.so.1.0: cannot open shared object file: No such file or directory

これを避けるには、完全に単一のバイナリとしてビルドする必要があります。

What PyInstaller Does and How It Does It — PyInstaller 6.4.0 documentation

単一のバイナリを作成するには、「--onefile」オプションを指定します。

$ pyinstaller --onefile app.py 

今度は、「dist」ディレクトリ内に作成されるファイルがひとつになります。

$ ll dist
合計 6072
drwxrwxr-x 2 xxxxx xxxxx    4096  4月 24 23:48 ./
drwxrwxr-x 6 xxxxx xxxxx    4096  4月 24 23:48 ../
-rwxr-xr-x 1 xxxxx xxxxx 6207248  4月 24 23:48 app*

この生成方法だと、単一のファイルを配布するだけで実行可能になります。

$ ./app 
https://kazuhira-r.hatenablog.com/'s title = CLOVER🍀

なお、このようなビルド時の指定はspec拡張子のファイルに保存されているので
app.spec

# -*- mode: python -*-

block_cipher = None


a = Analysis(['app.py'],
             pathex=['/path/to/application-directory'],
             binaries=[],
             datas=[],
             hiddenimports=[],
             hookspath=[],
             runtime_hooks=[],
             excludes=[],
             win_no_prefer_redirects=False,
             win_private_assemblies=False,
             cipher=block_cipher,
             noarchive=False)
pyz = PYZ(a.pure, a.zipped_data,
             cipher=block_cipher)
exe = EXE(pyz,
          a.scripts,
          a.binaries,
          a.zipfiles,
          a.datas,
          [],
          name='app',
          debug=False,
          bootloader_ignore_signals=False,
          strip=False,
          upx=True,
          runtime_tmpdir=None,
          console=False )

仮にdistディレクトリなどをなくしても、specファイルから同じオプションで再作成することができます。

$ pyinstaller app.spec

こんな感じで。

AWS Step Functionsをローカルで動かす

これは、なにをしたくて書いたもの？

AWS Step Functionsをちょっと試してみたいのですが、どうやらローカルで動かせるみたいなので、ちょっと試してみようと。

AWS Step Functions とは - AWS Step Functions

Step Functions Local (ダウンロード可能バージョン) のセットアップ - AWS Step Functions

AWS Step Functionsというのは、（複数の）AWS Lambdaを組み合わせてアプリケーションを作成できるサービスのようです。

今回は、ドキュメントに沿って、シンプルにひとつのAWS LambdaをAWS Step Functionsでローカル環境で動かして
みることを目標にします。

環境

今回は、Pythonを使ってAWS Lambdaに登録する関数を作成し、AWS Step Functionsを動かしていきたいと思います。

ローカルのPythonのバージョンと、仮想環境を作成しておきます。。

$ python3 -V
Python 3.6.7

$ python3 -m venv venv
$ . venv/bin/activate

AWS Step Functionsのローカル版のインストール

こちらに沿って、進めていきます。

Step Functions Local (ダウンロード可能バージョン) のセットアップ - AWS Step Functions

まずは、圧縮ファイルをダウンロード。そのまま展開すると、中身が全部バラまかれるので、ディレクトリを作成してその中に
まとめるようにしておきました。

$ wget https://s3.amazonaws.com/stepfunctionslocal/StepFunctionsLocal.tar.gz
$ mkdir StepFunctionsLocal
$ tar xf StepFunctionsLocal.tar.gz -C StepFunctionsLocal

ちなみに、Docker版もあるようですが、今回はこちらのJARファイルで提供されるものを使用します。

バージョン確認。

$ java -jar StepFunctionsLocal/StepFunctionsLocal.jar -v
Step Functions Local
Version: 1.0.1
Build: 2019-02-22
Step Functions Local
Version: 1.0.1
Build: 2019-02-22

AWS CLIとAWS SAM CLIも使うので、インストールしておきましょう。Access Keyなどの設定は、適当です。

$ pip3 install awscli
$ aws configure
AWS Access Key ID [None]: my-access-key
AWS Secret Access Key [None]: my-secret-key
Default region name [None]: us-east-1
Default output format [None]: 


$ pip3 install aws-sam-cli
$ sam --version
SAM CLI, version 0.15.0

AWS Step Functionsのローカル版を起動して、

$ java -jar StepFunctionsLocal/StepFunctionsLocal.jar

AWS CLIからの接続確認。

$ aws stepfunctions --endpoint http://localhost:8083 list-state-machines
{
    "stateMachines": []
}

1度、StepFunctionsLocal.jarを終了しておきます。

AWS Lambda関数を作る

続いて、AWS Step Functionsから呼び出す、AWS Lambda関数を作成していきます。

こちらを参考に作成すればOKです。

Quick Start - AWS Serverless Application Model

ランタイムはPython 3.6を指定して、「sam init」。

$ sam init --runtime python3.6

「sam-app」というディレクトリが作成され、その中に各種ファイルが配置されています。そのまま、ローカルでAPI Gateway越しに
AWS Lambdaを起動させることができます。

$ cd sam-app
$ sam local start-api
2019-04-22 23:01:18 Found credentials in shared credentials file: ~/.aws/credentials
2019-04-22 23:01:18 Mounting HelloWorldFunction at http://127.0.0.1:3000/hello [GET]
2019-04-22 23:01:18 You can now browse to the above endpoints to invoke your functions. You do not need to restart/reload SAM CLI while working on your functions, changes will be reflected instantly/automatically. You only need to restart SAM CLI if you update your AWS SAM template
2019-04-22 23:01:18  * Running on http://127.0.0.1:3000/ (Press CTRL+C to quit)

curlで確認。初回は、AWS Lambdaのランタイムに合わせたDockerイメージのダウンロードが入るので、とても時間がかかりますが、
ちゃんと動きました。

$ curl localhost:3000/hello
{"message": "hello world"}

中身を少し見ておきましょうか。出力されたPythonファイル。
hello_world/app.py

import json

# import requests


def lambda_handler(event, context):
    """Sample pure Lambda function

    Parameters
    ----------
    event: dict, required
        API Gateway Lambda Proxy Input Format

        Event doc: https://docs.aws.amazon.com/apigateway/latest/developerguide/set-up-lambda-proxy-integrations.html#api-gateway-simple-proxy-for-lambda-input-format

    context: object, required
        Lambda Context runtime methods and attributes

        Context doc: https://docs.aws.amazon.com/lambda/latest/dg/python-context-object.html

    Returns
    ------
    API Gateway Lambda Proxy Output Format: dict

        Return doc: https://docs.aws.amazon.com/apigateway/latest/developerguide/set-up-lambda-proxy-integrations.html
    """

    # try:
    #     ip = requests.get("http://checkip.amazonaws.com/")
    # except requests.RequestException as e:
    #     # Send some context about this error to Lambda Logs
    #     print(e)

    #     raise e

    return {
        "statusCode": 200,
        "body": json.dumps({
            "message": "hello world",
            # "location": ip.text.replace("\n", "")
        }),
    }

テンプレートファイル。
template.yaml

AWSTemplateFormatVersion: '2010-09-09'
Transform: AWS::Serverless-2016-10-31
Description: >
  sam-app

  Sample SAM Template for sam-app

# More info about Globals: https://github.com/awslabs/serverless-application-model/blob/master/docs/globals.rst
Globals:
  Function:
    Timeout: 3

Resources:
  HelloWorldFunction:
    Type: AWS::Serverless::Function # More info about Function Resource: https://github.com/awslabs/serverless-application-model/blob/master/versions/2016-10-31.md#awsserverlessfunction
    Properties:
      CodeUri: hello_world/
      Handler: app.lambda_handler
      Runtime: python3.6
      Events:
        HelloWorld:
          Type: Api # More info about API Event Source: https://github.com/awslabs/serverless-application-model/blob/master/versions/2016-10-31.md#api
          Properties:
            Path: /hello
            Method: get

Outputs:
  # ServerlessRestApi is an implicit API created out of Events key under Serverless::Function
  # Find out more about other implicit resources you can reference within SAM
  # https://github.com/awslabs/serverless-application-model/blob/master/docs/internals/generated_resources.rst#api
  HelloWorldApi:
    Description: "API Gateway endpoint URL for Prod stage for Hello World function"
    Value: !Sub "https://${ServerlessRestApi}.execute-api.${AWS::Region}.amazonaws.com/Prod/hello/"
  HelloWorldFunction:
    Description: "Hello World Lambda Function ARN"
    Value: !GetAtt HelloWorldFunction.Arn
  HelloWorldFunctionIamRole:
    Description: "Implicit IAM Role created for Hello World function"
    Value: !GetAtt HelloWorldFunctionRole.Arn

ここで、API Gatewayは止めて、ローカルでAWS Lambdaを起動させます。

$ sam loc start-lambda
2019-04-22 23:18:15 Found credentials in shared credentials file: ~/.aws/credentials
2019-04-22 23:18:15 Starting the Local Lambda Service. You can now invoke your Lambda Functions defined in your template through the endpoint.
2019-04-22 23:18:15  * Running on http://127.0.0.1:3001/ (Press CTRL+C to quit)

AWS Step Functionsに、作成したAWS Lambda関数を呼び出すように設定する

では、作成したAWS Lambda関数を、AWS Step Functionsから呼び出すように設定しましょう。

AWS Lambdaのエンドポイントを指定して、ローカル用のStep Functionsを起動します。ローカルのAWS Lambdaのエンドポイントは、
「sam loc start-lambda」実行時にコンソールに出力されています。

$ java -jar StepFunctionocal/StepFunctionsLocal.jar --lambda-endpoint http://localhost:3001

ステートマシンの定義を作成します。
hello-state-machine.json

{
    "Comment": "A Hello World example of the Amazon States Language using an AWS Lambda Local function",
    "StartAt": "HelloWorld",
    "States": {
        "HelloWorld": {
            "Type": "Task",
            "Resource": "arn:aws:lambda:us-east-1:123456789012:function:HelloWorldFunction",
            "End": true
        }
    }
}

「Resource」に、先ほど指定したAWS Lambdaの関数名を指定します。

template.yamlの、Resourcesの配下に指定する関数名です。

AWSTemplateFormatVersion: '2010-09-09'
Transform: AWS::Serverless-2016-10-31

...

Resources:
  HelloWorldFunction:
    Type: AWS::Serverless::Function # More info about Function Resource: https://github.com/awslabs/serverless-application-model/blob/master/versions/2016-10-31.md#awsserverlessfunction
    Properties:
...

このファイルを使って、名前を「HelloStateMachine」としてステートマシンを作成します。「create-state-machine」という
サブコマンドを使用します。

$ aws stepfunctions --endpoint http://localhost:8083 create-state-machine --name 'HelloStateMachine' --role-arn 'arn:aws:iam::012345678901:role/DummyRole' --definition file://hello-state-machine.json
{
    "stateMachineArn": "arn:aws:states:us-east-1:123456789012:stateMachine:HelloStateMachine",
    "creationDate": 1555942950.429
}

ステートマシンの設定をファイルで定義した時に「HelloWorld」とか書いていましたが、これはステートの名前、
ステートマシンの名前としては「--name」オプションで指定した「HelloStateMachine」となるようです。

「--role-arn」の値は、書式に合ってさえいれば適当でよいみたいです。

この結果、得られた「stateMachineArn」を使ってステートマシンを呼び出します。「start-execution」サブコマンドを使います。

$ aws stepfunctions --endpoint http://localhost:8083 start-execution --state-machine arn:aws:states:us-east-1:123456789012:stateMachine:HelloStateMachine --name test
{
    "executionArn": "arn:aws:states:us-east-1:123456789012:execution:HelloStateMachine:test",
    "startDate": 1555942979.028
}

実行名は、ドキュメント通り「test」としました。これは、実行ごとにユニークな名前である必要があるらしいです。

得られた「executionArn」を使って、「describe-execution」サブコマンドで呼び出し結果を確認することができます。

$ aws stepfunctions --endpoint http://localhost:8083 describe-execution --execution-arn arn:aws:states:us-east-1:123456789012:execution:HelloStateMachine:test
{
    "executionArn": "arn:aws:states:us-east-1:123456789012:execution:HelloStateMachine:test",
    "stateMachineArn": "arn:aws:states:us-east-1:123456789012:stateMachine:HelloStateMachine",
    "name": "test",
    "status": "SUCCEEDED",
    "startDate": 1555942979.028,
    "stopDate": 1555942982.967,
    "input": "{}",
    "output": "{\"statusCode\": 200, \"body\": \"{\\\"message\\\": \\\"hello world\\\"}\"}"
}

とりあえず、動かすことができましたね…。

ステートマシンの削除は、作成時に得られた「stateMachineArn」を使って行います。

$ aws stepfunctions --endpoint http://localhost:8083 delete-state-machine --state-machine-arn arn:aws:states:us-east-1:123456789012:stateMachine:HelloStateMachine

入力値を利用するAWS Lambda関数を呼び出してみる

作成したAWS Lambda関数を、入力値を受け取るように修正してみましょう。

以下のように、「name」という名前の入力値を利用するようにしてみます。

    return {
        "statusCode": 200,
        "body": json.dumps({
            "message": "hello {}".format(event['name']),
            # "location": ip.text.replace("\n", "")
        }),
    }

ローカルのAWS Lambdaを再起動。

$ sam loc start-lambda

ステートマシンの登録。

$ aws stepfunctions --endpoint http://localhost:8083 create-state-machine --name 'HelloStateMachine' --role-arn 'arn:aws:iam::012345678901:role/DummyRole' --definition file://hello-state-machine.json
{
    "stateMachineArn": "arn:aws:states:us-east-1:123456789012:stateMachine:HelloStateMachine",
    "creationDate": 1555944685.994
}

実行時に入力値を与えるわけですが、「start-execution」の「--input」引数で入力値を指定することができます。

$ aws stepfunctions --endpoint http://localhost:8083 start-execution --state-machine arn:aws:states:us-east-1:123456789012:stateMachine:HelloStateMachine --name test --input '{"name": "カツオ"}'
{
    "executionArn": "arn:aws:states:us-east-1:123456789012:execution:HelloStateMachine:test",
    "startDate": 1555944793.934
}

また、入力値をファイルにして
input.json

{"name": "カツオ"}

このファイルを入力値として利用することもできます。

$ aws stepfunctions --endpoint http://localhost:8083 start-execution --state-machine arn:aws:states:us-east-1:123456789012:stateMachine:HelloStateMachine --name test --input file://input.json

結果の確認。ちょっと日本語の部分が微妙なことになっていますが…。

$ aws stepfunctions --endpoint http://localhost:8083 describe-execution --execution-arn arn:aws:states:us-east-1:123456789012:execution:HelloStateMachine:test
{
    "executionArn": "arn:aws:states:us-east-1:123456789012:execution:HelloStateMachine:test",
    "stateMachineArn": "arn:aws:states:us-east-1:123456789012:stateMachine:HelloStateMachine",
    "name": "test",
    "status": "SUCCEEDED",
    "startDate": 1555944793.934,
    "stopDate": 1555944797.618,
    "input": "{\"name\": \"???\"}",
    "output": "{\"statusCode\": 200, \"body\": \"{\\\"message\\\": \\\"hello \\\\u30ab\\\\u30c4\\\\u30aa\\\"}\"}"
}

一応、内容も確認しておきますか。

$ groovy -e 'println("\u30ab" + "\u30c4" + "\u30aa")'
カツオ

OKそうですね。

今回はあくまで単一のAWS LambdaをAWS Step Functionsから呼び出しただけですが、そのうち複数のAWS Lambdaを
つなげて呼び出すようなステートマシンを作成してみたいと思います。