Background

I have been using Amazon Linux 2023 (AL2023) EC2 instances with a desktop environment as my development setup. The main reasons for using this environment are as follows:

• I can keep tools like Claude Code running even after closing my Mac
• IAM Role-based authentication is convenient when deploying environments developed with AWS CDK
• I can easily start over from scratch or restore from a previous backup (AMI)

Until now, I had been using Intel-based instance types. However, for developing with Amazon Bedrock AgentCore, an Arm-based CPU environment is better suited for local testing, so I decided to set up a development environment on a Graviton EC2 instance.

The steps are almost identical to those in my previous article. The one difference is that Google Chrome does not provide an Arm Linux build, so I use Firefox as the browser instead.

Steps

Launching the EC2 Instance

Select c8g.large as the instance type. Configure the security group to allow SSH access from your own IP address.

Setting Up the Desktop Environment

Connect to the EC2 instance via SSH from your local machine.

Run on local machine

ssh -i <keypair> ec2-user@<address>

Install the GNOME desktop.

Run on EC2

sudo dnf groupinstall "Desktop" -y

Set a VNC password.

Run on EC2

vncpasswd

When prompted with “Would you like to enter a view-only password (y/n)?”, answer n.

Edit the VNC server user configuration file.

Run on EC2

sudo vi /etc/tigervnc/vncserver.users

Append the following line:

:1=ec2-user

Edit the VNC server default configuration file.

Run on EC2

sudo vi /etc/tigervnc/vncserver-config-defaults

Append the following lines:

session=gnome
securitytypes=vncauth,tlsvnc
geometry=1920x1080
localhost
alwaysshared

Start the VNC server and log out of the EC2 instance.

Run on EC2

sudo systemctl start vncserver@:1
exit

Connecting via VNC

Set up an SSH tunnel.

Run on local machine

ssh -i <keypair> -L 5901:localhost:5901 -N ec2-user@<address>

On your Mac, open Finder and select Go > Connect to Server from the menu bar. Enter vnc://localhost:5901 as the destination and input the VNC password you configured earlier to connect to the desktop.

Additional Configuration

Once you have confirmed the desktop connection, enable VNC server auto-start on boot and disable the screen saver.

Run on EC2

sudo systemctl enable vncserver@:1
gsettings set org.gnome.desktop.session idle-delay 0

Installing Visual Studio Code

Run on EC2

sudo rpm — import https://packages.microsoft.com/keys/microsoft.asc &&
echo -e "[code]\nname=Visual Studio Code\nbaseurl=https://packages.microsoft.com/yumrepos/vscode\nenabled=1\nautorefresh=1\ntype=rpm-md\ngpgcheck=1\ngpgkey=https://packages.microsoft.com/keys/microsoft.asc" | sudo tee /etc/yum.repos.d/vscode.repo > /dev/null

dnf check-update &&
sudo dnf install code

Installing Claude Code

Run on EC2

curl -fsSL https://claude.ai/install.sh | bash

Conclusion

I successfully set up an Amazon Linux 2023 desktop environment on a Graviton (Arm) EC2 instance. The procedure was nearly identical to that used for Intel-based instances. The one notable difference specific to the Arm environment is that Google Chrome does not provide an Arm Linux build. Use an alternative browser such as Firefox as needed.

References

• Installing GNOME on Amazon Linux 2023
• VNC configuration on Amazon Linux 2023
• Visual Studio Code on Linux
• Claude Code setup

この記事は、税務の専門家ではない私が、確定申告にあたって不明点を Gemini に問い合わせるなどして理解した内容をまとめたものです。誤りを含む可能性があります。正確な申告のためには、税理士にご相談ください。また、本記事の内容を参考にした結果生じた損害について、筆者は一切の責任を負いません。

背景

私は昨年（2025年）5月に外資系スタートアップを退職しました。退職時にストックオプション(SO)を行使しました。この SO の行使により、2026年2〜3月に確定申告が必要になったため, Gemini に問い合わせるなどして理解を深めました。本記事ではその内容をまとめます。

ストックオプションについて

ストックオプション( Stock Option, SO )とは、あらかじめ定められた特定の価格（行使価格）で、将来的に自社の株式を購入できる権利のことです。スタートアップ企業では、従業員に対する報酬の一形態として無償で付与されることが多く、会社が成長して株価が行使価格を上回った際に、その差額を利益として得ることを目指します。権利の取得時点では株式の購入は行われず、権利行使(Exercise)を実施して初めて株式を取得できます。あくまでも「権利」なので、行使しないという選択肢もあります。

関連用語

• 権利行使(Exercise): SO を行使し、株を購入すること
• 行使価格(Exercise Price): SO で株を購入できる価格
• 公正市場価値(Fair Market Value, FMV): 市場における株の公正な価格
• 税制適格 SO / 税制非適格 SO: 日本の税制上の区分

本記事では税制非適格 SO を前提とします。税制適格 SO となる要件については、経済産業省のサイトを参照してください。外資系スタートアップの SO は、日本の税制が考慮されておらず、税制非適格 SO となることが多いようです。実際に私の場合も、上記サイト中の要件のうちいくつかが満たされていませんでした。また本記事では, SO は無償で提供されることを前提とします。

通常、以下の2ステップで利益を得ることを目指します：

1. ストックオプションを行使して株を買う
2. 株を売却する

ストックオプションに関する税金

ここまでの説明で、行使価格よりも売却時の価格が高ければプラスになると考えるかもしれませんが、実際には税金の存在により状況は単純ではありません。日本の税制では、税制非適格 SO の場合、以下のように課税されます

• 権利行使時: （行使時 FMV − 行使価格）× 株数 が給与所得として課税される
• 売却時: （売却時株価 − 行使時 FMV）× 株数 が譲渡所得として課税される

以下の図で3つのシナリオを示します。

— -

(1) 株価が順調に上昇するケース

図1のグラフは、権利行使から売却まで株価が順調に上昇したケースを示しています。権利行使時には「行使時 FMV − 行使価格」の差額が給与所得として課税され、売却時には「売却価格 − 行使時 FMV」の差額が譲渡所得として課税されます。この場合、順調にリターンを得られていると言えます。ただし権利行使から売却までの期間は、給与所得に対する課税分の税金を、利益が確定する前に先行して支払う必要があります。

— -

(2) 行使後に株価が下落するケース

図2のグラフは、権利行使後に株価が下落したものの、売却時の株価が行使価格を上回っているケースを示しています。権利行使時には図1と同様に給与所得として課税されます。売却時には行使時 FMV より低い価格で売却するため譲渡損失が発生します。同じ年の他の株の譲渡益との相殺はできるものの、既に支払った「給与所得」の税金は戻ってきません。権利行使から売却までの値下がり幅が大きい場合、税金を含めたトータルリターンがマイナスになる可能性があります。

— -

(3) 行使後に株価が行使価格を下回るケース

図3のグラフは、権利行使後に株価が行使価格を下回るまで下落したケースを示しています。売却価格が行使価格を下回るため、投資として完全なマイナスとなります。さらに権利行使時点では含み益があったものとして給与所得に課税されているため、実際の損失に加えて給与所得分の税金も支払う必要があります。株式を売却しても権利行使時のコストを回収できない上に、給与所得に対する課税分の税金を支払わなければならない、最も厳しいケースです。

ストックオプションの行使

私の場合の SO 行使の流れを以下に示します。

(1) Carta 上での exercise

会社が Cartaを利用していたため、Carta のプラットフォーム上から権利行使の操作を行いました。

(2) 振込先銀行口座の把握

権利行使に伴う代金の振込先として、指定の銀行口座が案内されました。

(3) ドルでの海外送金

海外への外貨送金のため、ソニー銀行の外貨送金サービスを利用しました。

行使後の確定申告

申告金額の計算方法

申告するのは「行使によって得た利益」です。計算式は以下の通りです：

（行使時 FMV − 行使価格）× 株数 × 行使日の TTM レート = 申告する給与所得（円）

• 行使時FMV: 行使日時点の FMV です。私の場合は Carta 上で確認できました
• 為替レート: 外貨建ての場合、行使日の TTM で日本円に換算します。三菱UFJリサーチ&コンサルティングのサイトで、1990年以降の指定日の TTM を検索できます

確定申告書への入力方法（国税庁の確定申告書等作成コーナーを利用する場合）

国税庁の確定申告書等作成コーナーにおいて、外貨建てストックオプションの収入の入力手順が以下のように示されています。

外貨建てストックオプションの収入は、年末調整未済の源泉徴収票という形で入力します。Aの支払金額（円）の欄に「（行使時FMV − 行使価格）× 株数 × 行使日のTTMレート」の計算結果を入力します。

支払者情報の入力

ここで入力する支払者は「ストックオプションを発行した会社」の情報を記入します。勤務先の日本法人ではない可能性があります。私の場合, Carta で確認したところ米国の本社から発行されていたため、本社の会社名と住所を入力しました（米国の住所をアルファベットで入力しました）

まとめ

• 税制非適格SOの行使により、（行使時FMV − 行使価格）× 株数 が 給与所得 として課税されます。株を売却していない段階でも申告・納税が必要です
• 売却時には （売却時株価 − 行使時FMV）× 株数 が 譲渡所得 として課税されます
• 行使後に株価が下落した場合、税金を含めたトータルリターンがマイナスになるリスクがあります。既に支払った給与所得の税金は、その後の株価下落があっても原則として還付されません
• 私の場合、SO の行使は Carta 上で実施し、行使代金の振込にはソニー銀行の外貨送金サービスを利用しました
• 確定申告では, （行使時FMV − 行使価格）× 株数 × 行使日のTTMレート を給与所得として、「年末調整未済」の形式で入力します。支払者は SO を発行した会社（勤務先の日本法人ではない可能性あり）を記入します

Background

Dify is an LLM application development platform that allows you to build and operate LLM applications using a GUI. You can get started for free by using Dify’s cloud service sandbox. However, the free version has the following limitations and inconveniences:

• The number of the user is limited to one person, and it cannot be used by a team.
• Only up to five apps can be created.
• API Key of LLM provider, e.g. OpenAI, has to be prepared.

If you have an AWS account, installing Dify Self-Hosted Service Community Edition on Amazon EC2 provides the following benefits:

• Can be used by multiple people
• More than 5 apps can be create
• By accessing Amazon Bedrock with IAM Role, LLMs like GPT and Claude can be used without preparing API Keys.

This article describes how to install the self-hosted version of Dify on Amazon EC2 by following the official instructions below.
https://docs.dify.ai/ja/self-host/quick-start/docker-compose

Launching EC2

First, launch an EC2 instance with the following specifications:

• AMI: ami-0532be01f26a3de55 (the latest Amazon Linux 2023 at the time I ran this procedure)
• Instance type: c8i.xlarge
• EBS: 32 GiB
• Security Group: Allow SSH (TCP 22) from My IP

Connecting to EC2 and setting up the environment

Connect to your EC2 instance via SSH.

• In local:

ssh -i <keypair> ec2-user@<address>

After connecting, install Git and Docker, and start Docker.

• On EC2:

sudo dnf update -y
sudo dnf install -y git docker
sudo systemctl start docker
sudo systemctl enable docker

Next, install Docker Compose as a plugin and configure it to run Docker commands as the current user.

• On EC2:

mkdir -p ~/.docker/cli-plugins/
curl -SL "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o ~/.docker/cli-plugins/docker-compose
chmod +x ~/.docker/cli-plugins/docker-compose
sudo usermod -aG docker $USER
newgrp docker

Installing and launching Dify

We will get the latest Dify repository from GitHub, prepare the environment configuration files, and then use Docker Compose to launch a group of containers in the background.

• On EC2:

git clone --branch "$(curl -s https://api.github.com/repos/langgenius/dify/releases/latest | jq -r .tag_name)" https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d

Configuring automatic startup

Register Dify as a systemd service so that it will start automatically when the EC2 instance is rebooted.

• On EC2:

# Create a configuration file to manage Dify as a service using systemd.
# In this file, define the Dify container to run after the Docker service has started.
sudo tee /etc/systemd/system/dify.service << 'EOF'
[Unit]
Description=Dify Docker Compose Application
Requires=docker.service
After=docker.service
[Service]
Type=oneshot
RemainAfterExit=yes
WorkingDirectory=/home/ec2-user/dify/docker
ExecStart=/usr/bin/docker compose up -d
ExecStop=/usr/bin/docker compose down
TimeoutStartSec=0
User=ec2-user
Group=ec2-user
[Install]
WantedBy=multi-user.target
EOF

# Reflect the created service settings to the system and enable Dify so that it starts automatically when the OS starts.
sudo systemctl daemon-reload
sudo systemctl enable dify.service

Access from a browser

Disconnect the SSH connection, set up port forwarding, and reconnect. This will allow you to securely access Dify (port 80) on the EC2 instance via port 8080 on your local machine.

• In local:

ssh -i <keypair> -L 8080:localhost:80 ec2-user@<address>

After connecting, access the following URL in your local browser. If the initial setup screen appears, the installation was successful.
http://localhost:8080/install

(1) コマンドでの設定

以下のコマンドを、デスクトップサーバーとして構築した EC2 において実行します

sudo timedatectl set-timezone Asia/Tokyo
sudo localectl set-locale LANG=ja_JP.UTF-8
localectl list-keymaps | grep jp
sudo localectl set-keymap jp-OADG109A
sudo yum install -y google-noto-sans-japanese-fonts
sudo dnf install -y ibus-anthy

その後, EC2 を Stop/Start します

(2) デスクトップ上での設定

デスクトップに接続（接続方法は前の記事参照）すると、以下のような選択肢が表示されます。ここでは「古い名前のままにする」を選択して先に進みます

画面左上のアイコン > 白い9つの点のアイコン(Show Apps) > 設定 > キーボード の順に進み, Add Input Source をクリックします

以下の一覧から「日本語」を選択します

以下の一覧から「日本語(Anthy)」を選択します

キーボード設定の画面に自動的に戻ります。ここから、手元の Mac の ABC キーで日本語と英語を切り替えられるようにします。まず、キーボード設定の画面の最下部、キーボードショートカット欄の View and Customize Shortcuts をクリックします

以下の一覧から「タイピング」を選択します

「次の入力ソースへ切り替える」をクリックします

日本語と英語の切り替え時に使用したいキーを押します。ここでは ABC キーを押します. Romaji キーとして認識されました

以上を完了すると

• デスクトップ上の各種表示が日本語である
• 日本語が入力可能である
• OS のタイムゾーンが日本時間である

という環境の Linux デスクトップを使用することができます

参考: Amazon Linux 2023のデスクトップにリモートアクセス — Qiita

はじめに

私は普通自動車運転免許を取得してから約20年間、ほぼ車を運転したことがなく、いわゆるペーパードライバーの状態であった。しかし、数ヶ月前に転職をし、お客様訪問に際して車を運転できた方が望ましい状況となった。そこで、安定した車の運転をできるようにするため、以下を実施した（または実施している）

(1) 仕事での運転（1回目）

長野市郊外の比較的交通量が少ない道路で、4~5kmほど運転する機会があった。事故なく運転できたものの、講習を受けて運転を再習得する必要性を感じた

(2) ペーパードライバー講習（1回目）

ペーパードライバー講習東京 上野校 で、2時間のペーパードライバー講習を受けた。助手席のブレーキ付きの通常の乗用車（外観では講習中の車ということは特にはわからない）で、インストラクターの方が集合場所である上野駅に迎えに来てくれた。エンジンのかけ方、ギアチェンジやサイドブレーキの操作方法、サイドミラーやバックミラーの調整の目安などの基本的な説明を受けた。運転を始める前に「初心者マークをつけますか」と聞かれたのでつけてもらうことにした。前半の約1時間で一般道を運転した。上野公園付近の区画や上野駅公園口のロータリーなどを周回したのち、浅草周辺を運転した。後半の約1時間で、駐車場にバックで駐車する練習をした

(3) ペーパードライバー講習（2回目）

高速道路での運転に不安があったため、同2時間のペーパードライバー講習で首都高での講習を受けた。ルートは正確には覚えていないが、上野近辺で首都高に入り、お台場、新木場、駒形パーキングエリアなどを通り宝町で首都高を出たような気がする。駒形パーキングエリアではバックで駐車する練習をした。1回目と同様、初心者マークをつけて講習を受けた

(4) 仕事での運転（2回目）

大阪府南部から新大阪駅まで、約50kmの運転をした。ルートには阪和自動車道と阪神高速が含まれる

(5) カーシェアによる日常的な運転

ペーパードライバーに戻ることを防ぐことを目的として、タイムズカーを個人で契約して日常的に車を運転することとした。現在のところ、週1~2回、片道2~4km程度のルートを往復している

その他

バックでの駐車については、以下の記事および動画を参考にしている

車庫入れのコツ（クルマの運転 苦手克服） | クルマ情報サイトｰGAZOO.com

On July 14, 2025, AWS launched its new AI IDE, Kiro. To leverage Kiro, I opted to install it on an Amazon EC2 Desktop instance for a few key reasons:

• Flexibility for experimentation: The ability to create Amazon Machine Images (AMIs), terminate instances, and launch new ones from AMIs is invaluable for iterative testing and troubleshooting.
• Persistent operation: Kiro can continue running on the EC2 instance even after I close my MacBook, ensuring uninterrupted work.

This article details the process of configuring Amazon Linux 2023 as a desktop server, establishing a VNC connection from a Mac, and subsequently installing Kiro on the desktop server.

NOTE: I’ve since discovered that the Kiro download page has transitioned to a “Join Waitlist” form. It appears immediate access to the installer is no longer available.

Launching EC2

To begin, launch an EC2 instance with the following specifications:

• AMI ID: ami-0150ccaf51ab55a51
• Instance Type: t3.medium
• Security Group: Allow TCP 22 inbound from My IP

Installing Linux GUI and VNC

First, connect to your EC2 instance via SSH:

• In local:

ssh -i <keypair> ec2-user@<address>

Once connected, install the Linux GUI and TigerVNC server using these commands:

• On EC2:

sudo dnf groupinstall "Desktop" -y
sudo dnf install -y tigervnc-server

Next, set up your VNC password:

• On EC2:

vncpasswd

When prompted “Would you like to enter a view-only password (y/n)?”, I responded with n, as a view-only password was not necessary for my use case.

Open the vncserver.users file to configure the VNC user:

• On EC2:

sudo vi /etc/tigervnc/vncserver.users

Add the following configuration

:1=ec2-user

Now, open the vncserver-config-defaults file to define VNC server settings:

• On EC2:

sudo vi /etc/tigervnc/vncserver-config-defaults

Add these configurations:

session=gnome
securitytypes=vncauth,tlsvnc
geometry=1920x1080
localhost
alwaysshared

Start the VNC server and then disconnect your SSH session:

• On EC2:

sudo systemctl start vncserver@:1
exit

To connect from your Mac, configure SSH port forwarding on your local machine:

• In Local:

ssh -i <keypair> -L 5901:localhost:5901 -N ec2-user@<address>

From your MacBook, open your VNC client by navigating to Finder > Go > Connect to Server. Enter vnc://localhost:5901 as the destination and input the VNC password you configured earlier.

The Linux Desktop should now appear.

Installation of Google Chrome and Kiro

Once on the Linux desktop, open a Terminal and execute the following commands:

• On EC2:

sudo systemctl enable vncserver@:1
gsettings set org.gnome.desktop.session idle-delay 0

Now, install and launch Google Chrome:

• On EC2:

wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
sudo dnf install ./google-chrome-stable_current_x86_64.rpm
google-chrome

Follow the on-screen prompts within the Google Chrome GUI to set it as your default web browser.

Finally, obtain and install Kiro:

• Download the Kiro installer for Linux from https://kiro.dev/downloads/ (as noted, you currently need to join the waitlist).
• Double-click the downloaded .tar.gz file to decompress it.
• Double-click the Kiro executable file within the decompressed folder to launch the application.

References

• https://docs.aws.amazon.com/linux/al2023/ug/installing-gnome-al2023.html
• https://docs.aws.amazon.com/ja_jp/linux/al2023/ug/vnc-configuration-al2023.html
• https://dev.classmethod.jp/articles/headless-chrome-on-al2023/

この記事では、マネーフォワード ME のデータを Amazon QuickSight で可視化した取組を紹介します。データの処理・保存のために Amazon S3 と AWS Lambda も使用しました. Amazon QuickSight による可視化により、より良い決済方法をデータに基づき選定したり、家計を多角的にモニタリング・分析したりすることができるようになりました

背景

私は家計の管理にマネーフォワード ME を使用しています。金融機関や各種決済方法（クレジットカード、コード決済など）のデータを自動的に集約できる便利なサービスです。ただし、特定の目的のために家計情報を把握・分析しようとすると、標準で備わっている機能では足りないことがありました

例えば「自分のライフスタイルにおいて、どの決済方法を使えばポイント還元率が高くなるか」を検討したいとします。数年前までは、コード決済各社などがポイント還元率の高さを競っていたため、幅広い買い物で高いポイント還元率（3%程度）を得ることは難しくありませんでした。しかし現在は「一定金額以上の決済をした場合に限り還元率が高くなる」「特定の店舗での決済のみ還元率が高くなる」など、高還元率の提供に際して条件がつくことが多くなっています。したがって、自分のライフスタイルに合った決済方法を選ぶには、年間や月間の決済金額を把握したり、支払い金額の大きい支出先がどこなのかを把握することが重要となります。マネーフォワード ME が機能として提供するグラフでは、支出額グラフの内訳として表示できるのが項目別（食費、交通費など）に限られており、支出先別（セブンイレブン、JR東日本など）で表示することができません。また年間や月間の支出金額について、単一の決済方法に対しては簡単に把握できるものの、複数の決済方法を合算して表示させる機能は提供されていません

目的

本取組は、最適な決済方法の選定に向けて有益な知見を得ることを目的として、データを可視化する環境を構築しました. Amazon QuickSight を情報の可視化のために使用しました。可視化に際してデータの前処理をしたかったため, AWS Lambda を使用しました. Amazon QuickSight のデータソースとしては、マネーフォワード ME の出力データ（CSVファイル）を読み込ませたいことから, Amazon S3 を選択しました

構成図とデータ更新手順

マネーフォワード ME のデータを Amazon QuickSight で可視化するためのシステム構成図と、月に1回行うデータ更新の手順を以下に示します

(1) マネーフォワード ME から CSV をダウンロードします

(2) CSV のファイル名を命名規則に合わせて変更します

(3) CSV を Amazon S3 にアップロードします

(4) 自動的に Lambda Function が起動され、編集後の CSV ファイルが保存されます
この Lambda Function では、可視化に先立ってデータの前処理をしています。例えば、同一の支出先が決済方法によって異なる名称で保存されていることがあるので、この表記統一などをしています

(5) QuickSight の Dataset を手動で更新します

グラフ例

家計情報を公開するのは気が引けるため、ここでは、今回決済方法の変更を検討した対象について、支出先別金額割合を示します。

無難そうなところだけ表示すると、ヨドバシカメラ（店舗・通販の合計）、セブンイレブン, Amazon などでの支出金額が大きいことがわかりました。このような表示方法は、マネーフォワード ME の機能としては提供されておらず、外部ツール（本取組においては Amazon QuickSight）の活用により可能となりました

まとめなど

Amazon QuickSight でマネーフォワード ME のデータを可視化することで、決済方法選定に際しての有益な情報を得ることができました。加えて、豊富なグラフ形式やフィルタリング条件で可視化することにより、多角的に家計をモニタリングできるようになりました

現構成の問題点としては、データ更新時に手動でマネーフォワード ME から CSV ファイルをダウンロードしなければならないという点が挙げられます。マネーフォワード ME は個人向けに API を公開していないため、現時点ではこの作業は手動にせざるを得ないと判断しました。理想的には、データ更新を API などを活用して自動化し、手間を削減してデータの更新頻度を上げたいところです

背景

最適化アルゴリズムと、流体解析・構造解析を組み合わせて設計の最適化を自動化する試みがある。複数条件での解析を実行し、その結果を踏まえて最適化アルゴリズムで次の解析条件を決め、再度複数条件の解析を実行するというものである。この種の自動最適化は、いくつかの要因により、より低コストで試すことができるようになってきている。例えば、最適化アルゴリズムのライブラリの発達、クラウドコンピューティングの普及によるハードウェア初期コストの低下、商用解析ソフトウェアの従量課金体型やオープンソースソフトウェアの充実などがその要因として挙げられる

この記事では、最適化アルゴリズムと数値流体解析(Computational Fluid Dynamics, CFD)を組み合わせたワークフローを、クラウド上の計算資源を使って動かす実例を示す。コードと実行結果は, Jupyter Notebook damBreak_with_rescale_persistent_cluster.ipynb として公開している。この Notebook は、オープンCAEシンポジウム2019トレーニングで教材として使用された Jupyter Notebook, OpenFOAMandBaysianOpt_Notebooks をベースとしている。CFDソフトと最適化ライブラリは、元の教材を踏襲してOpenFOAMとGPtOptをそれぞれ使用している

OpenFOAMの実行環境としてRescaleを使用し、最適化アルゴリズムを実行するJupyter Notebookとは環境を分けている。これは以下2点の拡張性を持たせることを目的としている

1点目は、CFDのマルチノードでの実行である。規模の大きなモデルのCFDを実行する際に、現実的な範囲内の時間で計算を終わらせるためにマルチノードのクラスタが必要になることがある。そのようなモデルと最適化アルゴリズムを組み合わせたい場合、Jupyter NotebookとOpenFOAMが同居していると、クラスタ環境にJupyter Notebookをインストールすることになる。CFD環境を分離しておけば、Jupyter Notebookは例えば手元のPCやGoogle Colabなどの軽めの環境で動かし、CFDはRescaleのマルチノードクラスタで実行するといった構成が可能になる

2点目は、OpenFOAM以外のCFDやCAEソフトウェアの使用である。例えば商用のCFDソフトウェアと最適化アルゴリズムを組み合わせたい場合、同居環境を構築するには、Jupyter Notebookと商用CFDが両方正常に動作するようにインストールする必要がある。CFD環境がRescaleへ分離されていれば、インストール済みの商用CFDをそのまま使用できる。またワークフローに応じてソフトウェアやバージョンを使い分けることが容易になる

ただし分離された構成では、両環境間の通信やRescaleでのクラスタ起動に時間を要する。したがってCFDのモデルが小規模な場合は、同居環境の方が最適化ワークフローを短時間で完了できると考えられる。実際、今回題材としているdamBreakの最適化は、元の教材の同居環境の方が短時間で完了できる

全体の流れ

全体の大まかな流れと構成図を以下に示す

ユーザは、GitHub上で公開されたノートブックファイルを、 Jupyter Notebook環境で編集・実行することができる

ノートブックファイル内のコードは、各種初期設定をした後、Rescale上に持続的クラスタ(Persistent Cluster)を起動する。通常Rescaleでは、各ジョブごとに新規でクラスタを起動し、ジョブが完了すると自動的にクラスタを削除する。一方持続的クラスタを使用すると、ジョブ完了後もクラスタが残り、別のジョブを投入して実行することができる。最適化のようにジョブを連続して実行する場合は、持続的クラスタを使用することで、クラスタの起動と削除にかかる時間を節約することができる

持続的クラスタの起動後、ベイズ最適化のアルゴリズムがJupyter Notebook上で動き、CFDの実行パラメータ（この例の場合はdamBreakのダムの縦横サイズ）を決定する。Jupyter NotebookからRescaleのAPIを実行して、決定したパラメータをジョブに引き渡して実行する。ジョブ完了後に、ジョブの出力の中から目的変数（この例の場合は水滴の最高到達点）が取得され、次のジョブのパラメータを決定する際に使用される。RescaleにジョブをAPIで投入する際は、複数のAPIリクエストを送る必要があるため、Notebook内ではまず各リクエストを1つずつ実行して、1回ジョブを投入するようになっている。その後それらの処理を1つの関数としてまとめ、ベイズ最適化の目的関数として使用する

最後に、持続的クラスタをAPIで削除する

必要なもの

(1) Rescale の API キー

Rescaleにまだサインアップしていない場合は、こちらからサインアップする。ログイン後、こちらの手順にしたがってAPIキーを作成する。APIキーを作成できない場合は、販売代理店またはRescaleサポートに依頼する

(2) Jupyter Notebook 実行環境

手軽な方法としては、Googleアカウントにログインした状態でこちらのNotebook上部の Open in Colab ボタンをクリックすると、Google Colaboratoryで実行できる

実行手順

ここからは、各コードブロックの内容を説明する形で、実行手順を記載する

rescale_api_key = “XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX”

# Allowed values for platform are “platform.rescale.com”, “platform.rescale.jp” and “kr.rescale.com”

platform = “platform.rescale.jp”

このNotebookを実行するにあたってユーザが設定する変数は、上記のコードブロックの通りrescale_api_keyとplatformの2つである。rescale_api_keyは、「必要なもの」の項で示した方法で取得する。platformは、Rescaleにログインしている際のURLで確認する

token_in_header = "Token " + rescale_api_key

if platform == "platform.rescale.com":
  template_jobid = "XPEsQc"
  print("Template Job ID: " + template_jobid)
elif platform == "platform.rescale.jp":
  template_jobid = "GHVjd"
  print("Template Job ID: " + template_jobid)
elif platform == "kr.rescale.com":
  template_jobid = "TRJOc"
  print("Template Job ID: " + template_jobid)
else:
  print("Allowed values for platform are platform.rescale.com, platform.rescale.jp and kr.rescale.com")

ここでは主に、platformの入力値に応じて適切なジョブIDをtemplate_jobidに代入する。この最適化フローでテンプレートとして使用するジョブを、各プラットフォームで下表のように公開している。Rescaleにログインした状態で表中のリンクをクリックすると、テンプレートジョブの設定を見ることができる

cluster_configuration = {
  "name": "OpenFOAM 6 Persistent Cluster",
  "hardware": {
    "coresPerSlot": 1,
    "slots": 1,
    "coreType": "emerald",
    "walltime": 5
  },
  "installedAnalyses": [
    {
      "analysis": {
        "code": "openfoam",
        "version": "6-intelmpi"
      }
    }
  ],
  "runLowPriority": True
}

起動する持続的クラスタの設定をcluster_configurationに代入する。今回はコアタイプEmerald, コア数は1に設定する。またこの例ではWalltimeを5時間に設定し、持続的クラスタを削除し忘れた場合でも5時間で自動削除されるようにしている。ただしWalltimeに到達すると、最適化ワークフローの実行途中であってもクラスタが自動削除される

import json
import requests
import time

# Create Cluster
raw_reply = requests.post(
  "https://" + platform + "/api/v2/clusters/", 
  headers={"Authorization": token_in_header}, 
  json=cluster_configuration
)
created_cluster = json.loads(raw_reply.text)
print("Cluster ID: " + created_cluster["id"])

# Start Cluster
requests.post(
  "https://" + platform + "/api/v2/clusters/" + created_cluster["id"] + "/start/",
  headers={"Authorization": token_in_header}
)

time.sleep(10)

# Get the Cluster's Status
raw_reply = requests.get(
  "https://" + platform + "/api/v2/clusters/" + created_cluster["id"] + "/statuses/",
  headers={"Authorization": token_in_header}
)
cluster_statuses = json.loads(raw_reply.text)
print("Cluster ID: " + created_cluster["id"] + ", Status date: " + cluster_statuses["results"][0]["statusDate"] + ", Status: " + cluster_statuses["results"][0]["status"])

持続的クラスタを起動するには、クラスタのCreateとStartの計2回のAPIリクエストが必要である。Sleepで間を置いた後にクラスタのステータスを取得することで、クラスタの起動が始まったことを確認している

def get_a_specific_job(jobid):
  raw_reply = requests.get(
    "https://" + platform + "/api/v2/jobs/" + jobid + "/", 
    headers={"Authorization": token_in_header},
  )
  job_configuration = json.loads(raw_reply.text)
  return job_configuration

template_job_configuration = get_a_specific_job(template_jobid)
print(template_job_configuration)

テンプレートジョブの設定を取得し、template_job_configurationに代入する

import numpy as np

def set_width_height(input_job_configuration, cluster_configuration, width, height):
  output_job_configuration = input_job_configuration.copy()
  output_job_configuration["name"] = "OpenFOAM 6 damBreak, width = {width}, height = {height}".format(
    width=str(width),
    height=str(height)
  )
  output_job_configuration["jobanalyses"][0]["command"] = "sed -ie s/val_width/{width}/ blockMeshDict.template\nsed -ie s/val_height/{height}/ blockMeshDict.template\n\ncp blockMeshDict.template damBreak/system/blockMeshDict\n\ncd damBreak\n./Allrun\n\ncd ..\npython postprocess.py".format(
    width=str(width),
    height=str(height)
  )
  output_job_configuration["jobanalyses"][0]["hardware"] = cluster_configuration["hardware"].copy()
  output_job_configuration["isLowPriority"] = cluster_configuration["runLowPriority"]
  return output_job_configuration

# width  = 1.8
# height = 0.3333
x = np.array([[1.8,0.3333]])
width  = x[:,0][0]
height = x[:,1][0]
submit_job_configuration = set_width_height(template_job_configuration, cluster_configuration, width, height)
print(submit_job_configuration)

テンプレートジョブでは, sedコマンドでOpenFOAMの設定ファイル(blockMeshDict)の一部文字列を置換することで、CFDのパラメータを設定している。上記コードブロックでは、例として、ダムの高さ 1.8, 幅 0.333 をパラメータとして引き渡している。ジョブの設定はsubmit_job_configurationに代入される

def create_a_job(job_configuration):
  raw_reply = requests.post(
    "https://" + platform + "/api/v2/jobs/",
    headers={"Authorization": token_in_header},
    json=job_configuration
  )
  created_job = json.loads(raw_reply.text)
  return created_job

created_job = create_a_job(submit_job_configuration)
print("Job ID: " + created_job["id"])

ジョブ設定submit_job_configurationに基づき、Rescaleにジョブを作成する。上記コードブロックを実行した段階で、Rescaleにログインしてジョブ一覧を確認すると、新しくジョブが作成されたことがわかる。ただしこの段階ではまだジョブは投入されていない

def submit_a_saved_job(jobid, clusterid):
  submit_configuration = {}
  submit_configuration["id"]     = jobid
  submit_configuration["submit"] = True
  raw_reply = requests.post(
    "https://" + platform + "/api/v2/clusters/" + clusterid + "/jobs/",
    headers={"Authorization": token_in_header},
    json=submit_configuration
  )
  submitted_job = json.loads(raw_reply.text)
  return submitted_job

submitted_job = submit_a_saved_job(created_job["id"], created_cluster["id"])
print("Job " + submitted_job["id"] + " is submitted to the cluster " + created_cluster["id"])

作成したジョブを投入する。上記コードブロックを実行後にジョブを確認すると、ジョブが実行されていることを確認できる

def status_polling(jobid):
  sleep_secs = 5
  while True:
    raw_reply = requests.get(
      "https://" + platform + "/api/v2/jobs/" + jobid + "/statuses/", 
      headers={"Authorization": token_in_header}
    )
    job_statuses = json.loads(raw_reply.text)
    if job_statuses["results"][0]["status"] == "Completed":
      break
    time.sleep(sleep_secs)

status_polling(submitted_job["id"])
print("Job " + submitted_job["id"] + " is Completed")

投入したジョブのステータスを5秒おきに確認する。関数status_pollingは、ジョブが完了したことを確認できたら終了する

def get_dembreak_result(jobid):
  can_break = False
  url = "https://" + platform + "/api/v2/jobs/" + jobid + "/files/"

while can_break == False:

raw_reply = requests.get(
      url, 
      headers={"Authorization": token_in_header}
    )
    output_files = json.loads(raw_reply.text)

for result in output_files["results"]:
      if result["name"] == "result.txt":
        file_id = result["id"]
        can_break = True
        break

url = output_files["next"]

raw_reply = requests.get(
    "https://" + platform + "/api/v2/files/" + file_id + "/lines/", 
    headers={"Authorization": token_in_header}
  )
  file_lines = json.loads(raw_reply.text)
  return float(file_lines["lines"][0])

dembreak_result = get_dembreak_result(submitted_job["id"])
print(dembreak_result)

dembreak_result_numpy = np.array([dembreak_result])
print(dembreak_result_numpy)

今回実行したジョブでは、最適化の目的変数である水滴の最高到達点の座標を, result.txt というファイルに出力するようにしている。上記のコードブロックでは、まず result.txt のファイルIDを取得し、その後ファイルの中身を取得している。今回の、高さ 1.8 幅 0.333 の条件では, 0.418563 が解として返る

def rescale_damBreak(x):
  width  = x[:,0][0]
  height = x[:,1][0]

submit_job_configuration = set_width_height(template_job_configuration, cluster_configuration, width, height)
  created_job = create_a_job(submit_job_configuration)
  submitted_job = submit_a_saved_job(created_job["id"], created_cluster["id"])
  status_polling(submitted_job["id"])
  dembreak_result = get_dembreak_result(submitted_job["id"])
  dembreak_result_numpy = np.array([dembreak_result])

return dembreak_result_numpy

x = np.array([[1.8,0.3333]])
rescale_damBreak(x)

最適化を実行する時には、目的関数がPythonの1つの関数として定義されている必要があるため、関数rescale_damBreakとしてこれまでの一連の流れをまとめる。再度1.8（高さ）と0.333（幅）を関数に入力すると, 0.418563 が出力として返ってくることを確認できる

%%bash
pip install GPy
pip install gpyopt
pip install pyDOE

最適化を実行するのに先立ち、必要なパッケージをpipでインストールする

bounds =[{'name': 'w', 'type': 'continuous', 'domain': (1.7, 2.1)},
         {'name': 'h', 'type': 'continuous', 'domain': (0.1, 0.8)}]

最適化における、パラメータの探索範囲を設定する。幅(w)は 1.7 から 2.1, 高さ(h)は 0.1 から 0.8 の範囲で探索する

import GPyOpt
from numpy.random import seed

seed(1)

myProblem = GPyOpt.methods.BayesianOptimization(rescale_damBreak,
  domain=bounds,
  initial_design_numdata=5,
  initial_design_type="latin",
  maximize=True,
  verbosity=True)

max_iter = 25
myProblem.run_optimization(max_iter)

最適化を実行する。初期計算(initial_design_numdata)として5条件、繰り返し(max_iter)で最大25条件のCFDが実行されるため、Rescale上で計30ジョブが実行される。このコードブロックの実行には、通常30分程度を要する

%matplotlib inline 
myProblem.plot_convergence()

最終的な解に収束するまでの過程を、グラフで表示する

print(myProblem.x_opt, myProblem.fx_opt)

得られた解を表示する。今回得られた解におけるダムの幅、高さ、液滴の到達点が表示される

myProblem.plot_acquisition()

事後平均、事後標準偏差、および獲得関数を、パラメータ空間（このケースではダムの高さと幅）での分布として表示できる

# Shutdown the Cluster
requests.post(
  "https://" + platform + "/api/v2/clusters/" + created_cluster["id"] + "/shutdown/",
  headers={"Authorization": token_in_header}
)

time.sleep(10)

# Get the Cluster's Status
raw_reply = requests.get(
  "https://" + platform + "/api/v2/clusters/" + created_cluster["id"] + "/statuses/",
  headers={"Authorization": token_in_header}
)
cluster_statuses = json.loads(raw_reply.text)
print("Cluster ID: " + created_cluster["id"] + ", Status date: " + cluster_statuses["results"][0]["statusDate"] + ", Status: " + cluster_statuses["results"][0]["status"])

最後に、起動させていた持続的クラスタを終了させる

関連する過去の記事

Amazon SageMaker（というかJupyter Notebook）からRescaleを操作する — サーバーワークスエンジニアブログ

設計最適化とモデルベース開発に向けたPersistent ClusterのAPI操作 — Takahisa Shiratori — Medium

はじめに

Google Cloud ShellはGoogle Cloud Platform (GCP)の機能の一つで、ブラウザから簡単に使えるshell環境です。GCPの管理画面(Google Cloud Console)にログインし右上のボタンをクリックすると、ブラウザ下部にぽこっと立ち上がります。無料で使えるようです。DockerやGitなどもプリインストースされています

この記事では、OpenFOAM v7を、公式Dockerイメージを使ってCloud Shell上で動かしてみます。基本的にドキュメント(Download v7 | Linux)の手順に従い、OpenFOAMのチュートリアルの1つであるpitzDaily(YouTube, GitHub)を実行します

やってみる

Cloud Shellを立ち上げると、こんな感じのメッセージが表示され、コマンド入力待ちになります

Welcome to Cloud Shell! Type “help” to get started.
Your Cloud Platform project in this session is set to XXXXX-XXXXX-XXXXXX.
Use “gcloud config set project [PROJECT_ID]” to change to a different project.
takahisa_shiratori@cloudshell:~ (XXXXX-XXXXX-XXXXXX)$

DockerはCloud Shell環境にプリインストールされているので、ドキュメント中のStep 4: Installing openfoam7-linuxから始めれば良いです。まずはDockerコンテナを立ち上げるWrapper Scriptを以下のコマンドで取得します

takahisa_shiratori@cloudshell:~ (XXXXX-XXXXX-XXXXXX)$ sudo sh -c “wget http://dl.openfoam.org/docker/openfoam7-linux -O /usr/bin/openfoam7-linux”
 — 2019–08–23 13:14:58 — http://dl.openfoam.org/docker/openfoam7-linux
Resolving dl.openfoam.org (dl.openfoam.org)… 52.208.208.42
Connecting to dl.openfoam.org (dl.openfoam.org)|52.208.208.42|:80… connected.
HTTP request sent, awaiting response… 200 OK
Length: 4893 (4.8K)
Saving to: ‘/usr/bin/openfoam7-linux’

/usr/bin/openfoam7-linux 100%[===========================================================================================>] 4.78K — .-KB/s in 0s

2019–08–23 13:14:58 (545 MB/s) — ‘/usr/bin/openfoam7-linux’ saved [4893/4893]

takahisa_shiratori@cloudshell:~ (XXXXX-XXXXX-XXXXXX)$ sudo chmod 755 /usr/bin/openfoam7-linux
takahisa_shiratori@cloudshell:~ (XXXXX-XXXXX-XXXXXX)$

OpenFOAM公式Dockerコンテナでは、コンテナ内での解析の出力ファイルをホスト側（今回の例ではCloud Shell環境）に保存します。それらのファイルが保存されるディレクトリを作成してcdします

takahisa_shiratori@cloudshell:~ (XXXXX-XXXXX-XXXXXX)$ mkdir -p $HOME/OpenFOAM/${USER}-7
takahisa_shiratori@cloudshell:~ (XXXXX-XXXXX-XXXXXX)$ cd $HOME/OpenFOAM/${USER}-7
takahisa_shiratori@cloudshell:~/OpenFOAM/takahisa_shiratori-7 (XXXXX-XXXXX-XXXXXX)$

openfoam7-linuxコマンドで、Wrapper Scriptが実行されます。Dockerイメージがダウンロードされ、コンテナ内のshellにログインした状態になります

takahisa_shiratori@cloudshell:~/OpenFOAM/takahisa_shiratori-7 (XXXXX-XXXXX-XXXXXX)$ openfoam7-linux
Launching /usr/bin/openfoam7-linux
User: “takahisa_shiratori” (ID 1000, group ID 1000)
Unable to find image ‘openfoam/openfoam7-paraview56:latest’ locally
latest: Pulling from openfoam/openfoam7-paraview56
32802c0cfa4d: Pull complete
da1315cffa03: Pull complete
fa83472a3562: Pull complete
f85999a86bef: Pull complete
7a79eea169fb: Pull complete
df31dfdb41f5: Pull complete
36d2fc2d0429: Pull complete
c2a8fd74724a: Pull complete
130d3370750a: Pull complete
68d2d0e4e269: Pull complete
89a879d07858: Pull complete
65f91bb3b40a: Pull complete
949b9028c2e9: Pull complete
af7f092ba88c: Pull complete
54dcc184127f: Pull complete
883f18e49a8a: Pull complete
7c4f480985b9: Pull complete
Digest: sha256:f5183a5c4625f3302b5950d132d42eb0ac62500cc83b094bca4f887343219945
Status: Downloaded newer image for openfoam/openfoam7-paraview56:latest
Welcome to the OpenFOAM v7 Docker Image

Provides bash terminal with OpenFOAM 7 and ParaView 5.6.0

Produced and maintained by CFD Direct (https://cfd.direct), on behalf of the
OpenFOAM Foundation (https://openfoam.org), the owner and distributor of
OpenFOAM as free, open source software under the General Public Licence v3.

Further Resources:
* OpenFOAM User Guide: https://cfd.direct/openfoam/user-guide
* C++ Source Guide: https://cpp.openfoam.org
* OpenFOAM Training: https://cfd.direct/openfoam-training
* Running in the Cloud: https://cfd.direct/cloud
* Issue (Bug) Reporting: https://bugs.openfoam.org
* Subscribe to Newsletter: https://cfd.direct/news
* Contributors to OpenFOAM: https://openfoam.org/dev/contributors

f7eb7dad7e17: ~>>

OpenFOAMの解析を実行するディレクトリを作成し、Tutorialに必要なファイルをその配下にcpしてきます

f7eb7dad7e17: ~>> mkdir -p $FOAM_RUN
f7eb7dad7e17: ~>> cd $FOAM_RUN 
f7eb7dad7e17: run>> cp -r $FOAM_TUTORIALS/incompressible/simpleFoam/pitzDaily .
f7eb7dad7e17: run>> cd pitzDaily
f7eb7dad7e17: pitzDaily>>

あとはOpenFOAMのコマンドであるblockMesh, simpleFoamを実行すると解析が開始されます

50aad391a91a: pitzDaily>> blockMesh
/* — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — -*\
 ========= |
 \\ / F ield | OpenFOAM: The Open Source CFD Toolbox
 \\ / O peration | Website: https://openfoam.org
 \\ / A nd | Version: 7
 \\/ M anipulation |
\* — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — -*/
Build : 7–109ba3c8d53a
Exec : blockMesh
Date : Aug 23 2019
Time : 05:31:27
Host : “50aad391a91a”
PID : 196
I/O : uncollated
Case : /home/openfoam/run/pitzDaily
nProcs : 1
sigFpe : Enabling floating point exception trapping (FOAM_SIGFPE).
fileModificationChecking : Monitoring run-time modified files using timeStampMaster (fileModificationSkew 10)
allowSystemOperations : Allowing user-supplied system call operations

// * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * //
Create time
（以下略）

===

50aad391a91a: pitzDaily>> simpleFoam
/* — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — -*\
 ========= |
 \\ / F ield | OpenFOAM: The Open Source CFD Toolbox
 \\ / O peration | Website: https://openfoam.org
 \\ / A nd | Version: 7
 \\/ M anipulation |
\* — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — -*/
Build : 7–109ba3c8d53a
Exec : simpleFoam
Date : Aug 23 2019
Time : 05:31:42
Host : “50aad391a91a”
PID : 197
I/O : uncollated
Case : /home/openfoam/run/pitzDaily
nProcs : 1
sigFpe : Enabling floating point exception trapping (FOAM_SIGFPE).
fileModificationChecking : Monitoring run-time modified files using timeStampMaster (fileModificationSkew 10)
allowSystemOperations : Allowing user-supplied system call operations

// * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * //
Create time
（以下略）

さすがにparaFoamでの可視化はできませんでした

12a2b92403f6: pitzDaily>> paraFoam
Created temporary ‘pitzDaily.OpenFOAM’
QStandardPaths: XDG_RUNTIME_DIR not set, defaulting to ‘/tmp/runtime-openfoam’
qt.qpa.screen: QXcbConnection: Could not connect to display
Could not connect to any X display.
12a2b92403f6: pitzDaily>>

最終Itertationの計算結果は、現在の作業ディレクトリの288配下に保存されています

12a2b92403f6: pitzDaily>> ls
0 100 200 288 constant postProcessing system
12a2b92403f6: pitzDaily>> ls 288/
U epsilon k nut p phi uniform
12a2b92403f6: pitzDaily>> cat 288/U
/* — — — — — — — — — — — — — — — — *- C++ -* — — — — — — — — — — — — — — — — — *\
 ========= |
 \\ / F ield | OpenFOAM: The Open Source CFD Toolbox
 \\ / O peration | Website: https://openfoam.org
 \\ / A nd | Version: 7
 \\/ M anipulation |
\* — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — -*/
FoamFile
{
 version 2.0;
 format ascii;
 class volVectorField;
 location “288”;
 object U;
}
// * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * //

dimensions [0 1 -1 0 0 0 0];

internalField nonuniform List<vector>
12225
(
(9.85698 -0.886449 0)
(9.66665 -0.740747 0)
(9.45574 -0.429483 0)
(9.22457 -0.222216 0)
(9.00656 -0.106462 0)

（以下略）

exitでCloud Shell環境に戻ります

439060b9e712: pitzDaily>> exit
exit
takahisa_shiratori@cloudshell:~/OpenFOAM/takahisa_shiratori-7 (XXXXX-XXXXX-XXXXXX)$

計算結果をダウンロードしたい場合は、Google Cloud Consoleからダウンロードできます。OpenFOAM公式Dockerイメージでは、コンテナで計算した結果の出力もホスト側に保存されます。よって、必要なファイルの、Cloud Shell環境におけるフルパスを指定すればダウンロードできます

ちなみに、GCPにはスマートフォンアプリがあります。Cloud Shellも利用できるため、スマートフォンからOpenFOAMを動かす環境を簡単に作ることができました

本記事では、E5系とN700系の写真を機械学習で分類してみます（ゆくゆくはもっと多くの車種に対応できるようにしたいのですが、ひとまずやりやすそうなこの2車種にします）。クローラを使用してインターネット上から両車種の画像を集め、ABEJA Platformにて学習（たくさん画像を読み込ませてE5系とN700系を覚えさせる）と推論（車両の写真を渡してE5系かN700系かを判断させる）を行います

# 参考にした資料等

- ABEJA Platform Developers

- サンタクロースとサンタコスを見分けるDeep Learningモデルをサービス化してみた — ABEJA Arts Blog

画像の収集

icrawlerを使用して、インターネット上で公開されているE5系とN700系の画像を集めてきます。使用したコードをこちらに公開しておきます。これを実行することにより、image_shinkansen/E5系とimage_shinkansen/N700系のディレクトリに両車種の画像が保存されます。私が実行した時点では、253枚のE5系の画像と、381枚のN700系の画像を得ることができました

ただしここで得られた画像には

• H5系や700系の画像
• 複数の車種の新幹線が写っている画像
• 新幹線の内装の画像
• 鉄道模型や玩具などの画像
• 新幹線と全く関係のなさそうな画像

などが含まれています。得られた画像を全て目視で確認し、これらの画像は取り除きました。その結果、E5系の画像は92枚、N700系の画像は100枚となりました。なおN700系の画像には、G・F編成(N700A)とS・R編成（みずほ・さくら、8両編成）の画像も含めています

画像のアップロードとデータセットの登録

ABEJA Platform CLIを使用して、画像のアップロードとデータセットとしての登録を行います。ABEJA Platform Developersに載っている犬と猫の画像を分類するチュートリアルと同じ手順を使います

Channelの作成

$ abeja datalake create-channel — name “shinkansen” — description “this is image channel of E5 and N700”

返り値の中の”channel_id”は後で使うので控えておきます

画像のアップロード

E5系の画像をアップロードします

$ cd image_shinkansen/E5系/
$ abeja datalake upload — channel_id ${channel_id} — metadata label_id:1 — recursive .

N700系の画像をアップロードします

$ cd ../N700系/
$ abeja datalake upload — channel_id ${channel_id} — metadata label_id:2 — recursive .

データセットの登録

アップロードした画像をデータセットとして登録します。まずはデータセットの設定をJSON形式のファイルに記述します

$ cd ..
$ vim e5_n700_dataset.json
$ cat e5_n700_dataset.json
{
  "categories": [
    {
      "labels": [
        {
          "label_id": 1,
          "label": "E5"
        },
        {
          "label_id": 2,
          "label": "N700"
        },
        {
          "label_id": 3,
          "label": "others"
        }
      ],
      "category_id": 1,
      "name": "e5_n700"
    }
  ]
}

次にデータセットを作成します。返り値の中の”dataset_id”は後で使うので控えておきます

$ abeja dataset create-dataset — name e5_n700 — type classification — props e5_n700_dataset.json

最後に、DataLakeに保存してある画像をデータセットとして登録します

$ abeja dataset import-from-datalake — channel_id ${channel_id} — dataset_id ${dataset_id} — label-metadata-name label_id

データセットとして登録した画像は、ABEJA Platformにログインして一覧で確認することができます

（データセットの画像部分には、ぼかしを入れています）

学習・推論

ここから、ABEJA Platformにログインして学習と推論を行います。

Job Definition の作成

Job Definition（ジョブ定義）を作成します。ジョブ定義の一覧の画面で “+ Create Training Job Definition” をクリックします

Training Job Definitionの名前を入力する画面になるので、適当に名前を入力します。今回は “shinkansen_classifier” という名前にしました

次に、作成したJob Definitionに対して、 “Create Version” をクリックしてバージョンを作成します

Training Job Definitionのバージョン設定をする画面に遷移します

ここでは各入力値を以下のように設定します

Training Jobの作成と実行

Training Job（学習ジョブ）を作成して実行します。まずはJob Definittionsの一覧でJobsをクリックします

Training Jobの一覧が表示されるので”+ Create Training Job”をクリックします

Training Jobの設定をする画面に遷移します

ここでは各入力値を以下のように設定します

学習ジョブが開始され、以下のように現在のステータスを確認できるようになります

推論モデルのエンドポイントの作成

学習ジョブが終了したら、E5系とN700系を見分ける脳みそができたことになります。次に、推論モデルのエンドポイントを作成します。これは、できた脳みそにE5系やN700系の画像を渡し、「これはE5系だ」「これはN700系だ」と返すようにする受け口をつくることに相当します

推論モデルのエンドポイントを作成するには、まず、Modelsの一覧画面で”+ Create Models”をクリックします

新規作成するモデル（推論モデル）の設定画面が開きます

設定内容は以下のようにします

次に”+ Create Deployment”をクリックします

Deploymentの設定画面が開きます

設定内容は以下のようにします

最後にHTTP Serviceを作成します。”+ Create HTTP Service”をクリックします

HTTP Serviceの設定画面が開きます

設定内容は以下のようにします

推論させてみる

“Check”をクリックすると、推論のテストをすることができます

ここでは、筆者撮影の新幹線画像をアップロードして、推論させてみることにします

E5系

E5系である可能性(probability)がほぼ100%

N700系

N700系である可能性(probability)がほぼ100%

正しく分類できているようです

まとめ

ABEJA Platformを使用して、E5系とN700系の画像を分類するモデルを学習・デプロイすることができました。データセット・学習ジョブ・推論エンドポイントをそれぞれ紐づけることができ、バージョン管理もできるのでサクサク進みました。今後例えば「E6系E7系や700系800系も追加したい」となった時に、データセットや学習用サーバが散乱せずに済みそうです