ノートブック ランタイムの拡張

ArcGIS Notebook Server は 2 つのノートブック ランタイム (Python モジュールのコレクション) を備えています。 これらのランタイムは、コンテナー イメージを通じてノートブック ユーザーに提供され、サーバー サイトで実行される各コンテナーに適用されます。

Standard および Advanced のノートブック ランタイムには、どちらも ArcGIS API for Python および各種 Python モジュールが含まれており、データ サイエンス、空間解析、コンテンツ管理に使用できます。 Advanced ランタイムには ArcPy も含まれます。

使用可能な Python ライブラリのリストをご参照ください。

これら 2 つのランタイムに含まれていないモジュールや、特定のバージョンのモジュールが必要となる場合もあります。 ArcGIS Notebook Server では、次の方法でその他の Python モジュールにアクセスできます。

• ノートブック セッションで Python モジュールをインストールします。 これにより、そのノートブックでモジュールを使用できるようになります。
• Esri コンテナー イメージを拡張し、カスタム ランタイムに Python ライブラリを追加で含めます。 作成したコンテナー イメージにより、拡張したランタイムをサイト内のすべてのノートブック作成者が使用できるようになります。

セッション中のモジュールのインストール

ノートブック作成者は、Python パッケージ管理システムを使用することで、ノートブック セッション中に使用可能なランタイムのどちらにも含まれていない conda モジュールまたはモジュールのバージョンを作成できます。 conda ではモジュールの管理に ArcGIS Notebook Server が使用されるため、conda の使用をお勧めします。

この方法では、ノートブック セッションの間に目的のモジュールをインストールします。 ノートブックが閉じられるか、ユーザーに属するコンテナーが終了されると、そのモジュールは使用できなくなります。 この方法でモジュールをインストールするには、conda チャンネルへのインターネット接続が必要です。

注意:

conda は 2 つのノートブック ランタイムに含まれています。 そのため、インストールする必要はありません。

たとえば、セッション中に scrapy パッケージをインストールするには、使用しているパッケージ管理システムに応じて、次のどちらかのコマンドでノートブック セルを実行します。

conda パッケージ管理システムの使用

!conda install --yes scrapy

作業を行っているノートブック ランタイムでバージョンの異なる Python モジュールを使用するには、バージョン番号をコマンドで指定します。

新しいパッケージを使用できるようにするには、conda コマンドの実行後にカーネルを再起動する必要があります。

たとえば、バージョン 1.5 の特定のパッケージが 2 つのノートブック ランタイムで使用できる場合に、バージョン 1.6 で導入されたツールを使用する必要があるとします。 ノートブック セッションでバージョン 1.6 のパッケージを使用できるようにするには、使用しているパッケージ管理システムに応じて、次のいずれかのコマンドでノートブック セルを実行します。

conda パッケージ管理システムの使用

!conda install --yes <package name>==1.6

カスタム コンテナー イメージの構築

ノートブック ランタイムに永続的な変更を加えるには、サイトにカスタム コンテナー イメージを構築します。 管理権限を必要とする次のワークフローにより、カスタム イメージが作成され、それを使用できるよう ArcGIS Notebook Server を構成します。

2 つのノートブック ランタイム (Standard か Advanced) のどちらかを開始点として使用します。 カスタム ランタイムの構築が完了したら、サイト内の新しいランタイムとして登録できます。

1. ArcGIS Notebook Server をインストールして構成します。
2. 管理者として ArcGIS Notebook Server Administrator Directory にサイン インします。

   URL の形式は、https://notebookserver.domain.com:11443/arcgis/admin/ です。

3. [notebooks] > [runtimes] の順にクリックし、カスタム イメージ用に拡張するノートブック ランタイムを選択します。

   ランタイムのリソース ページで、このランタイムの imageId 値をメモします。 この値は次のステップに含めます。

4. 目的の Python モジュールをカスタム イメージに追加する Dockerfile を作成します。

   Dockerfile は、Docker コンテナー イメージを構築する指示をまとめたシンプルなテキスト ファイルです。 ベスト プラクティスの情報については、Dockerfile のドキュメントをご参照ください。

   この例では、Advanced ノートブック ランタイムに、データ視覚化の Python パッケージ graphviz を追加します。 Dockerfile の次のコード ブロックは、repository 名とtagを使用して Advanced ランタイムにアクセスし、ランタイム内に graphviz をインストールするよう Docker に指示します。 このランタイムがインストールされている ArcGIS Notebook Server コンピューターでコマンド docker images を使用して、repository の名前と tag を取得できます。 conda clean コマンドは、ファイル サイズを削減する際に推奨されます。

   docker images コマンドを使用して、既存のノートブック ランタイムのイメージ名 (リポジトリ) とタグを取得します。

   
   docker images
   
   REPOSITORY                        TAG                 IMAGE ID            CREATED             SIZE
   arcgis-notebook-python-advanced   10.8.1.14362        e46a81f69ea0        12 months ago       12.4GB
   arcgis-notebook-python-standard   10.8.1.14362        106a660a4d0b        12 months ago       7.51GB

   データ視覚化の Python パッケージ graphviz を Advanced ノートブック ランタイムに追加して、カスタム ランタイムを作成します。

   # Specify the existing notebook runtime imageId as FROM
   FROM arcgis-notebook-python-advanced:10.8.1.14362
   
   # Use RUN to issue a command to install, then clean
   RUN conda install graphviz \
     && conda clean -y -a

5. Dockerfile を、コンピューター上の、Dockerfile のみを格納する新しいフォルダー内に保存します。
6. Docker コマンドを使用してカスタム コンテナー イメージを構築します。

   このイメージには、Dockerfile で指定された新しいランタイムが含まれます。 ターミナルを開き、次の構文でコマンドを実行します:

   docker build -t arcgis-notebook-python-advanced-custom:10.8.1.14362 -f /data/DockerfileDir/Dockerfile .

   注意:

   コマンド末尾には必ずピリオドを含めてください。

   コマンドが実行されると、Docker で新しいコンテナー イメージが構築されます。 コマンド出力の最終行は Successfully built <imageId> になり、新しいイメージの省略形の ID 値が含まれます。 ArcGIS Notebook Server サイトには、完全な imageId 値を指定する必要があります。

7. ターミナルで次のコマンドを実行し、イメージの ID 値を取得します。

   docker inspect <imageId>

   単一コンピューターの Notebook Server サイトがある場合、ステップ 8 ～ 10 はスキップできます。 複数コンピューターの Notebook Server サイトがある場合、ステップ 8 ～ 10 までを実行します。

8. docker save を使用して、カスタム Docker イメージを *.tar ファイルとして保存します。

   カスタム ランタイム イメージがインストールされている Notebook Server コンピューターでコマンド ウィンドウを開き、次のコマンドを実行してカスタム ランタイム イメージを *.tar ファイルとして保存します。

    docker save arcgis-notebook-python-advanced-custom:10.8.1.14362 > arcgis-notebook-python-advanced-custom.tar

9. Notebook Server がインストールされている各コンピューターで、ArcGIS Notebook Server ポストインストール ユーティリティを使用してカスタム ランタイム イメージを読み込みます。
   1. コマンド ウィンドウを管理者として開きます。
   2. ディレクトリを ArcGIS Notebook Server ポストインストール ユーティリティ フォルダーに変更します。

      デフォルトのパスは ${HOME}/arcgis/notebookserver/tools/postInstallUtility です。

   3. カスタム Docker イメージのファイル パスを指定してインストールします。

       ./PostInstallUtility.sh -l <path of .tar Custom Docker image>

10. ArcGIS Notebook Server サイトに参加している各コンピューターで、ステップ 9 を繰り返します。

これでカスタム イメージが構築され、完全な imageId 値を取得しました。次のセクションでは、この値を使用してカスタム イメージを ArcGIS Notebook Server サイトに登録します。

ArcGIS Server Manager への新しいランタイムの登録

10.8 以降、ArcGIS Notebook Server Manager を使用して、作成したカスタム ランタイムを登録することができます。

1. 管理者として ArcGIS Enterprise ポータルにサイン インし、ArcGIS Notebook Server Manager を開きます。
2. [設定] ページを開き、[ランタイム] をクリックします。
3. [ランタイムの登録] をクリックして登録ダイアログ ボックスを開きます。
4. 適切な値を指定して登録を完了します。

   パラメーター	Details
   名前	新しいランタイムを表す文字列 (たとえば、"Notebook Custom Runtime Python 3")。
   コンテナー タイプ	有効な値は docker のみです。
   最大 CPU	各コンテナーに使用される CPU ユニットの最大数。
   高度な権限が必要	ランタイムで Advanced ノートブック権限が必要な場合は、切り替えボタンをオンにします。
   画像 ID	新しく構築された Docker イメージの完全な (短縮されていない) ID。
   Docker ランタイム	Linux 環境の GPU ランタイムに対してのみ適用されます。 ArcGIS Notebook Server および GPU の詳細
   最大メモリ	各コンテナーに使用されるメモリの最大量。
   最大メモリ単位	maxMemory パラメーターで指定された単位。
   最大スワップ メモリ	各コンテナーが maxMemory 制限に達した場合に、各コンテナーに使用できるスワップ メモリの最大量。
   最大スワップ メモリ単位	maxSwapMemory パラメーターで指定された単位。
   共有メモリ	各コンテナーに使用できる共有メモリの量。
   共有メモリ単位	sharedMemory パラメーターで指定された単位。
   ライブラリ マニフェスト	ランタイム内の Python ライブラリのリストを含む *.json ファイル (UTF-8 または ANSI エンコード)。

   注意:

   manifest.json ファイルを作成するには、カスタム ノートブック ランタイム イメージがインストールされている ArcGIS Notebook Server コンピューターでターミナルを開き、次のコマンドを実行します。

   ID=$(docker container run -d --rm -it -v /:/host <custom_runtime_image_ID> /bin/bash) && docker exec -it $ID /opt/conda/bin/conda list --json >> ~/manifest.json && docker kill $ID

5. 準備ができたら、[保存] をクリックして新しいランタイムを登録します。
6. 新しいノートブックを開いて、この更新内容をテストします。 カスタム イメージに追加したモジュールやモジュールのバージョンが、ノートブックで使用できることを確認します。

非接続環境用の ArcGIS Deep Learning バックボーン パッケージを使用したカスタム ランタイム イメージの作成

ArcGIS API for Python では、それぞれが独自のベースモデル (バックボーン) をサポートする複数のディープ ラーニング モデルをトレーニングすることができます。 arcgis_dl_backbones conda メタパッケージは、バックボーンを必要な場所に自動的に配置することで、オフライン ユーザーをサポートします。これにより、ArcGIS を使用してディープ ラーニング モデルをトレーニングするときに、インターネットからバックボーンをダウンロードする必要はありません。 arcgis_dl_backbones conda メタパッケージを含むカスタム ランタイム イメージを作成するには、次の手順に従います。

1. ArcGIS Notebook Server コンピューターに新しいフォルダーを作成します。

   場所の例: /data/custom

2. arcgis_dl_backbones パッケージをダウンロードします。

   詳細については、「非接続環境のための追加インストール」をご参照ください。

3. 作成したフォルダーにパッケージ arcgis_dl_backbones-2.0.1-py_0.tar.bz2 を抽出します。
4. 作成したフォルダーに、次のコンテンツを含む Docker ファイルを作成します。
   FROM arcgis-notebook-python-standard:11.1.0.42869
   USER root
   RUN mkdir -p /home/user/DUMP/arcgis_dl_backbones-2.0.1
   USER $NB_UID
   WORKDIR /home/user/DUMP/arcgis_dl_backbones-2.0.1
   COPY arcgis_dl_backbones-2.0.1-py_0.tar.bz2 /home/user/DUMP/arcgis_dl_backbones-2.0.1
   RUN conda install --offline arcgis_dl_backbones-2.0.1-py_0.tar.bz2 -y
   RUN conda clean -y -a
   WORKDIR $HOME

5. 作成したフォルダーに移動し、次の Docker コマンドを使用してカスタム コンテナー イメージを構築します。
   docker build -t arcgis-notebook-python-standard-custom:11.1.0.42869 -f /data/custom/Dockerfile .

6. 上記の「ArcGIS Notebook Server Manager への新しいランタイムの登録」セクションのステップ 7 ～ 10 に従って、このカスタム ランタイム イメージを Notebook Server コンピューターにインストールします。

ArcGIS Notebook Server をアップグレードした後のカスタム ランタイムの更新

ArcGIS Notebook Server をアップグレードした後でカスタム ランタイムを更新するには、以下の手順に従います。

1. 新しいバージョンのノートブック ランタイム イメージを使用してカスタム ランタイム イメージを構築します。
2. Notebook Server ポスト インストール ユーティリティを使用して、各 Notebook Server コンピューターに新しいランタイム イメージをインストールします。
3. ArcGIS Notebook Server Manager を使用して新しいランタイムを登録します。
4. カスタム ランタイムを使用している各ノートブックのアイテム詳細ページで、[設定] をクリックします。
5. カスタム ランタイムを使用している各コンピューターで、ランタイムを確認し、新しく登録されたカスタム ランタイムに更新します。
6. 新しいランタイム イメージが機能することを確認したら、以前のバージョンのカスタム ランタイムを登録解除して各 Notebook Server コンピューターからそのランタイム イメージを削除することでランタイムを廃止します。

ArcGIS Notebook Server サイトのランタイムを元の設定に戻すには、Administrator Directory の [Restore Factory Runtimes] 操作を実行します。 この操作は https://notebookserver.domain.com:11443/arcgis/admin/notebooks/runtimes/restore から実行でき、サイトの現在のバージョンにおける初期状態のランタイムの復元のみが行われます。