Étendre un runtime de notebook

ArcGIS Notebook Server inclut deux runtimes de notebook (collections de modules Python). Ces runtimes sont mis à disposition des utilisateurs de notebook via des images de conteneur, qui sont appliquées à chaque conteneur qui s’exécute sur votre site de serveur.

Les runtimes de notebook standard et avancés incluent ArcGIS API for Python et plusieurs modules Python qui peuvent être utilisés pour la science des données, l’analyse spatiale, la gestion du contenu et l’administration. Le runtime avancé comprend également ArcPy.

Consultez la liste des bibliothèques Python disponibles

Dans certains cas, les créateurs de votre notebook peuvent avoir besoin de modules ou de versions spécifiques des modules qui ne figurent pas dans ces deux runtimes. Vous pouvez accéder à des modules Python supplémentaires dans ArcGIS Notebook Server des façons suivantes :

• Installez un module Python pendant une session de notebook. Le module est alors disponible pour être utilisé dans ce notebook.
• Étendez une image de conteneur Esri de façon à inclure des bibliothèques Python dans un runtime personnalisé. L’image de conteneur que vous créez mettra le runtime étendu à disposition de tous les créateurs de notebook de votre site.

Installer des modules pendant une session

Les créateurs de notebook peuvent mettre à disposition les modules Python ou des versions des modules, qui ne sont disponibles dans aucun runtime, pendant une session de notebook à l’aide des systèmes de gestion des paquetages conda ou pip. Il est recommandé d’utiliser conda, car ArcGIS Notebook Server l’emploie pour gérer les modules ; cependant, certains modules Python sont disponibles uniquement dans pip.

Cette approche installe le module souhaité pendant la durée de la session de notebook. Une fois que le notebook est fermé ou que le conteneur appartenant à l’utilisateur est terminé, le module n’est plus disponible. Pour installer des modules à l’aide de cette méthode, les utilisateurs doivent disposer d’une connexion Internet au canal conda ou pip.

Remarque :

conda et pip sont tous deux inclus dans les deux runtimes de notebook. Vous n’avez pas besoin de les installer.

Pour installer le paquetage scrapy pendant une session, par exemple, exécutez une cellule de notebook avec l’une des commandes suivantes, selon le système de gestion des paquetages que vous utilisez :

Utilisation du système de gestion des paquetages conda

!conda install --yes scrapy

Utilisation du système de gestion des paquetages pip

!pip install scrapy

Pour utiliser une autre version d’un module Python dans le runtime de notebook dans lequel vous travaillez, indiquez le numéro de version dans la commande.

Après avoir exécuté une commande conda ou pip, vous devez redémarrer le noyau pour que votre nouveau paquetage soit disponible.

Par exemple, un paquetage donné est disponible dans les deux runtimes de notebook version 1.5, mais vous voulez utiliser un outil introduit dans la version 1.6. Pour mettre la version 1.6 à disposition pendant une session de notebook, exécutez une cellule de notebook avec l’une des commandes suivantes, selon le système de gestion des paquetages que vous utilisez :

Utilisation du système de gestion des paquetages conda

!conda install --yes <package name>==1.6

Utilisation du système de gestion des paquetages pip

!pip install <package name>==1.6

Créer une image de conteneur personnalisée

Pour apporter des modifications durables à un runtime de notebook, vous pouvez créer une image de conteneur personnalisée dans un site. Le processus suivant, qui nécessite des privilèges administratifs, crée une image personnalisée et configure ArcGIS Notebook Server de façon à l’utiliser.

Utilisez l’un des deux runtimes de notebook (standard ou avancé) comme point de départ. Une fois que vous avez créé un runtime personnalisé, vous pouvez l’inscrire comme nouveau runtime auprès de votre site.

1. Installez et configurez ArcGIS Notebook Server.
2. Connectez-vous au répertoire d’administration ArcGIS Notebook Server en tant qu’administrateur.

   L'URL est formatée comme suit : https://notebookserver.domain.com:11443/arcgis/admin/.

3. Cliquez sur notebooks > runtimes, puis sélectionnez le runtime de notebook que vous voulez étendre pour votre image personnalisée.

   Sur la page de ressources du runtime, notez la valeur imageId de ce runtime. Vous utiliserez cette valeur à l’étape suivante.

4. Créez un Dockerfile qui ajoute les modules Python de votre choix à l’image personnalisée.

   Un Dockerfile est un fichier texte simple d’instructions permettant de créer une image de conteneur Docker. Pour obtenir plus d’informations et des pratiques conseillées, reportez-vous à la documentation Dockerfile.

   Dans cet exemple, vous allez ajouter le paquetage Python de visualisation des données graphviz au runtime de notebook avancé. Le bloc de code suivant de votre Dockerfile indique à Docker d’accéder au runtime avancé à l’aide du nom repository et de tag, puis d’installer graphviz dans le runtime. Vous pouvez obtenir le nom repository et tag à l’aide de la commande docker images sur une machine ArcGIS Notebook Server sur laquelle ce runtime est installé. La commande conda clean constitue une pratique conseillée pour réduire la taille du fichier.

   Utilisez la commande docker images pour obtenir le nom de l’image (référentiel) et la balise d’un runtime de notebook existant.

   
   docker images
   
   REPOSITORY                        TAG                 IMAGE ID            CREATED             SIZE
   arcgis-notebook-python-advanced   10.8.1.14362        e46a81f69ea0        12 months ago       12.4GB
   arcgis-notebook-python-standard   10.8.1.14362        106a660a4d0b        12 months ago       7.51GB

   Créer un runtime personnalisé en ajoutant le paquetage Python de visualisation des données graphviz au runtime de notebook avancé

   # Specify the existing notebook runtime imageId as FROM
   FROM arcgis-notebook-python-advanced:10.8.1.14362
   
   # Use RUN to issue a command to install, then clean
   RUN conda install graphviz \
     && conda clean -y -a

5. Enregistrez votre Dockerfile sur la machine, dans un nouveau dossier ne contenant que le Dockerfile.
6. Créez votre nouvelle image de conteneur personnalisée à l’aide d’une commande Docker.

   Cette image contient un nouveau runtime, comme indiqué dans votre Dockerfile. Ouvrez un terminal et exécutez une commande avec la syntaxe suivante :

   docker build -t arcgis-notebook-python-advanced-custom:10.8.1.14362 -f /data/DockerfileDir/Dockerfile .

   Remarque :

   Assurez-vous d’ajouter le point à la fin de la commande.

   Lorsque la commande s’exécute, Docker crée la nouvelle image de conteneur. La dernière ligne de la sortie de commande sera Successfully built <imageId>, avec l’ID abrégé de la nouvelle image. Vous devez indiquer votre site ArcGIS Notebook Server avec sa valeur imageId complète.

7. Exécutez la commande suivante dans votre terminal pour obtenir la valeur de l’ID de l’image :

   docker inspect <imageId>

   Si vous avez un site Notebook Server n’incluant qu’une seule machine, vous pouvez ignorer les étapes 8 à 10. Si vous avez un site Notebook Server comportant plusieurs machines, effectuez les étapes 8 à 10.

8. Enregistrez l’image Docker personnalisée en tant que fichier *.tar avec docker save.

   Ouvrez une fenêtre de commande sur la machine Notebook Server sur laquelle l’image de runtime personnalisée est installée et exécutez la commande suivante pour enregistrer l’image du runtime personnalisé en tant que fichier *.tar.

    docker save arcgis-notebook-python-advanced-custom:10.8.1.14362 > arcgis-notebook-python-advanced-custom.tar

9. Sur chaque machine sur laquelle Notebook Server est installé, chargez l’image de runtime personnalisée à l’aide de l’utilitaire de postinstallation de ArcGIS Notebook Server.
   1. Ouvrez une invite de commande en tant qu'administrateur.
   2. Accédez au dossier de l’utilitaire postinstallation de ArcGIS Notebook Server.

      Chemin par défaut : ${HOME}/arcgis/notebookserver/tools/postInstallUtility

   3. Installez votre image Docker personnalisée en spécifiant le chemin d’accès à son fichier.

       ./PostInstallUtility.sh -l <path of .tar Custom Docker image>

10. Répétez l’étape 9 sur chaque machine de votre site ArcGIS Notebook Server.

Votre image personnalisée est désormais créée et vous disposez de sa valeur complète imageId, que vous utiliserez pour l’inscrire auprès du site ArcGIS Notebook Server à la section suivante.

Inscrire un nouveau runtime dans Manager

À partir de la version 10.8, vous pouvez utiliser ArcGIS Notebook Server Manager pour inscrire un runtime personnalisé que vous avez créé.

1. Connectez-vous à votre portail ArcGIS Enterprise en tant qu’administrateur et ouvrez ArcGIS Notebook Server Manager.
2. Ouvrez la page Settings (Paramètres) et cliquez sur Runtimes.
3. Cliquez sur Register Runtime (Inscrire le runtime) pour ouvrir la boîte de dialogue d’inscription.
4. Spécifiez les valeurs adéquates pour terminer l’inscription.

   Paramètre	Détails
   name (Requis)	Chaîne représentant le nouveau runtime, telle que "Notebook Custom Runtime Python 3".
   version (Requis)	Version du runtime fourni par Esri utilisé comme image Docker de base. Héritage : Ce paramètre est devenu obsolète avec ArcGIS Notebook Server version 10.9.
   imageId (Requis)	Identifiant complet (non tronqué) de la nouvelle image Docker au moment de sa construction.
   containerType (Facultatif)	La seule valeur valide est docker.
   imagePullString (Facultatif)	Sans objet.
   requiresAdvancedPrivileges (Requis)	Définissez cette valeur sur true si des privilèges avancés sont nécessaires pour le runtime. Valeurs : true | false
   maxCPU (Requis)	Nombre maximum d’unités UCT à utiliser pour chaque conteneur.
   maxMemory (Requis)	Quantité maximum de mémoire à utiliser pour chaque conteneur.
   maxMemoryUnit (Requis)	Unité spécifiée par le paramètre maxMemory.
   maxSwapMemory (Facultatif)	Quantité maximale de mémoire d’échange disponible pour chaque conteneur s’il atteint la limite maxMemory.
   maxSwapMemoryUnit (Facultatif)	Unité spécifiée par le paramètre maxSwapMemory.
   sharedMemory (Facultatif)	Quantité de mémoire partagée disponible pour chaque conteneur.
   sharedMemoryUnit (Facultatif)	Unité spécifiée par le paramètre sharedMemory.
   dockerRuntime (Facultatif)	S’applique uniquement aux runtimes de GPU dans les environnements Linux. En savoir plus sur ArcGIS Notebook Server et les GPU
   manifestFile (Facultatif)	Chemin d’accès complet à un fichier .json (en codage UTF-8 ou ANSI) contenant la liste des bibliothèques PythonPython dans le runtime.
   f (Facultatif)	Format de réponse par défaut. Le format de réponse par défaut est html. Valeurs : html | json | pjson
   createManifestFile (Facultatif)	Si la valeur définie est true, un fichier .json manifeste est créé automatiquement pour l’image Docker inscrite comme runtime du notebook. Tout fichier fourni pour le paramètre manifestFile remplace ce paramètre. Valeurs : true

   Remarque :

   Pour créer un fichier manifest.json, ouvrez un terminal sur la machine ArcGIS Notebook Server où l’image de runtime de notebook personnalisé est installée et exécutez la commande suivante :

   ID=$(docker container run -d --rm -it -v /:/host <custom_runtime_image_ID> /bin/bash) && docker exec -it $ID /opt/conda/bin/conda list --json >> ~/manifest.json && docker kill $ID

5. Lorsque vous avez terminé, cliquez sur Save (Enregistrer) pour inscrire le nouveau runtime.
6. Ouvrez un nouveau notebook pour tester cette mise à jour. Vérifiez que les modules ou les versions des modules que vous avez ajoutés à votre image personnalisée sont disponibles dans le notebook.

Pour restaurer les paramètres d’origine des runtimes disponibles sur votre site ArcGIS Notebook Server, utilisez l’opération Restore Factory Runtimes (Restaurer les runtimes d’usine) dans le répertoire administrateur. Elle est disponible à l’adresse https://notebookserver.domain.com:11443/arcgis/admin/notebooks/runtimes/restore et restaure uniquement les runtimes d’usine pour la version actuelle de votre site.