Skip To Content

Étendre un runtime de notebook

ArcGIS Notebook Server inclut deux runtimes de notebook (collections de modules Python). Ces runtimes sont mis à disposition des utilisateurs de notebook via des images de conteneur, qui sont appliquées à chaque conteneur qui s’exécute sur un site de serveur.

Les runtimes de notebook standard et avancés incluent ArcGIS API for Python et plusieurs modules Python qui peuvent être utilisés pour la science des données, l’analyse spatiale, la gestion du contenu et l’administration. Le runtime avancé comprend également ArcPy.

Consultez la liste des bibliothèques Python disponibles

Dans certains cas, les créateurs de notebook peuvent avoir besoin de modules ou de versions spécifiques des modules qui ne figurent pas dans ces deux runtimes. Vous pouvez accéder à des modules Python supplémentaires dans ArcGIS Notebook Server des façons suivantes :

  • Installez un module Python pendant une session de notebook. Le module est alors disponible pour être utilisé dans ce notebook.
  • Étendez une image de conteneur Esri de façon à inclure des bibliothèques Python dans un runtime personnalisé. L’image de conteneur que vous créez mettra le runtime étendu à disposition de tous les créateurs de notebook de votre site.

Installer des modules pendant une session

Les créateurs de notebook peuvent mettre à disposition les modules Python ou des versions des modules, qui ne sont disponibles dans aucun runtime, pendant une session de notebook à l’aide des systèmes de gestion des paquetages conda ou pip. Il est recommandé d’utiliser conda, car ArcGIS Notebook Server l’emploie pour gérer les modules ; cependant, certains modules Python sont disponibles uniquement dans pip.

Cette approche installe le module souhaité pendant la durée de la session de notebook. Une fois que le notebook est fermé ou que le conteneur appartenant à l’utilisateur est terminé, le module n’est plus disponible. Pour installer des modules à l’aide de cette méthode, les utilisateurs doivent disposer d’une connexion Internet au canal conda ou pip.

Remarque :

conda et pip sont tous deux inclus dans les deux runtimes de notebook. Vous n’avez pas besoin de les installer.

Pour installer le paquetage scrapy pendant une session, par exemple, exécutez une cellule de notebook avec l’une des commandes suivantes, selon le système de gestion des paquetages que vous utilisez :

Utilisation du système de gestion des paquetages conda :

!conda install --yes scrapy

Utilisation du système de gestion des paquetages pip :

!pip install scrapy

Pour utiliser une autre version d’un module Python dans le runtime de notebook dans lequel vous travaillez, indiquez le numéro de version dans la commande.

Après avoir exécuté une commande conda ou pip, vous devez redémarrer le noyau pour que votre nouveau paquetage soit disponible.

Par exemple, un paquetage donné est disponible dans les deux runtimes de notebook version 1.5, mais vous voulez utiliser un outil introduit dans la version 1.6. Pour mettre la version 1.6 à disposition pendant une session de notebook, exécutez une cellule de notebook avec l’une des commandes suivantes, selon le système de gestion des paquetages que vous utilisez :

Utilisation du système de gestion des paquetages conda :

!conda install --yes <package name>==1.6

Utilisation du système de gestion des paquetages pip :

!pip install <package name>==1.6

Créer une image de conteneur personnalisée

Pour apporter des modifications durables à un runtime de notebook, vous pouvez créer une image de conteneur personnalisée dans un site. Le processus suivant, qui nécessite des privilèges administratifs, crée une image personnalisée et configure ArcGIS Notebook Server de façon à l’utiliser.

Utilisez l’un des deux runtimes de notebook (standard ou avancé) comme point de départ. Une fois que vous avez créé un runtime personnalisé, vous pouvez l’inscrire comme nouveau runtime auprès de votre site.

  1. Installez et configurez ArcGIS Notebook Server.
  2. Connectez-vous au répertoire d’administration ArcGIS Notebook Server en tant qu’administrateur.

    L'URL est formatée comme suit : https://notebookserver.domain.com:11443/arcgis/admin/.

  3. Cliquez sur notebooks > runtimes, puis sélectionnez le runtime de notebook que vous voulez étendre pour votre image personnalisée.

    Sur la page de ressources du runtime, notez la valeur imageId de ce runtime. Vous utiliserez cette valeur à l’étape suivante.

  4. Créez un Dockerfile qui ajoute les modules Python de votre choix à l’image personnalisée.

    Un Dockerfile est un fichier texte simple d’instructions permettant de créer une image de conteneur Docker. Pour obtenir plus d’informations et des pratiques conseillées, reportez-vous à la documentation Dockerfile.

    Dans cet exemple, vous allez ajouter les bibliothèques du client SQL Server à l’environnement d’exécution du notebook avancé. Le bloc de code suivant de votre Dockerfile indique à Docker d’accéder à l’environnement d’exécution avancé à l’aide de son nom repository et de son tag pour installer les bibliothèques du client SQL Server dans l’environnement d’exécution. Vous pouvez obtenir le nom repository et tag à l’aide de la commande docker images sur une machine ArcGIS Notebook Server sur laquelle ce runtime est installé.

    Utilisez la commande docker images pour obtenir le nom de l’image (référentiel) et la balise d’un runtime de notebook existant.

    
    docker images
    
    REPOSITORY                        TAG                 IMAGE ID            CREATED             SIZE
    arcgis-notebook-python-advanced   10.8.1.14362        e46a81f69ea0        12 months ago       12.4GB
    arcgis-notebook-python-standard   10.8.1.14362        106a660a4d0b        12 months ago       7.51GB

    Créez un environnement d’exécution personnalisé en ajoutant les bibliothèques du client SQL Server à l’environnement d’exécution du notebook avancé.

    Sur les conteneurs Linux, utilisez la commande suivante :

    FROM arcgis-notebook-python-advanced:11.1.0.42869
            
    USER root
            
    RUN apt-get update -y && \
    	apt-get install vim wget curl unzip gzip ca-certificates odbcinst1debian2 -y --no-install-recommends
            
    RUN apt-get install --reinstall software-properties-common -y
            
    RUN add-apt-repository 'ppa:deadsnakes/ppa'
    RUN apt-get update
    RUN apt-get install -y python3.7 python3-pip
            
    # Install system DB drivers
    #
    # Add SQL Server ODBC Driver 18.1 for Ubuntu 22.04
    #
    # NOTE: Only msodbcsql 18.1 is supported on Ubuntu 22.04
    # Run apt list -a msodbcsql18 to check for newer release version
    RUN curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add - && \
    	curl https://packages.microsoft.com/config/ubuntu/22.04/prod.list > /etc/apt/sources.list.d/mssql-release.list && \
    	apt-get update && \
    	ACCEPT_EULA=Y apt-get install -y --allow-unauthenticated msodbcsql18=18.1.1.1-1 && \
    	apt-get install -y --allow-unauthenticated unixodbc-dev
            
    RUN rm -rf /var/lib/apt/lists/*
            
    USER $NB_UID

    Sur les conteneurs Windows, utilisez la commande suivante :

    FROM arcgis-notebook-python-windows:11.1.0.42869
    
    USER ContainerAdministrator
    
    # Install SQL Server ODBC Driver
    
    RUN powershell -Command $ErrorActionPreference = 'Stop' ; \
        [Net.ServicePointManager]::SecurityProtocol = [Net.SecurityProtocolType]::Tls12 ; \
        Invoke-WebRequest $('https://go.microsoft.com/fwlink/?linkid=2223270') -OutFile 'msodbcsql.msi' -UseBasicParsing ; \
        Start-Process msiexec '/i msodbcsql.msi /qb IACCEPTMSODBCSQLLICENSETERMS=YES' -Wait ; \
        Remove-Item msodbcsql.msi -Force
    
    USER arcgis
  5. Enregistrez votre Dockerfile sur la machine, dans un nouveau dossier ne contenant que le Dockerfile.
  6. Créez une image de conteneur personnalisée à l’aide d’une commande Docker

    Cette image contient un nouveau runtime, comme indiqué dans votre Dockerfile. Ouvrez la fenêtre de ligne de commande et exécutez une commande avec la syntaxe suivante :

    cd C:\DockerfileDir
    docker build -t arcgis-notebook-python-advanced-custom:11.1.0.42869 -f Dockerfile .
    Remarque :

    Assurez-vous d’ajouter le point à la fin de la commande.

    Lorsque la commande s’exécute, Docker crée la nouvelle image de conteneur. La dernière ligne de la sortie de commande sera Successfully built <imageId>, avec l’ID abrégé de la nouvelle image. Vous devez indiquer votre site ArcGIS Notebook Server avec sa valeur imageId complète.

  7. Exécutez la commande suivante dans la fenêtre d’invite de commande pour obtenir la valeur de l’ID de l’image :

    docker inspect <imageId>

    Si vous avez un site Notebook Server n’incluant qu’une seule machine, vous pouvez ignorer les étapes 8 à 10. Si vous avez un site Notebook Server comportant plusieurs machines, effectuez les étapes 8 à 10.

  8. Enregistrez l’image Docker personnalisée en tant que fichier *.tar avec docker save.

    Ouvrez une fenêtre de commande sur la machine Notebook Server sur laquelle l’image de runtime personnalisée est installée et exécutez la commande suivante pour enregistrer l’image du runtime personnalisé en tant que fichier *.tar.

     docker save arcgis-notebook-python-advanced-custom:10.8.1.14362 > arcgis-notebook-python-advanced-custom.tar

  9. Sur chaque machine sur laquelle Notebook Server est installé, chargez l’image de runtime personnalisée à l’aide de l’utilitaire post-installation d’ArcGIS Notebook Server.
    1. Ouvrez une invite de commande en tant qu'administrateur.
    2. Accédez au dossier de l’utilitaire post-installation d’ArcGIS Notebook Server.

      Le chemin par défaut est C:\Program Files\ArcGIS\NotebookServer\tools\postInstallUtility

    3. Installez l’image Docker personnalisée en spécifiant le chemin da’ccès à son fichier.

       PostInstallUtility.bat -l <path of .tar Custom Docker image>

  10. Répétez l’étape 9 sur chaque machine de votre site ArcGIS Notebook Server.

Votre image personnalisée est désormais créée et vous disposez de sa valeur complète imageId, que vous utiliserez pour l’inscrire auprès du site ArcGIS Notebook Server à la section suivante.

Inscrire un nouveau runtime dans Manager

À partir de la version 10.8, vous pouvez utiliser ArcGIS Notebook Server Manager pour inscrire un runtime personnalisé que vous avez créé.

  1. Connectez-vous à votre portail ArcGIS Enterprise en tant qu’administrateur et ouvrez ArcGIS Notebook Server Manager.
  2. Ouvrez la page Settings (Paramètres) et cliquez sur Runtimes.
  3. Cliquez sur Register runtime (Inscrire le runtime) pour ouvrir la boîte de dialogue d’inscription.
  4. Spécifiez les valeurs adéquates pour terminer l’inscription.

    ParamètreDétails

    Nom

    Chaîne représentant le nouveau runtime, telle que "Notebook Custom Runtime Python 3".

    Type de conteneur

    La seule valeur valide est docker.

    CPU max

    Nombre maximum d’unités UCT à utiliser pour chaque conteneur.

    Privilèges avancés requis

    Activez le bouton bascule si le runtime exige le privilège Notebooks avancés.

    ID d'image

    Identifiant complet (non tronqué) de la nouvelle image Docker au moment de sa construction.

    Runtime Docker

    S’applique uniquement aux runtimes de GPU dans les environnements Linux.

    Mémoire max.

    Quantité maximum de mémoire à utiliser pour chaque conteneur.

    Unité de mémoire max.

    Unité spécifiée par le paramètre maxMemory.

    Mémoire d’échange max.

    Quantité maximale de mémoire d’échange disponible pour chaque conteneur s’il atteint la limite maxMemory.

    Unité de mémoire d’échange max.

    Unité spécifiée par le paramètre maxSwapMemory.

    Mémoire partagée

    Quantité de mémoire partagée disponible pour chaque conteneur.

    Unité de mémoire partagée

    Unité spécifiée par le paramètre sharedMemory.

    Manifeste de bibliothèque

    Fichier *.json (encodage UTF-8 ou ANSI) contenant la liste des bibliothèques Python dans le runtime.

    Remarque :

    Pour créer un fichier manifest.json, ouvrez une fenêtre PowerShell sur la machine ArcGIS Notebook Server où l’image de runtime de notebook personnalisé est installée et exécutez l’une des commandes suivantes, selon que vous utilisez des conteneurs Windows ou Linux.

    Sur les conteneurs Windows, utilisez la commande suivante :

    $ID = docker run -d -it <custom_runtime_image_ID> cmd; docker exec -it $ID powershell "conda list --json >> C:\arcgis\home\manifest.json"; docker cp $ID/:C:\arcgis\home\manifest.json <existing_folder_path>; docker kill $ID; docker rm -f $ID;

    Sur les conteneurs Linux, utilisez la commande suivante :

    $ID = docker container run -d --rm -it -v /:/host <custom_runtime_image_ID> /bin/bash; docker exec -it $ID /opt/conda/bin/conda list --json >> ~\Desktop\manifest.json; docker kill $ID

  5. Lorsque vous avez terminé, cliquez sur Save (Enregistrer) pour inscrire le nouveau runtime.
  6. Ouvrez un nouveau notebook pour tester cette mise à jour. Vérifiez que les modules ou les versions des modules que vous avez ajoutés à votre image personnalisée sont disponibles dans le notebook.

Mettre à jour le runtime personnalisé après la mise de niveau de ArcGIS Notebook Server

Après avoir mis à niveau ArcGIS Notebook Server, procédez comme suit pour mettre à jour le runtime personnalisé :

  1. Créez une image de runtime personnalisé à l’aide de la nouvelle version de l’image de runtime du notebook.
  2. Utilisez l’utilitaire post-installation de Notebook Server pour installer la nouvelle image de runtime sur chaque poste Notebook Server.
  3. Inscrivez le nouveau runtime à l’aide du gestionnaire ArcGIS Notebook Server.
  4. Sur la page des détails des éléments de chaque notebook qui utilise le runtime personnalisé, clique sur Settings (Paramètres).
  5. Sur chaque machine utilisant le runtime personnalisé, vérifiez le runtime et mettez-le à jour pour qu’il corresponde au runtime personnalisé que vous venez d’inscrire.
  6. Après avoir vérifié que l’image du nouveau runtime fonctionne, dépréciez la version précédente du runtime personnalisé en désinscrivant celui-ci et en retirant son image de chaque machine Notebook Server.

Pour restaurer les paramètres d’origine des runtimes disponibles sur votre site ArcGIS Notebook Server, utilisez l’opération Restore Factory Runtimes (Restaurer les runtimes d’usine) dans le répertoire administrateur. Elle est disponible à l’adresse https://notebookserver.domain.com:11443/arcgis/admin/notebooks/runtimes/restore et restaure uniquement les runtimes d’usine pour la version actuelle de votre site.