Estender um tempo de execução do notebook

O ArcGIS Notebook Server inclui dois tempos de execução do notebook (coleções de módulos do Python). Estes tempos de execução estão disponíveis para usuários do notebook através de imagens do contêiner, que são aplicadas a cada contêiner que é executado no site do servidor.

Os tempos de execução Padrão e Avançado do notebook incluem ArcGIS API for Python e vários módulos do Python que podem ser usados para ciência de dados, análise espacial, gerenciamento de conteúdo e administração. O tempo de execução avançado também inclui o ArcPy.

Consulte a lista de bibliotecas do Python disponíveis

Em alguns casos, os autores do seu notebook podem precisar de módulos ou versões específicas de módulos que não estão incluídas nestes dois tempos de execução. Você pode acessar módulos do Python adicionais no ArcGIS Notebook Server nas seguintes maneiras:

• Instale o módulo do Python durante uma sessão do notebook. Isto torna o módulo disponível para uso neste notebook.
• Estenda uma imagem de contêiner da Esri para incluir bibliotecas do Python adicionais em um tempo de execução personalizado. A imagem de contêiner criada por você disponibilizará o tempo de execução estendido para todos os autores do notebook em seu site.

Instalar módulos durante uma sessão

Os autores do notebook podem criar módulos do Python ou versões de módulos, que não estão incluídas no tempo de execução disponível para uso durante uma sessão de notebook utilizando conda ou pip. É recomendado que você utilize conda, pois o ArcGIS Notebook Server utiliza ele para gerenciar módulos; no entanto, alguns módulos do Python estão disponíveis somente no pip.

Esta abordagem instala o módulo desejado pela duração da sessão do notebook. Após o notebook ser fechado ou o contêiner que pertence ao usuário ser finalizado, o módulo não estará mais disponível. Para instalar módulos utilizando este método, os usuários devem ter conectividade com a Internet para os canais conda ou pip.

Anotação:

Ambos conda e pip estão incluídos nos dois tempos de execução do notebook. Você não precisa instalá-los.

Para instalar o pacote scrapy durante uma sessão, por exemplo, execute uma célula do notebook com um dos seguintes comandos, dependendo do sistema de gerenciamento do pacote que você está utilizando:

Utilizando o sistema de gerenciamento de pacote do conda

!conda install --yes scrapy

Utilizando o sistema de gerenciamento de pacote do pip

!pip install scrapy

Para utilizar uma versão diferente de um módulo do Python no tempo de execução do notebook no qual você está trabalhando, especifique o número da versão no comando.

Você deve reiniciar o kernel após executar um comando conda ou pip para que seu novo pacote esteja disponível.

Por exemplo, um determinado pacote está disponível em ambos os tempos de execução do notebook na versão 1.5, mas você deseja utilizar uma ferramenta introduzida no 1.6. Para disponibilizar a versão 1.6 do pacote durante uma sessão, execute uma célula do notebook com um dos seguintes comandos, dependendo do sistema de gerenciamento do pacote que você está utilizando:

Utilizando o sistema de gerenciamento de pacote do conda

!conda install --yes <package name>==1.6

Utilizando o sistema de gerenciamento de pacote do pip

!pip install <package name>==1.6

Construir uma imagem de contêiner personalizada

Para fazer alterações persistentes em um tempo de execução do notebook, você pode criar uma imagem de contêiner personalizada em um site. O seguinte fluxo de trabalho, que exige privilégios administrativos, cria uma imagem personalizada e configura o ArcGIS Notebook Server para utilizá-lo.

Utilize um dos dois tempos de execução do notebook (Padrão ou Avançado) como ponto de partida. Após criar seu tempo de execução personalizado, você poderá registrá-lo como um novo tempo de execução em seu site.

1. Instale e configure o ArcGIS Notebook Server.
2. Entre no Diretório do Administrador ArcGIS Notebook Server coo um administrador.

   A URL está formatada como https://notebookserver.domain.com:11443/arcgis/admin/.

3. Clique em notebooks > tempos de execução e selecione o tempo de execução do notebook que você deseja estender para sua imagem personalizada.

   Na página de recursos do tempo de execução, note o valor de imagem deste tempo de execução. Você incluirá este valor na próxima etapa.

4. Crie um Dockerfile que adiciona seus módulos do Python desejados na imagem personalizada.

   Um Dockerfile é um arquivo de texto simples de instruções para construir uma imagem de contêiner do Docker. Siga a documentação do Dockerfile para informações e melhores práticas.

   Neste exemplo, você adicionará na visualização de dados do Python o pacote graphviz no tempo de execução Avançado do notebook. O seguinte bloco de código no seu Dockerfile informa ao Docker para acessar o tempo de execução Aançado utilizando seu valor imageId , e para instalar o graphviz no tempo de execução. O comando conda clean é uma prática recomendada para reduzir o tamanho do arquivo.

   # Specify the existing notebook runtime imageId as FROM
   FROM aa7a1a346e5b
   
   # Use RUN to issue a command to install, then clean
   RUN conda install graphviz \
     && conda clean -y -a

   Neste exemplo, você criará um tempo de execução personalizado que inclui bibliotecas de cliente da Oracle.

   ## Using a Dockerfile to build a custom notebook runtime that includes Oracle client
   FROM <replace with imageId of standard or advanced container image>
   
   ## Switch to root user for installing OS level packages. 
   USER root
   
   ## Combine OS level statements for Docker image efficiency
   RUN apt-get update && \
           apt-get install -y alien
   ## Update the url below to the desired version of Oracle client.
   RUN wget https://yum.oracle.com/repo/OracleLinux/OL8/oracle/instantclient/x86_64/getPackage/oracle-instantclient19.10-basic-19.10.0.0.0-1.x86_64.rpm
   RUN alien -i oracle-instantclient19.10-basic-19.10.0.0.0-1.x86_64.rpm
   
   ## Installing libaio1 is required only for Notebook runtimes version 5 (10.9) or earlier.  
   RUN apt-get install -y libaio1
   
   ## Switch back to arcgis user at end of the Dockerfile
   USER arcgis

5. Salve seu Dockerfile na máquina em uma nova pasta que somente contenha o Dockerfile.
6. Crie sua nova imagem de contêiner personalizada utilizando um comando Docker.

   Esta imagem conterá um novo tempo de execução como especificado em seu Dockerfile. Abra um terminal e execute um comando com a seguinte sintaxe:

   docker build -t <name of my new runtime>:v1.0 -f <path to my Dockerfile> .

   Anotação:

   Certifique-se de incluir o ponto no final do comando.

   Quando o comando for executado, o Docker construirá a nova imagem de contêiner. A última linha na saída do comando será Successfully built <imageId> com o valor de ID abreviado da nova imagem. Você deve fornecer ao seu site do ArcGIS Notebook Server seu valor imageId completo.

7. Execute o seguinte comando no seu terminal para obter o valor de ID da imagem:

   docker inspect <imageId>

Sua imagem personalizada é agora construída e você tem seu valor completo imageId, que você utilizará para registrá-lo com o site ArcGIS Notebook Server na próxima seção.

Registre um novo tempo de execução no Manager

Com início na versão 10.8, você pode utilizar ArcGIS Notebook Server Manager para registrar um tempo de execução personalizado que você criou.

1. Entre no seu portal do ArcGIS Enterprise como um administrador e abra o ArcGIS Notebook Server Manager.
2. Abra a página Configurações e clique em Tempos de execução.
3. Clique em Registrar Tempo de Execução para abrir a caixa de diálogo de registro.
4. Especifique os valores apropriados para concluir o registro.

   Parâmetro	Detalhes
   Nome	Uma string para representar o novo tempo de execução, como "Notebook Custom Runtime Python 3."
   Versão	A versão do tempo de execução fornecido pela Esri eu você utilizou como a imagem de base do Docker.
   ID da Imagem	ID completo (não truncado) da nova imagem do Docker, fornecido quando você construiu a imagem.
   Tipo de contêiner	(Opcional) O único valor válido é "Docker".
   String de obter imagem	(Opcional) Não aplicável.
   Privilégios avançados	(Exigido) Ative se o tempo de execução exigir o privilégio de notebooks Avançados.
   Máximo de CPU	O número máximo de unidades de CPU para ser utilizado para cada contêiner.
   Máximo de memória	A quantidade máxima de memória a ser utilizada para cada contêiner.
   Unidade do máximo de memória	A unidade especificada pelo parâmetro Memória máx .
   Máximo de memória de troca	(Opcional) A quantidade máxima de memória swap disponível para cada contêiner se ela alcançar o limite Máx memória .
   Unidade do máximo de memória de troca	(Opcional) A unidade especificada pelo parâmetro Memória swap máx .
   Memória compartilhada	(Opcional) A quantidade de memória compartilhada disponível de cada contêiner.
   Unidade de memória compartilhada	(Opcional) A unidade especificada pelo parâmetro Memória compartilhada .
   Tempo de execução do Docker	(Opcional) Somente se aplica em tempos de execução de GPU. Saiba mais sobre ArcGIS Notebook Server e GPUs
   Manifesto da biblioteca	O arquivo *.json (em codificação UTF-8 ou ANSI) contendo a lista de bibliotecas do Python no tempo de execução.

   Anotação:

   Para criar um arquivo manifest.json, abra um terminal na máquina ArcGIS Notebook Server onde a imagem de tempo de execução do notebook personalizado está instalada e execute o seguinte comando:

   ID=$(docker container run -d --rm -it -v /:/host <custom_runtime_image_ID> /bin/bash) && docker exec -it $ID /opt/conda/bin/conda list --json >> ~/manifest.json && docker kill $ID

5. Quando você estiver pronto, clique em Salvar para registrar o novo tempo de execução.
6. Abra um novo notebook para testar esta atualização. Verifique se os módulos ou versões dos módulos adicionados à sua imagem personalizada estão disponíveis no notebook.

Para retornar os tempos de execução em seu site do ArcGIS Notebook Server para as configurações originais, utilize a operação Restaurar Tempos de Execução de Fábrica no Diretório do Administrador. Isto está disponível em https://notebookserver.domain.com:11443/arcgis/admin/notebooks/runtimes/restore e restaurará somente os tempos de execução de fábrica para a versão atual do seu site.