O ArcGIS Notebook Server inclui dois tempos de execução do notebook (coleções de módulos do Python). Estes tempos de execução estão disponíveis para usuários do notebook através de imagens do contêiner, que são aplicadas a cada contêiner que é executado no site do servidor.
Os tempos de execução Padrão e Avançado do notebook incluem ArcGIS API for Python e vários módulos do Python que podem ser usados para ciência de dados, análise espacial, gerenciamento de conteúdo e administração. O tempo de execução avançado também inclui o ArcPy.
Consulte a lista de bibliotecas do Python disponíveis
Em alguns casos, os autores do seu notebook podem precisar de módulos ou versões específicas de módulos que não estão incluídas nestes dois tempos de execução. Você pode acessar módulos do Python adicionais no ArcGIS Notebook Server nas seguintes maneiras:
- Instale o módulo do Python durante uma sessão do notebook. Isto torna o módulo disponível para uso neste notebook.
- Estenda uma imagem de contêiner da Esri para incluir bibliotecas do Python adicionais em um tempo de execução personalizado. A imagem de contêiner criada por você disponibilizará o tempo de execução estendido para todos os autores do notebook em seu site.
Instalar módulos durante uma sessão
Os autores do notebook podem criar módulos do Python ou versões de módulos, que não estão incluídas no tempo de execução disponível para uso durante uma sessão de notebook utilizando conda ou pip. É recomendado que você utilize conda, pois o ArcGIS Notebook Server utiliza ele para gerenciar módulos; no entanto, alguns módulos do Python estão disponíveis somente no pip.
Esta abordagem instala o módulo desejado pela duração da sessão do notebook. Após o notebook ser fechado ou o contêiner que pertence ao usuário ser finalizado, o módulo não estará mais disponível. Para instalar módulos utilizando este método, os usuários devem ter conectividade com a Internet para os canais conda ou pip.
Anotação:
Ambos conda e pip estão incluídos nos dois tempos de execução do notebook. Você não precisa instalá-los.
Para instalar o pacote scrapy durante uma sessão, por exemplo, execute uma célula do notebook com um dos seguintes comandos, dependendo do sistema de gerenciamento do pacote que você está utilizando:
Utilizando o sistema de gerenciamento de pacote do conda
!conda install --yes scrapyUtilizando o sistema de gerenciamento de pacote do pip
!pip install scrapyPara utilizar uma versão diferente de um módulo do Python no tempo de execução do notebook no qual você está trabalhando, especifique o número da versão no comando.
Você deve reiniciar o kernel após executar um comando conda ou pip para que seu novo pacote esteja disponível.
Por exemplo, um determinado pacote está disponível em ambos os tempos de execução do notebook na versão 1.5, mas você deseja utilizar uma ferramenta introduzida no 1.6. Para disponibilizar a versão 1.6 do pacote durante uma sessão, execute uma célula do notebook com um dos seguintes comandos, dependendo do sistema de gerenciamento do pacote que você está utilizando:
Utilizando o sistema de gerenciamento de pacote do conda
!conda install --yes <package name>==1.6Utilizando o sistema de gerenciamento de pacote do pip
!pip install <package name>==1.6Construir uma imagem de contêiner personalizada
Para fazer alterações persistentes em um tempo de execução do notebook, você pode criar uma imagem de contêiner personalizada em um site. O seguinte fluxo de trabalho, que exige privilégios administrativos, cria uma imagem personalizada e configura o ArcGIS Notebook Server para utilizá-lo.
Utilize um dos dois tempos de execução do notebook (Padrão ou Avançado) como ponto de partida. Após criar seu tempo de execução personalizado, você poderá registrá-lo como um novo tempo de execução em seu site.
- Instale e configure o ArcGIS Notebook Server.
- Entre no Diretório do Administrador ArcGIS Notebook Server coo um administrador.
A URL está formatada como https://notebookserver.domain.com:11443/arcgis/admin/.
- Clique em notebooks > tempos de execução e selecione o tempo de execução do notebook que você deseja estender para sua imagem personalizada.
Na página de recursos do tempo de execução, note o valor de imagem deste tempo de execução. Você incluirá este valor na próxima etapa.
- Crie um Dockerfile que adiciona seus módulos do Python desejados na imagem personalizada.
Um Dockerfile é um arquivo de texto simples de instruções para construir uma imagem de contêiner do Docker. Siga a documentação do Dockerfile para informações e melhores práticas.
Neste exemplo, você adicionará na visualização de dados do Python o pacote graphviz no tempo de execução Avançado do notebook. O seguinte bloco de código no seu Dockerfile informa ao Docker para acessar o tempo de execução Avançado utilizando seu nome repository e tag e para instalar graphviz no tempo de execução. Você pode obter o nome repository e tag usando o comando docker images em uma máquina do ArcGIS Notebook Server onde este runtime está instalado. O comando conda clean é uma prática recomendada para reduzir o tamanho do arquivo.
Use o comando docker images para obter o nome da imagem (repositório) e a tag para um tempo de execução de notebook existente.
docker images REPOSITORY TAG IMAGE ID CREATED SIZE arcgis-notebook-python-advanced 10.8.1.14362 e46a81f69ea0 12 months ago 12.4GB arcgis-notebook-python-standard 10.8.1.14362 106a660a4d0b 12 months ago 7.51GBCrie um tempo de execução personalizado adicionando o pacote de visualização de dados do Python graphviz para o tempo de execução Avançado do notebook
# Specify the existing notebook runtime imageId as FROM FROM arcgis-notebook-python-advanced:10.8.1.14362 # Use RUN to issue a command to install, then clean RUN conda install graphviz \ && conda clean -y -aNeste exemplo, você criará um tempo de execução personalizado que inclui bibliotecas de cliente da Oracle.
## Using a Dockerfile to build a custom notebook runtime that includes Oracle client FROM arcgis-notebook-python-advanced:10.8.1.14362 ## Switch to root user for installing OS level packages. USER root ## Combine OS level statements for Docker image efficiency RUN apt-get update && \ apt-get install -y alien ## Update the url below to the desired version of Oracle client. RUN wget https://yum.oracle.com/repo/OracleLinux/OL8/oracle/instantclient/x86_64/getPackage/oracle-instantclient19.10-basic-19.10.0.0.0-1.x86_64.rpm RUN alien -i oracle-instantclient19.10-basic-19.10.0.0.0-1.x86_64.rpm ## Installing libaio1 is required only for Notebook runtimes version 5 (10.9) or earlier. RUN apt-get install -y libaio1 ## Switch back to arcgis user at end of the Dockerfile USER arcgis - Salve seu Dockerfile na máquina em uma nova pasta que somente contenha o Dockerfile.
- Crie sua nova imagem de contêiner personalizada utilizando um comando Docker.
Esta imagem conterá um novo tempo de execução como especificado em seu Dockerfile. Abra um terminal e execute um comando com a seguinte sintaxe:
docker build -t arcgis-notebook-python-advanced-custom:10.8.1.14362 -f /data/DockerfileDir/Dockerfile .Anotação:
Certifique-se de incluir o ponto no final do comando.
Quando o comando for executado, o Docker construirá a nova imagem de contêiner. A última linha na saída do comando será Successfully built <imageId> com o valor de ID abreviado da nova imagem. Você deve fornecer ao seu site do ArcGIS Notebook Server seu valor imageId completo.
- Execute o seguinte comando no seu terminal para obter o valor de ID da imagem:
docker inspect <imageId>Se você tiver um site do Notebook Server com uma única máquina, pode pular as etapas de 8 a 10. Se você tiver um site do Notebook Server com várias máquinas, conclua as etapas 8 a 10.
- Salve a imagem personalizada do Docker como um arquivo *.tar utililzando docker save.
Abra uma janela de comando na máquina Notebook Server onde a imagem de tempo de execução personalizado está instalada e execute o seguinte comando para salvar a imagem de tempo de execução customizado como um arquivo *.tar.
docker save arcgis-notebook-python-advanced-custom:10.9.1.28156 > arcgis-notebook-python-advanced-custom.tar - Em cada máquina onde Notebook Server está instalado, carregue a imagem de tempo de execução personalizado usando o utilitário postinstallation do ArcGIS Notebook Server.
- Abra uma janela de comando como administrador.
- Altere os diretórios para a pasta do utilitário postinstallation do ArcGIS Notebook Server.
Caminho padrão: ${HOME}/arcgis/notebookserver/tools/postInstallUtility
- Instale sua imagem personalizada Docker especificando o caminho do arquivo.
./PostInstallUtility.sh -l <path of .tar Custom Docker image>
- Repita a etapa 9 em cada máquina participante de seu site do ArcGIS Notebook Server.
Sua imagem personalizada é agora construída e você tem seu valor completo imageId, que você utilizará para registrá-lo com o site ArcGIS Notebook Server na próxima seção.
Registre um novo tempo de execução no Manager
Com início na versão 10.8, você pode utilizar ArcGIS Notebook Server Manager para registrar um tempo de execução personalizado que você criou.
- Entre no seu portal do ArcGIS Enterprise como um administrador e abra o ArcGIS Notebook Server Manager.
- Abra a página Configurações e clique em Tempos de execução.
- Clique em Registrar Tempo de Execução para abrir a caixa de diálogo de registro.
- Especifique os valores apropriados para concluir o registro.
Parâmetro Detalhes name (Exigido)
Uma string para representar o novo tempo de execução, como "Notebook Custom Runtime Python 3".
version (Exigido)
A versão do tempo de execução fornecido pela Esri usado como a imagem de base do Docker.
Validado:
Este parâmetro foi descontinuado a partir da versão ArcGIS Notebook Server 10.9
imageId (Exigido)
ID completo (não truncado) para a nova imagem do Docker, quando ela foi construída.
containerType (Opcional)
O único valor válido é docker.
imagePullString (Opcional)
Não aplicável.
requiresAdvancedPrivileges (Exigido)
Defina esse valor para true se o tempo de execução exigir privilégios avançados.
Valores: true | false
maxCPU (Exigido)
O número máximo de unidades de CPU para ser utilizado para cada contêiner.
maxMemory (Exigido)
A quantidade máxima de memória a ser utilizada para cada contêiner.
maxMemoryUnit (Exigido)
A unidade especificada pelo parâmetro maxMemory.
maxSwapMemory (Opcional)
A quantidade máxima de memória swap disponível para cada contêiner se atingir o limite maxMemory.
maxSwapMemoryUnit (Opcional)
A unidade especificada pelo parâmetro maxSwapMemory.
sharedMemory (Opcional)
A quantidade de memória compartilhada disponível para cada contêiner.
sharedMemoryUnit (Opcional)
A unidade especificada pelo parâmetro sharedMemory.
dockerRuntime (Opcional)
Aplica-se apenas a tempos de execução de GPU em ambientes Linux.
manifestFile (Opcional)
O caminho completo para um arquivo .json (em codificação UTF-8 ou ANSI) contendo a lista de bibliotecas Python no tempo de execução.
f (Opcional)
O formato de resposta padrão. O formato de resposta padrão é html.
Valores: html | json | pjson
createManifestFile (Opcional)
Se definido como true, um arquivo de manifesto .json será criado automaticamente para a imagem do Docker registrada como o tempo de execução do notebook. Fornecer um arquivo para o parâmetro manifestFile substitui essa configuração.
Valores: true
Anotação:
Para criar um arquivo manifest.json, abra um terminal na máquina ArcGIS Notebook Server onde a imagem de tempo de execução do notebook personalizado está instalada e execute o seguinte comando:
ID=$(docker container run -d --rm -it -v /:/host <custom_runtime_image_ID> /bin/bash) && docker exec -it $ID /opt/conda/bin/conda list --json >> ~/manifest.json && docker kill $ID - Quando você estiver pronto, clique em Salvar para registrar o novo tempo de execução.
- Abra um novo notebook para testar esta atualização. Verifique se os módulos ou versões dos módulos adicionados à sua imagem personalizada estão disponíveis no notebook.
Para retornar os tempos de execução em seu site do ArcGIS Notebook Server para as configurações originais, utilize a operação Restaurar Tempos de Execução de Fábrica no Diretório do Administrador. Isto está disponível em https://notebookserver.domain.com:11443/arcgis/admin/notebooks/runtimes/restore e restaurará somente os tempos de execução de fábrica para a versão atual do seu site.