Настройка ArcGIS Notebook Server для использования графических процессоров

Использование мощностей графических процессоров (ГП) существенно улучшает время обработки для моделей машинного обучения. ArcGIS Notebook Server может использовать преимущества графических процессоров NVIDIA на своем хост-компьютере после выполнения некоторых дополнительных шагов.

После установки и настройки ArcGIS Notebook Server выполните следующие шаги на том же компьютере.

1. Установите соответствующие драйверы NVIDIA на этом компьютере. Полную информацию см. на веб-сайте NVIDIA.
2. Установите среду выполнения nvidia-docker 2.0 на этом компьютере, чтобы контейнеры блокнота могли использовать преимущества ГП. Обратитесь к репозиторию NVIDIA-Docker на GitHub для скачивания ПО и документации для вашей ОС.
3. Запустите следующую команду, чтобы убедиться, что ваши элементы NVIDIA установлены правильно:

   docker run --runtime=nvidia --rm nvidia/cuda:9.0-base nvidia-smi

4. Расширьте существующую среду выполнения блокнота в Dockerfile для установки следующих переменных среды, включив NVIDIA Container Runtime для контейнеров с ГПК-ускорением.

   # Specify the existing notebook runtime imageId as FROM
   FROM <imageID>
   
   # Use RUN to issue a command to install
   # Declare environment variables with ENV
   #RUN conda install <your_preferred_gpu_package>
   ENV NVIDIA_VISIBLE_DEVICES all
   ENV NVIDIA_DRIVER_CAPABILITIES compute,utility
   ENV NVIDIA_REQUIRE_CUDA "cuda>=9.2"

   Вы также можете установить и другие модули Python, которые могут использовать преимущества поддержки графического процессора. Выполните действия, описанные в разделе Расширить среду выполнения блокнота, чтобы создать Dockerfile.

   Выполните следующие шаги, чтобы проверить imageId существующей среды выполнения запроса. Войдите в ArcGIS Notebook Server Administrator Directory по адресу https://notebookserver.domain.com:11443/arcgis/admin, перейдите к notebooks > runtimes", выберите среду выполнения, которую будете использовать в качестве основы для среды выполнения с поддержкой графического процессора, и проверьте свойство ID образа.

   1. Войдите в ArcGIS Notebook Server Administrator Directory в https://notebookserver.domain.com:11443/arcgis/admin.
   2. Щелкните блокноты > среды выполнения.
   3. Выберите среду выполнения, которую будете использовать в качестве основы для среды выполнения с поддержкой графического процессора, и проверьте свойство ID образа.
5. Постройте свой пользовательский образ контейнера с помощью следующего синтаксиса:

   docker build -t myGpuRuntime:v1.0 -f <path_to_Dockerfile> .

   Убедитесь, что поставили точку в конце команды.

   После завершения построения образа появится итоговое сообщение с сокращенным imageId нового образа.

6. Получите полное imageId своего нового контейнера.

   docker inspect <imageId>

7. Войдите в ArcGIS Notebook Server Administrator Directory в https://notebookserver.domain.com:11443/arcgis/admin. Перейдите к блокноты > среды выполнения, выберите среду выполнения, выбранную на шаге 4, и нажмите редактировать.
8. Обновите среду выполнения, чтобы использовать новый пользовательский образ. Замените существующее значение imageId значением своего образа, которое получили в шаге 6.
9. Установите для dockerRuntime значение nvidia. Сохраните изменения.
10. Убедитесь, что вы успешно настроили ArcGIS Notebook Server на использование ГП NVIDIA. Как участник портала с правами на Создание и редактирование блокнотов или Расширенные блокноты, если вы выбрали расширенную среду выполнения на шаге 4, откройте новый блокнот. Скопируйте в ячейку следующее и запустите ее.

    import torch
    torch.cuda.is_available()

    Результат должен вернуться как True, потому что пакет torch.cuda требует запуска графических процессоров.

11. Запустите следующую команду в новой ячейке, чтобы посмотреть конфигурацию ГПК вашего компьютера:

    !nvidia-smi

Чтобы запретить вашему сайту ArcGIS Notebook Server использовать графические процессоры, запустите операцию Restore Factory Runtimes в Administrator Directory. Она доступна по URL https://notebookserver.domain.com:11443/arcgis/admin/notebooks/runtimes/restore.