Использование моделей глубокого обучения в ArcGIS Notebooks

Глубокое обучение — это быстро развивающийся метод анализа данных машинного обучения, который использует нейронные сети для имитации мыслительных процессов человеческого мозга. При интеграции с ГИС он может обеспечить лучшую обработку данных и более точный анализ данных.

Обычно с алгоритмами машинного обучения связаны три основные проблемы: анализ больших объемов данных, нехватка вычислительных ресурсов, а также эффективность и точность алгоритмов. Интегрируя ArcGIS Notebook Server и алгоритмы глубокого обучения, вы сможете лучше справляться с этими проблемами.

Глубокое обучение в ArcGIS Notebook Server

Модели глубокого обучения для данных изображений, доступные в ArcGIS Notebook Server, делятся на четыре основные категории:

• Классификация объектов — Используется для определения класса объекта. Например, это можно использовать для определения того, повреждено ли здание после стихийного бедствия.
• Обнаружение объекта — Процесс локализации поиска объекта на изображении в ограничивающей рамке. Например, обнаружение объектов можно использовать для выявления плавательных бассейнов на изображении.
• Классификация пикселей — Используется для присвоения классов пикселям в изображении. Например, классификация пикселей может использоваться для классификации почвенно-растительного покрова.
• Классификация экземпляров — Объединяет как обнаружение объектов, так и классификацию пикселей. Классификацию экземпляров можно использовать для обнаружения объекта и его дальнейшей классификации. Например, классификацию пикселей можно использовать при обнаружении повреждений, чтобы не только идентифицировать повреждения, но и дополнительно классифицировать серьезность повреждений.

Примечание:

ArcGIS Notebook Server также поддерживает модели, ориентированные на наборы табличных данных, облака точек и другие структурированные наборы данных.

Сравнение предварительно обученных моделей и обучающих моделей

В ArcGIS модели глубокого обучения можно использовать двумя методами:

• Предварительно обученные модели — Используются для получения предварительных выводов из данных без необходимости использования больших пулов обучающих данных или длительного обучения модели. Хотя это и быстрее, при использовании предварительно обученной модели будет компромисс в точности. Эти модели можно переобучить для повышения их точности.
  • Пример: классификация почвенно-растительного покрова с использованием разреженных обучающих данных с использованием классификатора UNet в качестве предварительно обученной модели
    unet = UnetClassifier(data, backbone='resnet34', ignore_classes=[0])
    unet.show_results()
    unet.per_class_metrics()

• Обучающие модели глубокого обучения - Обучая модель глубокого обучения на большом наборе данных с достаточными ресурсами и временем обучения, вы можете разработать более точную модель.
  • Пример: классификация почвенно-растительного покрова с использованием разреженных обучающих данных с использованием классификатора UNet и переобучение модели
    unet = UnetClassifier(data, backbone='resnet34', ignore_classes=[0])
    unet.lr_find()
    unet.fit(10, lr)                   #10 iterations of model fitting
    unet.show_results()
    unet.per_class_metrics()

Запустите модели глубокого обучения в ArcGIS Notebooks

Чтобы использовать модель глубокого обучения в ArcGIS Notebooks, выполните следующие шаги:

Примечание:

Глубокое обучение требует больших вычислительных ресурсов, поэтому для обработки больших наборов данных рекомендуется использовать мощный графический процессор.

1. Выберите модель глубокого обучения в группе 04_gis_analysts_data_scientists в доступном для загрузки архиве данных.
2. Загрузите файл .ipynb модели, которую вы будете использовать.
3. Щелкните на страницу Ресурсы вашего портала.
4. Щелкните Новый элемент и загрузите файл .ipynb скачанной модели.
5. Откройте блокнот, созданный файлом .ipynb модели.
6. Добавьте данные, которые хотите проанализировать.
7. Запустите следующие разделы блокнота:

   1. Подготовить входные данные
   2. Визуализировать обучающие данные
   3. Загрузить архитектуру модели
   4. Обучить модель

      Примечание:

      Этот раздел можно пропустить, если вы хотите использовать только предварительно обученную модель.

   5. Сохранить модель
   6. Вывод