Настройка и развёртывание аналитики растров

Аналитика растров в ArcGIS Enterprise - это гибкая система обработки, хранения и публикации растров, использующая технологию распределенного вычисления и хранения на основе ArcGIS Image Server. Используйте аналитику растров для применения инструментов анализа растра и растровых функций в ArcGIS, создавайте свои собственные функции и инструменты и объединяйте несколько инструментов и функций в последовательности обработки растра для выполнения ваших собственных алгоритмов для больших наборов растровых данных. Исходные данные и результаты обработки сохраняются и публикуются в вашей корпорации в соответствии с вашими нуждами и приоритетами.

Эта мощная возможность может быть расширена за счет использования возможностей и ресурсов облачных вычислений. В результате задания по обработке и анализу изображений, которые могли бы занимать дни или недели, теперь длятся несколько минут или часов. Поэтому теперь можно обрабатывать задания, которые ранее были слишком большими или сложными.

Введение

Аналитика растра доступна с развертыванием ArcGIS Image Server, настроенным для анализа растров. Встроенные инструменты и функции обеспечивают предварительную обработку, ортотрансфорирование и создание мозаики, анализ данных дистанционного зондирования и широкий спектр математических и тригонометрических операторов. Ваши пользовательские функции могут еще больше расширить возможности анализа.

Используйте имеющийся ArcGIS Image Server для настройки развертывания в облачной среде, такой как ArcGIS Enterprise on Amazon Web Services или ArcGIS Enterprise on Microsoft Azure. Масштабируемая среда аналитики растров позволяет вам выполнять обработку изображений, требующую больших вычислительных затрат, которая раньше была недоступна, либо требовала значительных затрат.

Растровая аналитика также предназначена для упрощения сотрудничества и совместного использования. Пользователи могут делиться в своей организации данными, моделями обработки и опытам создания вашего проекта, а также делиться результатами обработки с отдельными пользователями, департаментами и организациями.

Настройка развертывания растровой аналитики

Аналитика растра состоит из трех основных компонентов:ArcGIS Enterprise, анализа растра, основанного на ArcGIS Image Server и хост-сайта изображений, в том числе хранилища растровых данных, основанного на ArcGIS Image Server.

Для анализа растров необходимо базовое развертывание ArcGIS Enterprise, которое предоставляет инфраструктуру для организации и управления вашей распределенной обработкой, хранения и публикации растровых и векторных наборов данных, карт и другой необходимой информации на множестве устройств. Эта система управляет распределением обработки и хранения результатов или локально, под защитой брандмауэра для классифицированных развертываний, в облачных средах обработки и хранения, или в сочетании этих двух сред.

Идеальное развертывание для аналитики растров состоит из трех серверных сайтов, выполняющих основные роли сайта размещения изображений, сайта анализа растра и сайта динамических изображений. Для аналитики растров нужны две лицензии: ArcGIS Enterprise и ArcGIS Image Server.

Преимущество настройки анализа растров с помощью трех серверов состоит с четко разделенными ролями состоит в увеличении эффективности и продуктивности. Разделение ролей обработки распределенного анализа растров и размещения сервиса изображений позволяет выделять ресурсы определенным задачам без прерываний. Таким образом обращение пользователей за доступом к различным растровым продуктам и сервисам не конкурируют друг с другом и не влияют на ресурсы анализа растров и обработки изображений.

Настройка ArcGIS Enterprise

ArcGIS Enterprise интегрирует компоненты аналитики растров для поддержки гибких процессов обработки и хранения растров.

Базовое развертывание ArcGIS Enterprise можно установить на одном или нескольких компьютерах, каждый из них может быть физическим, виртуальным и в облаке. Более подробно о требованиях к аппаратным ресурсам компьютера для компонентов ArcGIS Enterprise см. раздел системные требования.

Процесс установки и настройки базового развертывания ArcGIS Enterprise может быть выполнен вручную или автоматически, с помощью ArcGIS Enterprise Builder.

Esri также предоставляет шаблоны для развертывания ArcGIS Enterprise в облаке. Эти шаблоны настраиваются ArcGIS Enterprise в конфигурации по вашему выбору. Для развертывания, состоящего из одного компьютера, используйте следующие шаблоны:

• Состоящее из одного компьютера развертывание использует шаблоны CloudFormation на Amazon Web Services.

Для развертывания, состоящего из одного компьютера, используйте следующие шаблоны:

• Для локальных развертываний, состоящих из нескольких компьютеров, используйте шаблон конфигурации системы высокой доступности template.
• Создайте отказоустойчивое развертывание ArcGIS Enterprise на Amazon Web Services.

Настройка ArcGIS Image Server для анализа растров

Распределенная обработка растра выполняется ArcGIS Image Server, присвоенного роли анализа растров. Она выполняет цепочки обработки растровых функций для растров любых поддерживаемых типов. Исходные растровые данные и снимки могут браться из распределенного хранилища растров, локального клиентского приложения, например, ArcGIS Pro или других, не настроенных в вашем развертывании растрового анализа серверов. Для достижения оптимальной эффективности выполнения процессов и производительности ваши исходные данные должны обрабатываться на распределенном хранилище растровых данных.

Участники вашего портала не будут взаимодействовать напрямую с ArcGIS Image Server; они будут использовать ArcGIS Pro, Map Viewer Classic или клиентов, построенных из таких API, как ArcGIS REST API, ArcGIS API for Python или ArcGIS API for JavaScript для выполнения анализа растров. ArcGIS Image Server выполнит реальную обработку, хранение и публикацию ролей.

Вам понадобится задать и интегрировать ArcGIS Image Server в роли сервера анализа растров для выполнения распределенного анализа растров и рабочих процессов обработки растров. Сервер анализа растров автоматически управляет и распределяет задачи обработки изображений и анализа растров на уровне блоков или на уровне сцены, в зависимости от используемых инструментов и функций. Сервер анализа растров управляет распределением результатов обработки либо в ArcGIS Data Store, находящемся на хост-сервере - для векторных данных, или в хранилище растровых данных - для растровых данных и изображений.

Выполнив перечисленные далее действия, вы настроите и развернете ArcGIS Image Server локально для выполнения анализа растров.

Настройка сайта анализа растров в ArcGIS Image Server

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их.

1. Убедитесь, что вы настроили базовое развертывание ArcGIS Enterprise.
2. Установите дополнительный сайт ArcGIS Server, чтобы он работал как сайт ArcGIS Image Server.
3. Авторизуйте ArcGIS Server лицензией ArcGIS Image Server.
4. Зарегистрировать хранилище растровых данных с ArcGIS Image Server. Сервисы анализа растров хранят обработанные растры в хранилище данных. Это должно быть либо файловое, либо облачное хранилище.

   Примечание:

   Если в развертывании для задач анализа растров задан хост-сервер изображений, и вы хотите опубликовать сервис изображений, необходимо зарегистрировать одни и те же хранилища растров с одинаковым путем и информацией о подключении на хост-сервере изображений и на сервере анализа растров.

   Если входные данные доступны из ваших хранилищ данных, эти хранилища данных должны быть зарегистрированы как на серверах анализа растров, так и на хост-серверах изображений.

   1. Для работы с папкой воспользуйтесь ArcGIS Server Manager, зарегистрируйте хранилище UNC в хранилище данных и дайте ему название.

      Примечание:

      Если у вас задано несколько экземпляров _raster_store, например, raster_store1, raster_store2 и т.д., анализ растра для выполнения запроса случайным образом выберет один из них.

   2. Для работы с облачным хранилищем введите ключ доступа. Настройки облачного хранилища включают поддержку подпапки.

      

      Примечание:

      Чтобы использовать облачное хранилище в качестве хранилища растров, пользователь учетной записи ArcGIS Server должен иметь права на чтение, запись и удаление в облачном бакете для правильного управления данными.

Интеграция и настройка сервера для анализа растров

Затем вы настроите сайт ArcGIS Image Server на выполнения анализа растров.

1. Войдите на портал как администратор. URL-адрес имеет формат https://webadaptorhost.domain.com/<webadaptorname>/home.
2. Нажмите Организация > Настройки > Серверы.
3. Интегрируйте свой сайт ArcGIS Image Server с вашим порталом.
4. На странице Серверы найдите сайт ArcGIS Image Server, который вы интегрировали с порталом.
5. Откройте диалоговое окно Настроить роль сервера, выполнив одно из следующих действий:
   1. Рядом с Роль сервера щелкните текущую роль сервера или Настроить роль сервера, если в настоящее время роль не назначена.
   2. Нажмите кнопку Дополнительные опции и выберите Настроить роль сервера.
6. В диалоговом окне Настроить роль сервера включите Сервер анализа растров.
7. Щелкните Сохранить.

Назначение прав доступа

Затем вы назначите минимальные права доступа, необходимые для выполнения анализа растров.

1. Перейдите на страницу Организация > Настройки > Роли пользователей.
2. Рядом с ролью, которая будет выполнять анализ растров щелкните Дополнительные опции и выберите Редактировать.
3. В окне Редактировать роль разверните Ресурсы.
4. Включите опции Создание, обновление и удаление и Публикация размещенных векторных слоев.
5. Раскройте Ресурсы и анализ.
6. Включите Стандартный анализ объектов.
7. Включите Анализ изображений.

Настройка сервисов анализа растров

Рекомендуется настроить сервисы анализа растров и увеличить максимальный объем динамической памяти SOC.

Сервисы анализа растров ArcGIS Image Server имеют стандартную конфигурацию ёмкости обработки. Вам может потребоваться изменить эти настройки в зависимости от доступного аппаратного обеспечения. Войдите в ArcGIS Server Manager, щелкните Сервисы и перейдите к папке System, где можно выполнить следующие настройки:

• Для увеличения скорости обработки и ёмкости увеличьте значение максимального числа экземпляров сервиса RasterProcessing.
• Для увеличения доступности результатов анализа увеличьте значение максимального числа экземпляров сервиса RasterRendering.
• Для увеличения количества задач обработки, которые можно будет запустить одновременно, увеличьте значение максимального числа экземпляров сервиса RasterAnalysisTools.

1. Выполните вход в ArcGIS Server Administrator Directory, используя URL http://machine.domain.com:6443/arcgis/admin.
2. На главной странице директории щелкните компьютеры.
3. В списке компьютеров выберите первый компьютер с лицензией ArcGIS Image Server, неважно, используется ли он как хост-сервер изображений или как сервер растровой аналитики.
4. В меню Свойства компьютера сервера отметьте значение Максимальный размер SOC. Если установлено 64MБ, щелкните Редактировать в списке Поддерживаемые операции.

   Откроется страница Редактировать компьютеры.

5. Измените значение Максимальный размер SOC с 64 МБ до 128MБ.
6. Щелкните Сохранить изменения.

   Сервер перезапустится.

7. Повторите эти действия для всех компьютеров вашего развертывания, которые лицензированы с ArcGIS Image Server.

Примечание:

Если вы хотите развернуть свой хост-сервер изображений в облаке ArcGIS Enterprise on Amazon Web Services, см. разделы ArcGIS Enterprise Cloud Builder CLI для AWS и AWS CloudFormation и ArcGIS. Если вы хотите развернуть свой сервер анализа растров в облаке Microsoft Azure, см. раздел Развертывание ArcGIS Enterprise на Microsoft Azure.

Настройка временного каталога для формата Облачный растр

Инструменты анализа растров могут использовать временный каталог для ускорения чтения и записи. Каталог имеет два основных назначения:

• Кэширование облачных наборов данных .crf
  • Объединяет в себе все инструменты анализаа растров при чтении и записи облачных файлов .crf.
  • Использование дискового пространства ограничивается максимум 30 пакетами, кэшированными на каждого открытого набора данных .crf. Используя это число, средний размер пакета (более 50 МБ) и предполагаемое количество открытых наборов данных .crf, можно определить временное пространство, необходимое для каждой SOC-машины.
• Хранение временных данных блока обработки для глобальных инструментов распределенной обработки, включая инструменты Гидрологии, Расстояния и Генерализации
  • Использование дискового пространства пропорционально размеру первичных входных данных. В зависимости от инструмента, это может быть объем в 3-5 раз больше размера входных данных, распределенный между несколькими SOC-машинами.

Временная папка может быть общей или локальной папкой на каждой SOC-машине. Если временная папка по умолчанию не настроена, она будет размещена в профиле пользователя, например, C:\Users\username\AppData\Local\ESRI\LocalCaches\MapCacheV1.

Есть два способа настройки временной папки для сервера изображений аналитики растров.

1. Единичный путь к временной папке "localTempFolder" в свойствах системы администрирования сервера, например, https://servername:6443/arcgis/admin/system/properties.

   Он также используется инструментами кэширования сервера, например, {"localTempFolder":"E:/Temp/RA"}.

2. Свойство “localTempFolders” в системных свойствах администрирования сервера, определяющее список путей временных папок (разделенных точкой с запятой), например, https://servername:6443/arcgis/admin/system/properties. Инструменты анализа растров случайным образом выбирают временную папку из списка. Это позволяет использовать несколько локальных дисков на SOC-машинах, например, {"localTempFolders":"E:/Temp/RA;F:/Temp/RA"}, предполагая, что все SOC-машины имеют диски E: and F:.

Список путей временных папок “localTempFolders” имеет более высокий приоритет, чем временная папка, "localTempFolder", если настроены оба параметра.

Настройка временного местоположения для инструментов растрового анализа

Инструменты геообработки для анализа растров Суммировать растр в пределах и Конвертировать растр в объекты могут выполняться параллельно на нескольких компьютерах. Чтобы эти инструменты могли распределять частичные результаты между компьютерами, в хранилище растровых данных для кластера сервера растровой аналитики необходимо добавить специально именованные записи. На каждом компьютере необходимо определить быстрый локальный временный каталог и для этого каталога задать UNC-путь, содержащий строку machinename_tmp. Этот путь должен быть добавлен, как публикуемый файл в хранилище растровых данных.

Например, предположим, что в кластере растровой аналитики два компьютера с именами workerA и workerB. Создайте временный каталог на каждой машин, на быстром локальном диске с большим количеством места, и определите UNC-пути: \workerA_raster_store_workerA_tmp и \workerB_raster_store_workerB_tmp. Имена могут быть любые, если присутствует текстовая строка machinename_tmp. При выполнении заданий SummarizeRasterWithin или ConverRasterToFeature рабочие машины будут использовать эти местоположения для записи частичных результатов, полученных параллельно. Результаты будут считаны по локальной сети и по мере необходимости собраны вместе при помощи определенной операции.

Настройка хост-сайта изображений

Хост-сайт изображений хранит хранилище растровых данных и управляет как файловым хранилищем, так и облачным хранилищем данных, и распределяет результаты в зависимости от запросов участников портала. Хранилище растровых данных является не частью ArcGIS Data Store, а скорее зарегистрированным файловым или облачным хранилищем данных, интегрированным с ArcGIS Enterprise. Хранилище растровых данных используется сервисами анализа растров для хранения выходных изображений, оптимизированных для чтения, записи и хранения в распределенном формате локально или в облаке.

Преимущество настройки анализа растров с помощью трех серверов состоит с четко разделенными ролями состоит в увеличении эффективности и продуктивности. Разделение ролей обработки распределенного анализа растров и размещения сервиса изображений позволяет выделять ресурсы определенным задачам без прерываний. Таким образом обращение пользователей за доступом к различным растровым продуктам и сервисам не конкурируют друг с другом и не влияют на ресурсы анализа растров и обработки изображений.

Вам понадобится задать и интегрировать второй сайт ArcGIS Image Server, который будет использоваться в качестве хост-сервера изображений, на котором хранятся все распределенные сервисы изображений, создаваемые сервером анализа растров. Он включает хранилище растровых данных, настроенное на работу с ArcGIS Image Server Manager, которое управляет распределенным файловым хранилищем данных и облачным хранилищем, таким как Amazon Simple Storage Service (S3) или хранилищем Blob-объектов сервисов изображений Microsoft Azure. Хост-сервер изображений хранит и возвращает распределенные результаты, запрашиваемые участниками в портале Enterprise. Хост-серверу изображений требуется лицензия ArcGIS Image Server.

Инструкции для определения и настройки хост-сервера изображений подробно описаны ниже.

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их. Для настройки портала на исполнение сервисов размещения растров выполните следующие шаги.

1. Установите ArcGIS Server.
2. Авторизуйте ArcGIS Server лицензией ArcGIS Image Server.
3. Выполните вход в ArcGIS Server Manager и перейдите к Сайт > Хранилища данных. Зарегистрируйте новое хранилище растров.

   Хранилище растров – это местоположение для хранения выходных данных анализа растров, и его не следует использовать в качестве папки для хранения входных данных. Файловые хранилища могут быть зарегистрированы непосредственно, как хранилище растровых данных. Для хранилищ на основе облака необходимо сначала зарегистрировать облачное хранилище. Затем создайте растровое хранилище, чтобы использовать это облачное хранилище.

   Примечание:

   Если задано несколько хранилищ растров, то сервис анализа растров выберет выходное местоположение в случайном порядке.

4. Убедитесь, что вы увеличили максимальный размер SOC до 128 MB для ArcGIS Image Server.

Примечание:

Чтобы развернуть свой хост-сервер изображений в облаке Amazon Web Services, см. раздел ArcGIS Enterprise Cloud Builder CLI для AWS. Чтобы развернуть свой сервер анализа растров в облаке Microsoft Azure, см. раздел Развертывание ArcGIS Enterprise на Microsoft Azure.

Интеграция и настройка сервера для хостинга изображений

После этого вы назначите сайт ArcGIS Image Server в качестве сайта хостинга ваших сервисов изображений, созданных из слоев изображений.

1. Войдите на портал, как участник портала с правами доступа администратора. URL-адрес имеет формат https://webadaptorhost.domain.com/<webadaptorname>/home.
2. Нажмите Организация > Настройки > Серверы.
3. Интегрируйте свой сайт ArcGIS Server.
4. На странице Серверы найдите сайт ArcGIS Image Server, который вы интегрировали с порталом.
5. Откройте диалоговое окно Настроить роль сервера, выполнив одно из следующих действий:
   1. Рядом с Роль сервера щелкните текущую роль сервера или Настроить роль сервера, если в настоящее время роль не назначена.
   2. Нажмите кнопку Дополнительные опции и выберите Настроить роль сервера.
6. В диалоговом окне Настроить роль сервера включите Сервер размещения изображений.
7. Щелкните Сохранить.

Минимальные требования к системе анализа растров

Если организация ограничила конфликты в терминах конкурирующих ресурсов обработки анализа растров и распределения сервиса изображений, то функциональность сервера анализа растров и хост-сервиса изображений может быть объединена и размещена на одном из серверов, как показано далее: В данной реализации операции анализа растров и обработки изображений выполняются на сайте ArcGIS Image Server, настроенном в качестве сервера анализа растров, в то время как результаты управляются и публикуются с помощью того же сайта ArcGIS Image Server. Сайт ArcGIS Image Server выполняет обработку запросов аналитики, сохраняя и возвращая результаты пользователям на веб-сайте Portal for ArcGIS.

Ниже представлена диаграмма минимальной системы анализа растров

Серверу анализа растров и выходному хост-серверу изображений требуется лицензия ArcGIS Image Server.

Инструкции для определения и настройки минимальной системы анализа растров подробно описаны ниже.

Настройка минимальной системы анализа растров

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их. Для настройки портала на исполнение сервисов размещения растров выполните следующие шаги.

1. Установите ArcGIS Server.
2. Авторизуйте ArcGIS Server лицензией ArcGIS Image Server.
3. Выполните вход в ArcGIS Server Manager и перейдите к Сайт > Хранилища данных. Регистрация нового хранилища растров.

   Хранилище растров – это местоположение для хранения выходных данных анализа растров, и его не следует использовать в качестве папки для хранения входных данных.

   Примечание:

   Если задано несколько хранилищ растров, то сервис анализа растров выберет выходное местоположение в случайном порядке.

4. Интегрируйте свой сайт ArcGIS Server с вашим порталом.
5. На странице Серверы найдите сайт ArcGIS Image Server, который вы интегрировали с порталом.
6. Откройте диалоговое окно Настроить роль сервера, выполнив одно из следующих действий:
   1. Рядом с Роль сервера щелкните текущую роль сервера или Настроить роль сервера, если в настоящее время роль не назначена.
   2. Нажмите кнопку Дополнительные опции и выберите Настроить роль сервера.
7. В диалоговом окне Настроить роль сервера включите Сервер анализа растров.
8. Щелкните Сохранить.
9. Назначьте минимальные права доступа, необходимые для выполнения анализа растров.
10. Убедитесь, что вы увеличили максимальный размер SOC до 128 MB для ArcGIS Image Server.