Настройка и развёртывание анализа растров

Растровый анализ в ArcGIS Enterprise - это гибкая система обработки, хранения и публикации растров, использующая технологию распределенного вычисления и хранения на основе ArcGIS Image Server. Применяйте анализ растра для использования инструментов и функций обработки растра ArcGIS, создавайте свои собственные функции и инструменты и сочетайте несколько инструментов и функций в цепочки обработки растра для выполнения ваших собственных алгоритмов больших наборов растровых данных. Исходные данные и результаты обработки сохраняются и публикуются в вашей корпорации в соответствии с вашими нуждами и приоритетами.

Эта мощная возможность может быть расширена за счет использования возможностей и ресурсов облачных вычислений. В результате работа по обработке и анализу изображений, которая могла бы занимать дни или недели, теперь длится несколько минут или часов. Поэтому теперь можно обрабатывать задания, которые были слишком большими или сложными.

Введение

Анализ растра - это ArcGIS Image Server, настроенный для анализа растра в среде обработки и хранения, оптимизирующий скорость и эффективность обработки. Встроенные инструменты и функции включают предварительную обработку, ортотрансфорирование и создание мозаики, анализ данных дистанционного зондирования и широкий спектр математических и тригонометрических операторов. Ваши пользовательские функции могут еще больше расширить возможности анализа.

Используйте все возможности ArcGIS Image Server либо гибкую обработку и возможности хранения облачных вычислений и платформ хранения, например ArcGIS Enterprise on Amazon Web Services и ArcGIS Enterprise on Microsoft Azure, для динамического изменения объема – в зависимости от размера и срочности ваших проектов. Масштабируемая среда обработки растра позволяет вам встраивать мощную обработку изображений, которая раньше была недоступна либо требовала огромных ресурсов. Такое внедрение позволит сохранить время, деньги и ресурсы.

Растровый анализ также предназначен для упрощения сотрудничества и совместного использования. Пользователи могут делиться в своей организации данными, моделями обработки и опытам создания вашего проекта, а также делиться результатами обработки с отдельными пользователями, департаментами и организациями.

Настройка развертывания растровой аналитики

Анализ растров состоит из трех компонентов: ArcGIS Enterprise, анализа растра, основанного на ArcGIS Image Server и хост-сайта изображений, в том числе хранилища растровых данных, основанного на ArcGIS Image Server.

Для анализа растров необходимо Базовое развертывание ArcGIS Enterprise, которое предоставляет инфраструктуру для организации и управления вашей распределенной обработкой, хранения и публикации растровых и векторных наборов данных, карт и другой необходимой информации на множестве устройств. Эта система управляет распределением обработки и хранения результатов или локально, под защитой брандмауэра для классифицированных развертываний, в облачных средах обработки и хранения, или в сочетании этих двух сред.

Идеальное развертывание для анализа растров состоит из трех серверных сайтов, выполняющих основные роли сайта размещения изображений, сайта анализа растра и сайта динамических изображений. Для анализа растров нужны две лицензии: ArcGIS Enterprise и ArcGIS Image Server.

Преимущество настройки анализа растров с помощью трех серверов состоит с четко разделенными ролями состоит в увеличении эффективности и продуктивности. Разделение ролей обработки распределенного анализа растров и размещения сервиса изображений позволяет выделять ресурсы определенным задачам без прерываний. Таким образом обращение пользователей за доступом к различным растровым продуктам и сервисам не конкурируют друг с другом и не влияют на ресурсы анализа растров и обработки изображений.

Настройка ArcGIS Enterprise

ArcGIS Enterprise интегрирует компоненты анализа растров для поддержки гибких процессов обработки и хранения растров.

Базовое развертывание ArcGIS Enterprise можно установить на одном или нескольких компьютерах, каждый из них может быть физическим, виртуальным и в облаке. Более подробно о требованиях к аппаратным ресурсам компьютера для компонентов ArcGIS Enterprise см. раздел системные требования.

Процесс установки и настройки базового развертывания ArcGIS Enterprise может быть выполнен вручную или автоматически, с помощью ArcGIS Enterprise Builder.

Esri также предоставляет шаблоны для развертывания ArcGIS Enterprise в облаке. Эти шаблоны настраиваются ArcGIS Enterprise в конфигурации по вашему выбору. Для развертывания, состоящего из одного компьютера, используйте следующие шаблоны:

• Состоящее из одного компьютера развертывание использует шаблоны CloudFormation на Amazon Web Services.

Для развертывания, состоящего из одного компьютера, используйте следующие шаблоны:

• Для локальных развертываний, состоящих из нескольких компьютеров, используйте шаблон конфигурации системы высокой доступности template.
• Создание развертывания ArcGIS Enterprise высокой доступности на Amazon Web Services.

Анализ растров

Распределенная обработка растра выполняется ArcGIS Image Server, присвоенной роли анализа растров. Она выполняет цепочки обработки растровых функций для растров любых поддерживаемых типов. Исходные растровые данные и снимки могут браться из распределенного хранилища растров, локального клиентского приложения, например, ArcGIS Pro или других, не настроенных в вашем развертывании растрового анализа серверов. Для достижения оптимальной эффективности выполнения процессов и производительности ваши исходные данные должны обрабатываться на распределенном хранилище растровых данных.

Участники вашего портала не будут взаимодействовать напрямую с ArcGIS Image Server; они будут использовать ArcGIS Pro, Map Viewer или клиентов, построенных из таких API, как ArcGIS REST API, ArcGIS API for Python или ArcGIS API for JavaScript для выполнения анализа растров. ArcGIS Image Server выполнит реальную обработку, хранение и публикацию ролей.

Вам понадобится задать и интегрировать ArcGIS Image Server в роли сервера анализа растров для выполнения распределенного анализа растров и рабочих процессов обработки растров. Сервер анализа растров автоматически управляет и распределяет задачи обработки изображений и анализа растров на уровне блоков или на уровне сцены, в зависимости от используемых инструментов и функций. Сервер анализа растров управляет распределением результатов обработки либо в ArcGIS Data Store, находящемся на хост-сервере - для векторных данных, или в хранилище растровых данных - для растровых данных и изображений.

Выполнив перечисленные далее действия, вы настроите и развернете ArcGIS Image Server локально для выполнения анализа растров.

Настройка сайта анализа растров в ArcGIS Image Server

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их.

1. Убедитесь, что базовое развертывание ArcGIS Enterprise настроено.
2. Установите дополнительный сайт ArcGIS Server, чтобы он работал как ArcGIS Image Server.
3. Авторизуйте ArcGIS Server лицензией ArcGIS Image Server.
4. Зарегистрируйте хранилище данных на ArcGIS Image Server. Сервисы анализа растров хранят обработанные растры в хранилище данных. Это должно быть либо файловое, либо облачное хранилище.

   Примечание:

   Если в развертывании для задач анализа растров задан хост-сервер изображений, и вы хотите опубликовать сервис изображений, необходимо зарегистрировать одни и те же хранилища растров на хост-сервере изображений и на сервере анализа растров.

   Если входные данные доступны из ваших хранилищ данных, эти хранилища данных должны быть зарегистрированы как на серверах анализа растров, так и на хост-серверах изображений.

   1. Для работы с папкой воспользуйтесь ArcGIS Server Manager, зарегистрируйте хранилище UNC в хранилище данных и дайте ему название.

      Примечание:

      Если у вас задано несколько экземпляров _raster_store, например, raster_store1, raster_store2 и т.д., анализ растра для выполнения запроса случайным образом выберет один из них.

   2. Для работы с облачным хранилищем введите ключ доступа. Настройки облачного хранилища включают поддержку подпапки.

Интеграция и настройка сервера для анализа растров

Затем вы настроите сайт ArcGIS Image Server на выполнения анализа растров.

1. Войдите на портал, как участник портала с правами доступа администратора. URL-адрес имеет формат https://webadaptorhost.domain.com/<webadaptorname>/home.
2. Нажмите Организация > Настройки > Серверы.
3. Интегрируйте свой сайт ArcGIS Image Server с вашим порталом.
4. На странице Серверы найдите сайт ArcGIS Image Server, который вы интегрировали с порталом.
5. Щелкните многоточие рядом с настроенным сервером и выберите Настроить роль сервера.
6. В диалоговом окне Настроить роль сервера включите Анализ растров.
7. Щелкните Сохранить.

Назначение прав доступа

Затем вы назначите минимальные права доступа, необходимые для выполнения анализа растров.

1. Перейдите на страницу Организация > Роли участников.
   1. Рядом с ролью, которая будет выполнять анализ растров, щелкните многоточие и выберите Редактировать.
   2. В окне Редактировать роль разверните Ресурсы.
   3. Включите опции Создание, обновление и удаление и Публикация размещенных векторных слоев.
   4. Раскройте Ресурсы и анализ
   5. Включите Анализ изображений.

Настройка сервисов анализа растров

Рекомендуется настроить сервисы анализа растров и увеличить максимальный объем динамической памяти SOC.

Сервисы анализа растров ArcGIS Image Server имеют стандартную конфигурацию ёмкости обработки. Вам может потребоваться изменить эти настройки в зависимости от доступного аппаратного обеспечения. Выполните вход в ArcGIS Server Manager и перейдите к папке Сервисы > System, где вы можете настроить следующие ГИС-сервисы:

• Для увеличения скорости обработки и ёмкости увеличьте значение максимального числа экземпляров сервиса RasterProcessing.
• Для увеличения доступности результатов анализа увеличьте значение максимального числа экземпляров сервиса RasterRendering.
• Для увеличения количества задач обработки, которые можно будет запустить одновременно, увеличьте значение максимального числа экземпляров сервиса RasterAnalysisTools.

1. Выполните вход в ArcGIS Server Administrator Directory используя URL http://machine.domain.com:6443/arcgis/admin.
2. На главной странице директории щелкните компьютеры.
3. В списке компьютеров выберите первый компьютер с лицензией ArcGIS Image Server, неважно, используется ли он как хост-сервер изображений или как сервер растровой аналитики.
4. В меню Свойства компьютера сервера отметьте значение Максимальный размер SOC. Если установлено 64MB, щелкните Редактировать в списке Поддерживаемые операции.
5. На открывшейся странице Редактировать компьютер измените значение для максимального размера объема динамической памяти SOC с 64MB на 128MB.
6. Щелкните Сохранить изменения. Сервер перезапустится.
7. Повторите эти действия для всех компьютеров вашего развертывания, которые лицензированы с ArcGIS Image Server.

Примечание:

Если вы хотите развернуть свой сервер анализа растров в облаке ArcGIS Enterprise on Amazon Web Services, см. разделы ArcGIS Enterprise Cloud Builder CLI для AWS и AWS CloudFormation и ArcGIS. Если вы хотите развернуть свой сервер анализа растров в облаке Microsoft Azure, см. раздел Развертывание ArcGIS Enterprise на Microsoft Azure.

Настройка временного каталога для формата Облачный растр

Инструменты анализа растров могут использовать временный каталог для ускорения чтения и записи. Каталог имеет два основных назначения:

• Кэширование облачных наборов данных .crf
  • Объединение в себе всех инструментов анализа растров при чтении и записи облачных файлов .crf
  • Использование дискового пространства ограничивается максимум 30 пакетами, кэшированными на каждого открытого набора данных .crf. Используя это число, средний размер пакета (более 50 МБ) и предполагаемое количество открытых наборов данных .crf, можно определить временное пространство, необходимое для каждой SOC-машины.
• Хранение временных данных блока обработки для глобальных инструментов распределенной обработки, включая инструменты Гидрологии, Расстояния и Генерализации.
  • Использование дискового пространства пропорционально размеру первичных входных данных. В зависимости от инструмента, это может быть объем в 3-5 раз больше размера входных данных, распределенный между несколькими SOC-машинами.

Временная папка может быть общей или локальной папкой на каждой SOC-машине. Если временная папка по умолчанию не настроена, она будет размещена в профиле пользователя, например, C:\Users\username\AppData\Local\ESRI\LocalCaches\MapCacheV1.

Существует 2 варианта настройки временной папки для сервера изображений растровой аналитики.

1. Единичный путь к временной папке "localTempFolder" в свойствах системы администрирования сервера, например, https://servername:6443/arcgis/admin/system/properties.

   Он также используется инструментами кэширования сервера, например, {"localTempFolder":"E:/Temp/RA"}.

2. Свойство “localTempFolders” в системных свойствах администрирования сервера, определяющее список путей временных папок (разделенных точкой с запятой), например, https://servername:6443/arcgis/admin/system/properties. Инструменты анализа растров случайным образом выбирают временную папку из списка. Это позволяет использовать несколько локальных дисков на SOC-машинах, например, {"localTempFolders":"E:/Temp/RA;F:/Temp/RA"}, предполагая, что все SOC-машины имеют диски E: and F:.

Список путей временных папок “localTempFolders” имеет более высокий приоритет, чем временная папка, "localTempFolder", если настроены оба параметра.

Настройка временного местоположения для инструментов растрового анализа

Инструменты геообработки для анализа растров Суммировать растр в пределах и Конвертировать растр в объекты могут выполняться параллельно на нескольких компьютерах. Чтобы эти инструменты могли распределять частичные результаты между компьютерами, в хранилище растровых данных для кластера сервера растрового анализа необходимо добавить специально именованные записи. На каждом компьютере необходимо определить быстрый локальный временный каталог и для этого каталога задать UNC-путь, содержащий строку machinename_tmp. Этот путь должен быть добавлен, как публикуемый файл в хранилище растровых данных.

Например, предположим, что в кластере растрового анализа два компьютера с именами workerA и workerB. Создайте временный каталог на каждой машин, на быстром локальном диске с большим количеством места, и определите UNC-пути: \workerA_raster_store_workerA_tmp и \workerB_raster_store_workerB_tmp. Имена могут быть любые, если присутствует текстовая строка machinename_tmp. При выполнении заданий SummarizeRasterWithin или ConverRasterToFeature рабочие машины будут использовать эти местоположения для записи частичных результатов, полученных параллельно. Результаты будут считаны по локальной сети и по мере необходимости собраны вместе при помощи определенной операции.

Хост-сайт изображений

Хост-сайт изображений хранит хранилище растровых данных и управляет как файловым хранилищем, так и облачным хранилищем данных, и распределяет результаты в зависимости от запросов участников портала. Хранилище растровых данных является не частью ArcGIS Data Store, а скорее зарегистрированным файловым или облачным хранилищем данных, интегрированным с ArcGIS Enterprise. Хранилище растровых данных используется сервисами анализа растров для хранения выходных изображений, оптимизированных для чтения, записи и хранения в распределенном формате локально или в облаке.

Преимущество настройки анализа растров с помощью трех серверов состоит с четко разделенными ролями состоит в увеличении эффективности и продуктивности. Разделение ролей обработки распределенного анализа растров и размещения сервиса изображений позволяет выделять ресурсы определенным задачам без прерываний. Таким образом обращение пользователей за доступом к различным растровым продуктам и сервисам не конкурируют друг с другом и не влияют на ресурсы анализа растров и обработки изображений.

Вам понадобится задать и интегрировать второй ArcGIS Image Server, который будет использоваться в качестве хост-сервера изображений, на котором хранятся все распределенные сервисы изображений, создаваемые сервером анализа растров. Он включает хранилище растровых данных, настроенное на работу с ArcGIS Image Server Manager, которое управляет распределенным файловым хранилищем данных и облачным хранилищем, таким как Amazon Simple Storage Service (S3) или хранилищем Blob-объектов сервисов изображений Microsoft Azure. Хост-сервер изображений хранит и возвращает распределенные результаты, запрашиваемые участниками в портале Enterprise. Хост-серверу изображений требуется лицензия ArcGIS Image Server.

Инструкции для определения и настройки хост-сервера изображений подробно описаны ниже.

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их. Для настройки портала на исполнение сервисов размещения растров выполните следующие шаги.

1. Установите ArcGIS Server.
2. Авторизуйте ArcGIS Server лицензией ArcGIS Image Server.
3. Выполните вход в ArcGIS Server Manager и перейдите на Сайт > Хранилища данных. Регистрация нового хранилища растров.

   Хранилище растров – это местоположение для хранения выходных данных анализа растров, и его не следует использовать в качестве папки для хранения входных данных. Файловые хранилища могут быть зарегистрированы непосредственно, как хранилище растровых данных. Для хранилищ на основе облака необходимо сначала зарегистрировать облачное хранилище. Затем создайте растровое хранилище, чтобы использовать это облачное хранилище.

   Примечание:

   Если вы определите сразу несколько хранилищ растров, то сервис анализа растров выберет выходное местоположение в случайном порядке.

4. Убедитесь, что вы увеличили максимальный размер SOC до 128 MB для ArcGIS Image Server. См. шаги с 9a до 9f в разделе выше Настройка сервера анализа растров ArcGIS.

Примечание:

Если вы хотите развернуть свой хост-сервер изображений в облаке Amazon Web Services, см. ArcGIS Enterprise Cloud Builder CLI для AWS. Если вы хотите развернуть свой сервер анализа растров в облаке Microsoft Azure, см. раздел Развертывание ArcGIS Enterprise на Microsoft Azure.

Убедитесь, что вы увеличили максимальный размер SOC до 128 MB для ArcGIS Image Server.

Интеграция и настройка сервера для хостинга изображений

После этого вы назначите сайт ArcGIS Image Server в качестве сайта хостинга ваших сервисов изображений, созданных из слоев изображений.

1. Войдите на портал, как участник портала с правами доступа администратора. URL-адрес имеет формат https://webadaptorhost.domain.com/<webadaptorname>/home.
2. Нажмите Организация > Настройки > Серверы.
3. Интегрируйте свой сайт ArcGIS Server.
4. На странице Серверы найдите сайт ArcGIS Image Server, который вы интегрировали с порталом.
5. Щелкните многоточие рядом с настроенным сервером и выберите Настроить роль сервера.
6. В диалоговом окне Настроить роль сервера включите Размещение изображений.
7. Щелкните Сохранить.

Минимальные требования к системе анализа растров

Если организация ограничила конфликты в терминах конкурирующих ресурсов обработки анализа растров и распределения сервиса изображений, то функциональность сервера анализа растров и хост-сервиса изображений может быть объединена и размещена на одном из серверов, как показано далее: В данной реализации операции анализа растров и обработки изображений выполняются на сайте ArcGIS Image Server, настроенном в качестве сервера анализа растров, в то время как результаты управляются и публикуются с помощью того же сайта ArcGIS Image Server. Сайт ArcGIS Image Server выполняет обработку запросов анализа, сохраняя и возвращая результаты пользователям на веб-сайте Portal for ArcGIS.

Ниже представлена диаграмма минимальной системы анализа растров

Серверу анализа растров и выходному хост-серверу изображений требуется лицензия ArcGIS Image Server.

Инструкции для определения и настройки минимальной системы анализа растров подробно описаны ниже.

Минимальные настройки для системы анализа растров

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их. Для настройки портала на исполнение сервисов размещения растров выполните следующие шаги.

1. Установите ArcGIS Server.
2. Авторизуйте ArcGIS Server лицензией ArcGIS Image Server.
3. Выполните вход в ArcGIS Server Manager и перейдите на Сайт > Хранилища данных. Регистрация нового хранилища растров.

   Хранилище растров – это местоположение для хранения выходных данных анализа растров, и его не следует использовать в качестве папки для хранения входных данных.

   Примечание:

   Если вы определите сразу несколько хранилищ растров, то сервис анализа растров выберет выходное местоположение в случайном порядке.

4. Интегрируйте свой сайт ArcGIS Server с вашим порталом.
5. На странице Серверы найдите сайт ArcGIS Image Server, который вы интегрировали с порталом.
6. Щелкните многоточие рядом с настроенным сервером и выберите Настроить роль сервера.
7. В диалоговом окне Настроить роль сервера включите Анализ растров.
8. Щелкните Сохранить.
9. Назначьте минимальные права доступа, необходимые для выполнения анализа растров.
10. Убедитесь, что вы увеличили максимальный размер SOC до 128 MB для ArcGIS Image Server.