Настройка и развертывание ArcGIS Enterprise для анализа растров

Растровый анализ в ArcGIS Enterprise - это гибкая система обработки, хранения и публикации растров, использующая технологию распределенного вычисления и хранения на основе дополнительного модуля ArcGIS Image Server. Применяйте анализ растра для использования инструментов и функций обработки растра ArcGIS, создавайте свои собственные функции и инструменты и сочетайте несколько инструментов и функций в цепочки обработки растра для выполнения ваших собственных алгоритмов больших наборов растровых данных. Исходные данные и результаты обработки сохраняются и публикуются в вашей корпорации в соответствии с вашими нуждами и приоритетами.

Эта мощная возможность может быть расширена за счет использования возможностей и ресурсов облачных вычислений. В результате работа по обработке и анализу изображений, которая могла бы занимать дни или недели, теперь длится несколько минут или часов. Поэтому теперь можно обрабатывать задания, которые были слишком большими или сложными.

Введение

Анализ растра - это дополнительный модуль ArcGIS Image Server, настроенный для анализа растра в среде обработки и хранения, оптимизирующий скорость и эффективность обработки. Встроенные инструменты и функции включают предварительную обработку, ортотрансфорирование и создание мозаики, анализ данных дистанционного зондирования и широкий спектр математических и тригонометрических операторов. Ваши пользовательские функции могут еще больше расширить возможности анализа.

Используйте все возможности существующего модуля ArcGIS Image Server либо гибкую обработку и возможности хранения облачных вычислений и платформ хранения. например ArcGIS Enterprise on Amazon Web Services и ArcGIS Enterprise on Microsoft Azure для динамического изменения объема - в зависимости от размера и срочности ваших проектов. Масштабируемая среда обработки растра позволяет вам встраивать мощную обработку изображений, которая раньше была недоступна либо требовала огромных ресурсов. Такое внедрение позволит сохранить время, деньги и ресурсы.

Растровый анализ также предназначен для упрощения сотрудничества и совместного использования. Пользователи могут делиться в своей организации данными, моделями обработки и опытам создания вашего проекта, а также делиться результатами обработки с отдельными пользователями, департаментами и организациями.

Настройка развертывания анализа растра

Анализ растров состоит из трех компонентов: ArcGIS Enterprise, анализе растра, основанном на модуле ArcGIS Image Server и хост-сервере изображений, в том числе хранилищ растров, основанных на модуле ArcGIS Image Server.

Для анализа растров необходим ArcGIS Enterprise, который предоставляет инфраструктуру для организации и управления вашей распределенной обработкой, хранения и публикации растровых и векторных наборов данных, карт и другой необходимой информации на множестве устройств. Эта система управляет распределением обработки и хранения результатов или локально, под защитой брандмауэра для классифицированных развертываний, в облачных средах обработки и хранения, или в сочетании этих двух сред.

Она включает Enterprise, ArcGIS Server, ArcGIS Data Store и ArcGIS Web Adaptor. Ознакомьтесь с упражнением для настройки базового развертывания ArcGIS Enterprise.

Идеальное развертывание для анализа растров требует трех серверных сайтов для выполнения основных ролей хост-сервера, сервера анализа растров и хост-сервера изображений. Для анализа растров нужны две лицензии: ArcGIS Enterprise и модуля ArcGIS Image Server.

Преимущество настройки анализа растров с помощью трех серверов состоит с четко разделенными ролями состоит в увеличении эффективности и продуктивности. Разделение ролей обработки распределенного анализа растров и размещения сервиса изображений позволяет выделять ресурсы определенным задачам без прерываний. Таким образом обращение пользователей за доступом к различным растровым продуктам и сервисам не конкурируют друг с другом и не влияют на ресурсы анализа растров и обработки изображений.

ArcGIS Enterprise

ArcGIS Enterprise интегрирует компоненты анализа растров для поддержки гибких процессов обработки и хранения растров.

Хост-сервер - сервер вашего портала для стандартного администрирования и выполнения таких операций, как управления и обработка, хранение и публикация результатов на серверах анализа растров, серверы изображений и хранилища данных. Он также хранит ArcGIS Data Store для ГИС-данных и позволяет пользователям публиковать данные и карты для широкой аудитории и веб-сервисы. Ниже приведены четыре компонента, необходимые для выполнения базового развертывания ArcGIS Enterprise:

• Portal for ArcGIS – сначала вам необходимо установить Portal for ArcGIS, который используется для обмена информацией между клиентами анализа растров, такими как ArcGIS Pro или Map Viewer. Эти клиенты предоставляют интерфейс для настройки и запуска определенных функций растрового анализа, моделей и цепочек функций. Портал ArcGIS Enterprise позволяет опубликовывать и обеспечивать общий доступ к картам, приложениям и другой географической информации для сотрудников вашей организации. См. раздел Начало работы с Portal for ArcGIS для получения дополнительной информации об установке и настройке Portal for ArcGIS с учетом требований вашей организации.
• Сайт ArcGIS Server, для которого используется лицензия ГИС-сервера, назначенный хост-сервером вашего портала. Чтобы назначить ArcGIS Server в качестве хост-сервера, требуется лицензия уровня Server Enterprise Standard или Server Enterprise Advanced.
• Две установки ArcGIS Web Adaptor, где одна из них настроена для работы с порталом, а другая – с ArcGIS Server.
• Одна из установок ArcGIS Data Store настроена в качестве реляционного хранилища данных и задана в качестве управляемой базы данных вашего портала.

Необходимо интегрировать на ваш портал интегрированный хост-сервер, который позволит пользователям публиковать данные и карты в виде веб-сервисов для более широкой аудитории. Администратор портала может активировать эту возможность, настроив ArcGIS Server на работу в качестве хост-сервера. Хост-сервер должен быть настроен на работу с ArcGIS Data Store, настроенному для реляционного хранилища данных. ArcGIS Data Store необходим, поскольку некоторые из сервисов анализа растров будут создавать в качестве результата сервисы объектов, хранящиеся в реляционной базе данных и размещенные на хост-сервере. Информацию о настройке ArcGIS Server в качестве хост-сервера см. в разделе Об использовании сервера с Portal for ArcGIS.

Стандартным является развертывание ArcGIS Server для работы с несколькими сотнями или тысячами сцен и несколькими десятками ГИС-слоев в проекте. Если вы работаете в загруженной среде с несколькими пользователями одновременно либо обрабатываете большие наборы изображений или ГИС-слоев, вам потребуется развертывание ArcGIS Server, состоящее из нескольких компьютеров.

Можно развернуть ArcGIS Enterprise на собственных серверах или в облаке с помощью шаблонов Esri. Эти шаблоны позволяют настроить портал, ГИС хост-сервер и хранилище данных для нужной вам конфигурации. Для развертывания, состоящего из одного компьютера, используйте следующие шаблоны:

• Для локальных развертываний, состоящих из одного компьютера, см. раздел ArcGIS Enterprise Builder.
• Состоящее из одного компьютера развертывание использует шаблоны CloudFormation на Amazon Web Services.

Для развертывания, состоящего из одного компьютера, используйте следующие шаблоны:

• Для локальных развертываний, состоящих из нескольких компьютеров, используйте шаблон конфигурации системы высокой доступности template.
• Создание развертывания ArcGIS Enterprise высокой доступности на Amazon Web Services.

Анализ растров

Распределенная обработка растра выполняется модулем ArcGIS Image Server, присвоенной роли анализа растров. Она выполняет цепочки обработки растровых функций для растров любых поддерживаемых типов. Исходные растровые данные и снимки могут браться из распределенного хранилища растров, локального клиентского приложения, например, ArcGIS Pro или других, не настроенных в вашем развертывании растрового анализа серверов. Для достижения оптимальной эффективности выполнения процессов и производительности ваши исходные данные должны обрабатываться на распределенном хранилище растровых данных.

Пользователи вашего портала не будут напрямую взаимодействовать с ArcGIS Image Server, они будут использовать для анализа растров клиентские приложения ArcGIS Pro или веб-клиентов Map Viewer, ArcGIS REST API, ArcGIS Python API или JS API.ArcGIS Image Server выполнит реальную обработку, хранение и публикацию.

Вам понадобится задать и интегрировать дополнительный модуль ArcGIS Image Server в роли сервера анализа растров для выполнения распределенного анализа растров и обработки рабочих процессов. Сервер анализа растров автоматически управляет и распределяет задачи обработки изображений и анализа растров на уровне блоков или на уровне сцены, в зависимости от используемых инструментов и функций. Сервер анализа растров управлять распределением результатов обработки либо на ArcGIS Data Store, находящемся на хост-сервере, для продуктов векторных данных, или на хранилище растровых данных, для продуктов растровых данных и изображений.

Выполнив перечисленные далее действия, вы настроите и развернете локальный модуль ArcGIS Image Server для выполнения анализа растров.

Настройка сервера анализа растров в ArcGIS

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их.

1. Убедитесь, что базовое ArcGIS Enterprise развертывание настроено.
2. Установите сайт ArcGIS Server для работы в модуле ArcGIS Image Server выступающем в роли сервера анализа растра.
3. Авторизуете ArcGIS Server с помощью лицензии ArcGIS Image Server.
4. Интегрируйте ваш сайт ArcGIS Server с вашим порталом.
5. Зарегистрируйте хранилище данных в модуле ArcGIS Image Server. Сервисы анализа растров хранят обработанные растры в хранилище данных. Это должно быть либо файловое, либо облачное хранилище.

   Примечание:

   Если в развертывании для задач анализа растров задан хост-сервер изображений, и вы хотите опубликовать сервис изображений, необходимо зарегистрировать одни и те же хранилища растров на хост-сервере изображений и на сервере анализа растров.

   Если входные данные доступны из ваших хранилищ данных, эти хранилища данных должны быть зарегистрированы как на серверах анализа растров, так и на хост-серверах изображений.

   1. Для работы с папкой воспользуйтесь ArcGIS Server Manager, зарегистрируйте хранилище UNC в хранилище данных и дайте ему название.

      Примечание:

      Если у вас задано несколько экземпляров _raster_store, например, raster_store1, raster_store2 и т.д., анализ растра для выполнения запроса случайным образом выберет один из них.

   2. Для работы с облачным хранилищем введите ключ доступа. Настройки облачного хранилища включают поддержку подпапки.
6. Назначьте ваш интегрированный дополнительный модуль ArcGIS Image Server для использования в качестве сервера анализа растров вашего портала.
   1. Войдите на веб-сайт портала в качестве администратора и перейдите на страницу Моя организация > Настройки > Серверы.
   2. В разделе Анализ растров на этой странице щелкните ниспадающий список и выберите один из сайтов дополнительного модуля ArcGIS Image Server, который вы интегрировали с порталом. Если вы добавили несколько сайтов модуля ArcGIS Image Server на портал, только один из них можно назначить в качестве сервера анализа растров.
   3. Нажмите Сохранить.

      На странице настроек можно проверить, имеет ли сервер лицензию ArcGIS Image Server.

7. Назначьте минимальные права доступа, необходимые для выполнения анализа растров.
   1. Все еще находясь на веб-сайте портала в качестве администратора, перейдите на страницу Моя организация > Роль.
   2. Рядом с ролью, которая будет выполнять анализ растров, щелкните Редактировать.
   3. Отметьте минимальные права доступа издателя под пунктом Ресурсы, ими являются Создание, обновление и удаление и Публикация размещенных векторных слоев.

      

   4. Отметьте пункт прав доступа Анализ растров под пунктом Ресурсы и анализ.

      

8. Рекомендуется настроить сервисы анализа растров.
Сервисы анализа растров в модуля ArcGIS Image Server имеют стандартную конфигурацию ёмкости обработки. Вам может потребоваться изменить эти настройки в зависимости от доступного аппаратного обеспечения. Выполните вход в ArcGIS Server Manager и перейдите к папке Сервисы > System, где вы можете настроить следующие ГИС-сервисы:
• Для увеличения скорости обработки и ёмкости увеличьте значение максимального числа экземпляров сервиса RasterProcessing.
• Для увеличения доступности результатов анализа увеличьте значение максимального числа экземпляров сервиса RasterRendering.
• Для увеличения количества задач обработки, которые можно будет запустить одновременно, увеличьте значение максимального числа экземпляров сервиса RasterAnalysisTools.
9. Увеличьте максимальный размер SOC.
   1. Выполните вход в ArcGIS Server Administrator Directory используя URL http://machine.domain.com:6443/arcgis/admin>.
   2. На главной странице директории щелкните компьютеры.
   3. В списке компьютеров выберите первый компьютер с лицензией ArcGIS Image Server, неважно, используется ли он как хост-сервер изображений или как сервер растровой аналитики.
   4. В меню Свойства компьютера сервера отметьте значение Максимальный размер SOC. Если установлено 64MB, щелкните Редактировать в списке Поддерживаемые операции.
   5. На открывшейся странице редактировать компьютер измените значение для максимального размера SOC с 64MB на 128MB. Щелкните Сохранить изменения. Сервер перезапустится.
   6. Повторите эти действия для всех компьютеров вашего развертывания, которые лицензированы с ArcGIS Image Server.

Примечание:

Если вы хотите развернуть свой сервер анализа растров в облаке Amazon Web Services, см. разделы ArcGIS Enterprise Cloud Builder CLI для AWS и AWS CloudFormation и ArcGIS. Если вы хотите развернуть свой сервер анализа растров в облаке Microsoft Azure, см. раздел Развертывание ArcGIS Enterprise на Microsoft Azure.

Настройка временного каталога для формата Облачный растр

Инструменты анализа растров могут использовать временный каталог для ускорения чтения и записи. Каталог имеет два основных назначения:

• Кэширование облачных наборов данных .crf
  • Объединение в себе всех инструментов анализа растров при чтении и записи облачных файлов .crf
  • Использование дискового пространства ограничивается максимум 30 пакетами, кэшированными на каждого открытого набора данных .crf. Используя это число, средний размер пакета (более 50 МБ) и предполагаемое количество открытых наборов данных .crf, можно определить временное пространство, необходимое для каждой SOC-машины.
• Хранение временных данных блока обработки для глобальных инструментов распределенной обработки, включая инструменты Гидрологии, Расстояния и Генерализации.
  • Использование дискового пространства пропорционально размеру первичных входных данных. В зависимости от инструмента, это может быть объем в 3-5 раз больше размера входных данных, распределенный между несколькими SOC-машинами.

Временная папка может быть общей или локальной папкой на каждой SOC-машине. Если временная папка по умолчанию не настроена, она будет размещена в профиле пользователя, например, C:\Users\username\AppData\Local\ESRI\LocalCaches\MapCacheV1.

Существует 2 варианта настройки временной папки для сервера изображений растровой аналитики.

1. Единичный путь к временной папке "localTempFolder" в свойствах системы администрирования сервера, например, https://servername:6443/arcgis/admin/system/properties.

   Он также используется инструментами кэширования сервера, например, {"localTempFolder":"E:/Temp/RA"}.

2. Свойство “localTempFolders” в системных свойствах администрирования сервера, определяющее список путей временных папок (разделенных точкой с запятой), например, https://servername:6443/arcgis/admin/system/properties. Инструменты анализа растров случайным образом выбирают временную папку из списка. Это позволяет использовать несколько локальных дисков на SOC-машинах, например, {"localTempFolders":"E:/Temp/RA;F:/Temp/RA"}, предполагая, что все SOC-машины имеют диски E: and F:.

Список путей временных папок “localTempFolders” имеет более высокий приоритет, чем временная папка, "localTempFolder", если настроены оба параметра.

Настройка временного местоположения для инструментов растрового анализа

Инструменты геообработки для анализа растров Суммировать растр в пределах и Конвертировать растр в объекты могут выполняться параллельно на нескольких компьютерах. Чтобы эти инструменты могли распределять частичные результаты между компьютерами, в хранилище растровых данных для кластера сервера растрового анализа необходимо добавить специально именованные записи. На каждом компьютере необходимо определить быстрый локальный временный каталог и для этого каталога задать UNC-путь, содержащий строку machinename_tmp. Этот путь должен быть добавлен, как публикуемый файл в хранилище растровых данных.

Например, предположим, что кластер растрового анализа имеет два компьютера с именами workerA и workerB. Создайте временный каталог на каждой машине, на быстром локальном диске с большим количеством места, и определите UNC-пути: \workerA_raster_store_workerA_tmp и \workerB_raster_store_workerB_tmp. Имена могут быть любые, если присутствует текстовая строка machinename_tmp. При выполнении заданий SummarizeRasterWithin или ConverRasterToFeature рабочие машины будут использовать эти расположения для записи частичных результатов, полученных параллельно. Результаты будут считаны по локальной сети и по мере необходимости собраны вместе при помощи определенной операции.

Хост-сервер изображений

Хост-сервер изображений хранит хранилище растровых данных и управляет как файловым хранилищем, так и облачным хранилищем данных, и распределяет результаты в зависимости от запросов участников портала. Хранилище растровых данных является не частью ArcGIS Data Store, а скорее зарегистрированным файловым или облачным хранилищем данных, интегрированным с ArcGIS Enterprise. Хранилище растровых данных используется сервисами анализа растров для хранения выходных изображений, оптимизированных для чтения, записи и хранения в распределенном формате локально или в облаке.

Преимущество настройки анализа растров с помощью трех серверов состоит с четко разделенными ролями состоит в увеличении эффективности и продуктивности. Разделение ролей обработки распределенного анализа растров и размещения сервиса изображений позволяет выделять ресурсы определенным задачам без прерываний. Таким образом обращение пользователей за доступом к различным растровым продуктам и сервисам не конкурируют друг с другом и не влияют на ресурсы анализа растров и обработки изображений.

Вам понадобится задать и интегрировать второй модуль ArcGIS Image Server, который будет использоваться в качестве хост-сервера изображений, на котором хранятся все распределенные сервисы изображений, создаваемые сервером анализа растров. Он включает хранилище растровых данных, настроенное на работу с менеджером ArcGIS Image Server, которое управляет распределенным файловым хранилищем данных и облачным хранилищем, таким как Amazon Simple Storage Service (S3) или хранилищем Blob-объектов сервисов изображений Microsoft Azure. Хост-сервер изображений хранит и возвращает распределенные результаты, запрашиваемые участниками в портале Enterprise. Хост-серверу изображений требуется лицензия ArcGIS Image Server.

Инструкции для определения и настройки хост-сервера изображений подробно описаны ниже.

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их. Для настройки портала на исполнение сервисов размещения растров выполните следующие шаги.

1. Установите ArcGIS Server.
2. Авторизуете ArcGIS Server с помощью лицензии ArcGIS Image Server.
3. Выполните вход в ArcGIS Server Manager и перейдите на Сайт > Хранилища данных. Регистрация нового хранилища растров.

   Хранилище растров – это местоположение для хранения выходных данных анализа растров, и его не следует использовать в качестве папки для хранения входных данных. Файловые хранилища могут быть зарегистрированы непосредственно, как хранилище растровых данных. Для хранилищ на основе облака необходимо сначала зарегистрировать облачное хранилище. Затем создайте растровое хранилище, чтобы использовать это облачное хранилище.

   Примечание:

   Если вы определите сразу несколько хранилищ растров, то сервис анализа растров выберет выходное местоположение в случайном порядке.

4. Интегрируйте ваш сайт ArcGIS Server с вашим порталом.
5. Обновите свой интегрированный Image Server для использования в качестве хост-сервера изображений вашего :
   1. Войдите на веб-сайт портала в качестве администратора и перейдите на страницу Моя организация > Настройки > Серверы
   2. В разделе Хостинг изображений на этой странице щелкните ниспадающий список и выберите один из сайтов дополнительного модуля ArcGIS Image Server, который вы интегрировали с порталом. Если вы добавили несколько сайтов модуля ArcGIS Image Server на портал, только один из них можно назначить в качестве хост-сервера изображений.
   3. Нажмите Сохранить.
6. Убедитесь, что вы увеличили максимальный размер SOC до 128 MB для модуля ArcGIS Image Server. См. шаги с 9a до 9f в разделе выше Настройка сервера анализа растров ArcGIS.

Примечание:

Если вы хотите развернуть свой хост-сервер изображений в облаке Amazon Web Services, см. ArcGIS Enterprise Cloud Builder CLI для AWS. Если вы хотите развернуть свой сервер анализа растров в облаке Microsoft Azure, см. раздел Развертывание ArcGIS Enterprise на Microsoft Azure.

Минимальные требования к системе анализа растров

Если организация ограничила конфликты в терминах конкурирующих ресурсов обработки анализа растров и распределения сервиса изображений, то функциональность сервера анализа растров и хост-сервиса изображений может быть объединена и размещена на одном из серверов, как показано далее: В данной реализации операции анализа растров и обработки изображений выполняются на сайте ArcGIS Image Server, настроенном в качестве сервера анализа растров, в то время как результаты управляются и публикуются с помощью того же сайта ArcGIS Image Server. Сайт ArcGIS Image Server выполняет обработку запросов анализа, сохраняя и возвращая результаты пользователям на веб-сайте Portal for ArcGIS.

Ниже представлена диаграмма минимальной системы анализа растров

Серверу анализа растров и выходному хост-серверу изображений требуется лицензия ArcGIS Image Server.

Инструкции для определения и настройки минимальной системы анализа растров подробно описаны ниже в разделе Минимальные настройки для системы анализа растров.

Минимальные настройки для системы анализа растров

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их. Для настройки портала на исполнение сервисов размещения растров выполните следующие шаги.

1. Установите ArcGIS Server.
2. Авторизуете ArcGIS Server с помощью лицензии ArcGIS Image Server.
3. Выполните вход в ArcGIS Server Manager и перейдите на Сайт > Хранилища данных. Регистрация нового хранилища растров.

   Хранилище растров – это местоположение для хранения выходных данных анализа растров, и его не следует использовать в качестве папки для хранения входных данных.

   Примечание:

   Если вы определите сразу несколько хранилищ растров, то сервис анализа растров выберет выходное местоположение в случайном порядке.

4. Интегрируйте ваш сайт ArcGIS Server с вашим порталом.
5. Выберите, какой из интегрированных Image Server будет использоваться в качестве сервера анализа растров вашего портала.
   1. Войдите на веб-сайт портала в качестве администратора и перейдите на страницу Моя организация > Настройки > Серверы.
   2. В разделе Анализ растров на этой странице щелкните ниспадающий список и выберите один из сайтов сервера, который вы интегрировали с порталом. Если вы добавили несколько сайтов Image Server в портал, только один из них можно назначить в качестве сервера анализа растров.
   3. Нажмите Сохранить.
6. Назначьте минимальные права доступа, необходимые для выполнения анализа растров.
   1. Все еще находясь на веб-сайте портала в качестве администратора, перейдите на страницу Моя организация > Роль.
   2. Рядом с ролью, которая будет выполнять анализ растров, щелкните Редактировать.
   3. Отметьте минимальные права доступа издателя под пунктом Ресурсы, ими являются Создание, обновление и удаление и Публикация размещенных векторных слоев.

      

   4. Отметьте пункт прав доступа Анализ растров под пунктом Ресурсы и анализ.

      

7. Убедитесь, что вы увеличили максимальный размер SOC до 128 MB для модуля ArcGIS Image Server. См. шаги с 9a до 9f в разделе выше Настройка сервера анализа растров ArcGIS.