Настройка и развёртывание анализа растров.

Растровый анализ в ArcGIS Enterprise - это гибкая система обработки, хранения и публикации растров, использующая технологию распределенного вычисления и хранения на основе дополнительного модуля ArcGIS Image Server. Применяйте анализ растра для использования инструментов и функций обработки растра ArcGIS, создавайте свои собственные функции и инструменты и сочетайте несколько инструментов и функций в цепочки обработки растра для выполнения ваших собственных алгоритмов больших наборов растровых данных. Исходные данные и результаты обработки сохраняются и публикуются в вашей корпорации в соответствии с вашими нуждами и приоритетами.

Эта мощная возможность может быть расширена за счет использования возможностей и ресурсов облачных вычислений. В результате работа по обработке и анализу изображений, которая могла бы занимать дни или недели, теперь длится несколько минут или часов. Поэтому теперь можно обрабатывать задания, которые были слишком большими или сложными.

Введение

Анализ растра - это дополнительный модуль ArcGIS Image Server, настроенный для анализа растра в среде обработки и хранения, оптимизирующий скорость и эффективность обработки. Встроенные инструменты и функции включают предварительную обработку, ортотрансфорирование и создание мозаики, анализ данных дистанционного зондирования и широкий спектр математических и тригонометрических операторов. Ваши пользовательские функции могут еще больше расширить возможности анализа.

Используйте все возможности существующего модуля ArcGIS Image Server либо гибкую обработку и возможности хранения облачных вычислений и платформ хранения, например ArcGIS Enterprise on Amazon Web Services и ArcGIS Enterprise on Microsoft Azure для динамического изменения объема – в зависимости от размера и срочности ваших проектов. Масштабируемая среда обработки растра позволяет вам встраивать мощную обработку изображений, которая раньше была недоступна либо требовала огромных ресурсов. Такое внедрение позволит сохранить время, деньги и ресурсы.

Растровый анализ также предназначен для упрощения сотрудничества и совместного использования. Пользователи могут делиться в своей организации данными, моделями обработки и опытам создания вашего проекта, а также делиться результатами обработки с отдельными пользователями, департаментами и организациями.

Настройка развертывания растровой аналитики

Анализ растров состоит из трех компонентов: ArcGIS Enterprise; анализ растра, основанный на модуле ArcGIS Image Server, и хост сервер изображений, в том числе хранилищ растров, основанный на модуле ArcGIS Image Server.

Для анализа растров необходимо Базовое развертывание ArcGIS Enterprise, которое предоставляет инфраструктуру для организации и управления вашей распределенной обработкой, хранения и публикации растровых и векторных наборов данных, карт и другой необходимой информации на множестве устройств. Эта система управляет распределением обработки и хранения результатов или локально, под защитой брандмауэра для классифицированных развертываний, в облачных средах обработки и хранения, или в сочетании этих двух сред.

Идеальное развертывание для анализа растров состоит из трех серверных сайтов, выполняющих основные роли сайта размещения изображений, сайта анализа растра и сайта динамических изображений. Для анализа растров нужны две лицензии: ArcGIS Enterprise и модуля ArcGIS Image Server.

Преимущество настройки анализа растров с помощью трех серверов состоит с четко разделенными ролями состоит в увеличении эффективности и продуктивности. Разделение ролей обработки распределенного анализа растров и размещения сервиса изображений позволяет выделять ресурсы определенным задачам без прерываний. Таким образом обращение пользователей за доступом к различным растровым продуктам и сервисам не конкурируют друг с другом и не влияют на ресурсы анализа растров и обработки изображений.

Настройка ArcGIS Enterprise

ArcGIS Enterprise интегрирует компоненты анализа растров для поддержки гибких процессов обработки и хранения растров.

ArcGIS EnterpriseБазовое развертывание можно установить на одном или нескольких компьютерах, каждый из них может быть физическим, виртуальным и в облаке. Более подробно о требованиях к аппаратным ресурсам компьютера для компонентов ArcGIS Enterprise см. раздел системные требования.

Процесс установки и настройки базового развертывания ArcGIS Enterprise может быть выполнен вручную или автоматически, с помощью ArcGIS Enterprise Builder.

Esri также предоставляет шаблоны для развертывания ArcGIS Enterprise в облаке. Эти шаблоны настраиваются в конфигурации ArcGIS Enterprise по вашему выбору. Для развертывания, состоящего из одного компьютера, используйте следующие шаблоны:

• Состоящее из одного компьютера развертывание использует шаблоны CloudFormation на Amazon Web Services.

Для развертывания, состоящего из одного компьютера, используйте следующие шаблоны:

• Для локальных развертываний, состоящих из нескольких компьютеров, используйте шаблон конфигурации системы высокой доступности template.
• Создание развертывания ArcGIS Enterprise высокой доступности на Amazon Web Services.

Анализ растров

Распределенная обработка растра выполняется модулем ArcGIS Image Server, присвоенной роли анализа растров. Она выполняет цепочки обработки растровых функций для растров любых поддерживаемых типов. Исходные растровые данные и снимки могут браться из распределенного хранилища растров, локального клиентского приложения, например, ArcGIS Pro или других, не настроенных в вашем развертывании растрового анализа серверов. Для достижения оптимальной эффективности выполнения процессов и производительности ваши исходные данные должны обрабатываться на распределенном хранилище растровых данных.

Пользователи вашего портала не будут взаимодействовать напрямую с расширением ArcGIS Image Server; они будут использовать ArcGIS Pro, Map Viewer, или клиентов, построенных из таких API, как ArcGIS REST API, ArcGIS API for Python или ArcGIS API for JavaScript для выполнения растрового анализа. ArcGIS Image Server выполнит актуальную обработку, хранение и публикацию.

Вам понадобится задать и интегрировать дополнительный модуль ArcGIS Image Server в роли сервера анализа растров для выполнения распределенного анализа растров и обработки рабочих процессов. Сервер анализа растров автоматически управляет и распределяет задачи обработки изображений и анализа растров на уровне блоков или на уровне сцены, в зависимости от используемых инструментов и функций. Сервер анализа растров управлять распределением результатов обработки либо на ArcGIS Data Store, находящемся на хост-сервере, для продуктов векторных данных, или на хранилище растровых данных, для продуктов растровых данных и изображений.

Выполнив перечисленные далее действия, вы настроите и развернете локальный модуль ArcGIS Image Server для выполнения анализа растров.

Настройка сайта анализа растров в расширении ArcGIS Image Server

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их.

1. Убедитесь, что базовое ArcGIS Enterprise развертывание настроено.
2. Установите сайт ArcGIS Server для работы в модуле ArcGIS Image Server выступающем в роли сервера анализа растра.
3. Авторизуете ArcGIS Server с помощью лицензии ArcGIS Image Server.
4. Зарегистрируйте хранилище данных в модуле ArcGIS Image Server. Сервисы анализа растров хранят обработанные растры в хранилище данных. Это должно быть либо файловое, либо облачное хранилище.

   Примечание:

   Если в развертывании для задач анализа растров задан хост-сервер изображений, и вы хотите опубликовать сервис изображений, необходимо зарегистрировать одни и те же хранилища растров на хост-сервере изображений и на сервере анализа растров.

   Если входные данные доступны из ваших хранилищ данных, эти хранилища данных должны быть зарегистрированы как на серверах анализа растров, так и на хост-серверах изображений.

   1. Для работы с папкой воспользуйтесь ArcGIS Server Manager, зарегистрируйте хранилище UNC в хранилище данных и дайте ему название.

      Примечание:

      Если у вас задано несколько экземпляров _raster_store, например, raster_store1, raster_store2 и т.д., анализ растра для выполнения запроса случайным образом выберет один из них.

   2. Для работы с облачным хранилищем введите ключ доступа. Настройки облачного хранилища включают поддержку подпапки.
5. Интегрируйте сайт вашего расширения ArcGIS Image Server с порталом..
6. Назначьте ваш интегрированный дополнительный модуль ArcGIS Image Server для использования в качестве сервера анализа растров вашего портала.
   1. Войдите на портал в качестве администратора и перейдите на страницу Моя организация > Настройки > Серверы..
   2. В разделе Анализ растров на этой странице щелкните ниспадающий список и выберите один из сайтов дополнительного модуля ArcGIS Image Server, который вы интегрировали с порталом. Если вы добавили несколько сайтов модуля ArcGIS Image Server на портал, только один из них можно назначить в качестве сервера анализа растров.
   3. Нажмите Сохранить.

      На странице настроек можно проверить, имеет ли сервер лицензию ArcGIS Image Server.

7. Назначьте минимальные права доступа, необходимые для выполнения анализа растров.
   1. Все еще находясь на портале в качестве администратора, перейдите на страницу Моя организация > Роль.
   2. Рядом с ролью, которая будет выполнять анализ растров, щелкните Редактировать.
   3. Отметьте минимальные права доступа издателя под пунктом Ресурсы, ими являются Создание, обновление и удаление и Публикация размещенных векторных слоев.

      

   4. Отметьте пункт прав доступа Анализ растров под пунктом Ресурсы и анализ.

      

8. Рекомендуется настроить сервисы анализа растров.
Сервисы анализа растров в модуля ArcGIS Image Server имеют стандартную конфигурацию ёмкости обработки. Вам может потребоваться изменить эти настройки в зависимости от доступного аппаратного обеспечения. Выполните вход в ArcGIS Server Manager и перейдите к папке Сервисы > System, где вы можете настроить следующие ГИС-сервисы:
• Для увеличения скорости обработки и ёмкости увеличьте значение максимального числа экземпляров сервиса RasterProcessing.
• Для увеличения доступности результатов анализа увеличьте значение максимального числа экземпляров сервиса RasterRendering.
• Для увеличения количества задач обработки, которые можно будет запустить одновременно, увеличьте значение максимального числа экземпляров сервиса RasterAnalysisTools.
9. Увеличьте максимальный размер SOC.
   1. Выполните вход в Administrator Directory ArcGIS Server используя URLhttp://machine.domain.com:6443/arcgis/admin> .
   2. На главной странице директории щелкните компьютеры.
   3. В списке компьютеров выберите первый компьютер с лицензией ArcGIS Image Server, неважно, используется ли он как хост-сервер изображений или как сервер растровой аналитики.
   4. В меню Свойства компьютера сервера отметьте значение Максимальный размер SOC. Если установлено 64MB, щелкните Редактировать в списке Поддерживаемые операции.
   5. На открывшейся странице редактировать компьютер измените значение для максимального размера SOC с 64MB на 128MB. Щелкните Сохранить изменения. Сервер перезапустится.
   6. Повторите эти действия для всех компьютеров вашего развертывания, которые лицензированы с ArcGIS Image Server.

Примечание:

Если вы хотите развернуть свой сервер анализа растров в облаке ArcGIS Enterprise on Amazon Web Services, см. разделы ArcGIS Enterprise Cloud Builder CLI для AWS и AWS CloudFormation и ArcGIS. Если вы хотите развернуть свой сервер анализа растров в облаке Microsoft Azure, см. раздел Развертывание ArcGIS Enterprise на Microsoft Azure.

Настройка временного каталога для формата Облачный растр

Инструменты анализа растров могут использовать временный каталог для ускорения чтения и записи. Каталог имеет два основных назначения:

• Кэширование облачных наборов данных .crf
  • Объединение в себе всех инструментов анализа растров при чтении и записи облачных файлов .crf
  • Использование дискового пространства ограничивается максимум 30 пакетами, кэшированными на каждого открытого набора данных .crf. Используя это число, средний размер пакета (более 50 МБ) и предполагаемое количество открытых наборов данных .crf, можно определить временное пространство, необходимое для каждой SOC-машины.
• Хранение временных данных блока обработки для глобальных инструментов распределенной обработки, включая инструменты Гидрологии, Расстояния и Генерализации.
  • Использование дискового пространства пропорционально размеру первичных входных данных. В зависимости от инструмента, это может быть объем в 3-5 раз больше размера входных данных, распределенный между несколькими SOC-машинами.

Временная папка может быть общей или локальной папкой на каждой SOC-машине. Если временная папка по умолчанию не настроена, она будет размещена в профиле пользователя, например, C:\Users\username\AppData\Local\ESRI\LocalCaches\MapCacheV1.

Существует 2 варианта настройки временной папки для сервера изображений растровой аналитики.

1. Единичный путь к временной папке "localTempFolder" в свойствах системы администрирования сервера, например, https://servername:6443/arcgis/admin/system/properties.

   Он также используется инструментами кэширования сервера, например, {"localTempFolder":"E:/Temp/RA"}.

2. Свойство “localTempFolders” в системных свойствах администрирования сервера, определяющее список путей временных папок (разделенных точкой с запятой), например, https://servername:6443/arcgis/admin/system/properties. Инструменты анализа растров случайным образом выбирают временную папку из списка. Это позволяет использовать несколько локальных дисков на SOC-машинах, например, {"localTempFolders":"E:/Temp/RA;F:/Temp/RA"}, предполагая, что все SOC-машины имеют диски E: and F:.

Список путей временных папок “localTempFolders” имеет более высокий приоритет, чем временная папка, "localTempFolder", если настроены оба параметра.

Настройка временного местоположения для инструментов растрового анализа

Инструменты геообработки для анализа растров Суммировать растр в пределах и Конвертировать растр в объекты могут выполняться параллельно на нескольких компьютерах. Чтобы эти инструменты могли распределять частичные результаты между компьютерами, в хранилище растровых данных для кластера сервера растрового анализа необходимо добавить специально именованные записи. На каждом компьютере необходимо определить быстрый локальный временный каталог и для этого каталога задать UNC-путь, содержащий строку machinename_tmp. Этот путь должен быть добавлен, как публикуемый файл в хранилище растровых данных.

Например, предположим, что кластер растрового анализа имеет два компьютера с именами workerA и workerB. Создайте временный каталог на каждой машине, на быстром локальном диске с большим количеством места, и определите UNC-пути: \workerA_raster_store_workerA_tmp и \workerB_raster_store_workerB_tmp. Имена могут быть любые, если присутствует текстовая строка machinename_tmp. При выполнении заданий SummarizeRasterWithin или ConverRasterToFeature рабочие машины будут использовать эти расположения для записи частичных результатов, полученных параллельно. Результаты будут считаны по локальной сети и по мере необходимости собраны вместе при помощи определенной операции.

Хост-сайт изображений

Хост-сайт изображений хранит хранилище растровых данных и управляет как файловым хранилищем, так и облачным хранилищем данных, и распределяет результаты в зависимости от запросов участников портала. Хранилище растровых данных является не частью ArcGIS Data Store, а скорее зарегистрированным файловым или облачным хранилищем данных, интегрированным с ArcGIS Enterprise. Хранилище растровых данных используется сервисами анализа растров для хранения выходных изображений, оптимизированных для чтения, записи и хранения в распределенном формате локально или в облаке.

Преимущество настройки анализа растров с помощью трех серверов состоит с четко разделенными ролями состоит в увеличении эффективности и продуктивности. Разделение ролей обработки распределенного анализа растров и размещения сервиса изображений позволяет выделять ресурсы определенным задачам без прерываний. Таким образом обращение пользователей за доступом к различным растровым продуктам и сервисам не конкурируют друг с другом и не влияют на ресурсы анализа растров и обработки изображений.

Вам понадобится задать и интегрировать второй модуль ArcGIS Image Server, который будет использоваться в качестве хост-сервера изображений, на котором хранятся все распределенные сервисы изображений, создаваемые сервером анализа растров. Он включает хранилище растровых данных, настроенное на работу с менеджером ArcGIS Image Server, которое управляет распределенным файловым хранилищем данных и облачным хранилищем, таким как Amazon Simple Storage Service (S3) или хранилищем Blob-объектов сервисов изображений Microsoft Azure. Хост-сервер изображений хранит и возвращает распределенные результаты, запрашиваемые участниками в портале Enterprise. Хост-серверу изображений требуется лицензия ArcGIS Image Server.

Инструкции для определения и настройки хост-сервера изображений подробно описаны ниже.

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их. Для настройки портала на исполнение сервисов размещения растров выполните следующие шаги.

1. Установите ArcGIS Server.
2. Авторизуете ArcGIS Server с помощью лицензии ArcGIS Image Server.
3. Выполните вход в ArcGIS Server Manager и перейдите на Сайт > Хранилища данных. Регистрация нового хранилища растров.

   Хранилище растров – это местоположение для хранения выходных данных анализа растров, и его не следует использовать в качестве папки для хранения входных данных. Файловые хранилища могут быть зарегистрированы непосредственно, как хранилище растровых данных. Для хранилищ на основе облака необходимо сначала зарегистрировать облачное хранилище. Затем создайте растровое хранилище, чтобы использовать это облачное хранилище.

   Примечание:

   Если вы определите сразу несколько хранилищ растров, то сервис анализа растров выберет выходное местоположение в случайном порядке.

4. Интегрируйте свой сайт ArcGIS Server с вашим порталом.
5. Обновите свой интегрированный Image Server для использования в качестве хост-сервера изображений вашего :
   1. Войдите на веб-сайт портала в качестве администратора и перейдите на страницу Моя организация > Настройки > Серверы
   2. В разделе Хостинг изображений на этой странице щелкните ниспадающий список и выберите один из сайтов дополнительного модуля ArcGIS Image Server, который вы интегрировали с порталом. Если вы добавили несколько сайтов модуля ArcGIS Image Server на портал, только один из них можно назначить в качестве хост-сервера изображений.
   3. Нажмите Сохранить.
6. Убедитесь, что вы увеличили максимальный размер SOC до 128 MB для модуля ArcGIS Image Server. См. шаги с 9a до 9f в разделе выше Настройка сервера анализа растров ArcGIS.

Примечание:

Если вы хотите развернуть свой хост-сервер изображений в облаке Amazon Web Services, см. ArcGIS Enterprise Cloud Builder CLI для AWS. Если вы хотите развернуть свой сервер анализа растров в облаке Microsoft Azure, см. раздел Развертывание ArcGIS Enterprise на Microsoft Azure.

Минимальные требования к системе анализа растров

Если организация ограничила конфликты в терминах конкурирующих ресурсов обработки анализа растров и распределения сервиса изображений, то функциональность сервера анализа растров и хост-сервиса изображений может быть объединена и размещена на одном из серверов, как показано далее: В данной реализации операции анализа растров и обработки изображений выполняются на сайте ArcGIS Image Server, настроенном в качестве сервера анализа растров, в то время как результаты управляются и публикуются с помощью того же сайта ArcGIS Image Server. Сайт ArcGIS Image Server выполняет обработку запросов анализа, сохраняя и возвращая результаты пользователям на веб-сайте Portal for ArcGIS.

Ниже представлена диаграмма минимальной системы анализа растров

Серверу анализа растров и выходному хост-серверу изображений требуется лицензия ArcGIS Image Server.

Инструкции для определения и настройки минимальной системы анализа растров подробно описаны ниже в разделе Минимальные настройки для системы анализа растров.

Минимальные настройки для системы анализа растров

Для выполнения следующих инструкций может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их. Для настройки портала на исполнение сервисов размещения растров выполните следующие шаги.

1. Установите ArcGIS Server.
2. Авторизуете ArcGIS Server с помощью лицензии ArcGIS Image Server.
3. Выполните вход в ArcGIS Server Manager и перейдите на Сайт > Хранилища данных. Регистрация нового хранилища растров.

   Хранилище растров – это местоположение для хранения выходных данных анализа растров, и его не следует использовать в качестве папки для хранения входных данных.

   Примечание:

   Если вы определите сразу несколько хранилищ растров, то сервис анализа растров выберет выходное местоположение в случайном порядке.

4. Интегрируйте свой сайт ArcGIS Server с вашим порталом.
5. Выберите ваш интегрированный ArcGIS Image Server для использования в качестве сервера анализа растров вашего портала.
   1. Войдите на портал в качестве администратора и перейдите на страницу Моя организация > Настройки > Серверы..
   2. В разделе Анализ растров на этой странице щелкните ниспадающий список и выберите один из сайтов сервера, который вы интегрировали с порталом. Если вы добавили несколько сайтов ArcGIS Image Server на портал, только один из них можно назначить в качестве сервера анализа растров.
   3. Нажмите Сохранить.
6. Назначьте минимальные права доступа, необходимые для выполнения анализа растров.
   1. Все еще находясь на веб-сайте портала в качестве администратора, перейдите на страницу Моя организация > Роль.
   2. Рядом с ролью, которая будет выполнять анализ растров, щелкните Редактировать.
   3. Отметьте минимальные права доступа издателя под пунктом Ресурсы, ими являются Создание, обновление и удаление и Публикация размещенных векторных слоев.

      

   4. Отметьте пункт прав доступа Анализ растров под пунктом Ресурсы и анализ.

      

7. Убедитесь, что вы увеличили максимальный размер SOC до 128 MB для модуля ArcGIS Image Server. См. шаги с 9a до 9f в разделе выше Настройка сервера анализа растров ArcGIS.