Skip To Content

Развертывание сервисов контроля качества данных

Обзор

Примечание:

ArcGIS Enterprise 10.9.x, часть выпусков ArcGIS 2021 - последний выпуск ArcGIS Enterprise, в котором будут поддерживаться сервисы, публикуемые из ArcMap. Рекомендуется перенести автоматизированные рабочие процессы проверки на возможности ArcGIS Data Reviewer, доступные в правилах атрибутов ArcGIS Pro.

Расширение сервера Data Reviewerиспользует картографический сервис, сервис геообработки и расширение объекта сервера ArcMap (SOE) на основе среды выполнения для предоставления услуг автоматической проверки распределенным клиентам. Эти сервисы выполняются либо по расписанию (например, чтобы измененные объекты проверялись ежедневно в 21:00), либо однократно, либо по запросу (например, может использоваться веб-приложение, проверяющее ваши правки).

В этом руководстве вы развернете и настроите сервисы, необходимые для реализации автоматической проверки ваших данных с использованием бизнес-правил, реализованных с помощью автоматических проверок Data Reviewer в среде выполнения ArcMap. Эти сервисы включают сервис геообработки, выполняющий автоматическую проверку, и картографический сервис для управления расписанием проверок, их выполнением, а также хранением результатов проверки. Вы воспользуетесь этими сервисами, используя веб-приложение - Менеджер пакетной проверки, включающее планирование времени автоматической проверки либо выполнение проверок данных по запросу. Например, для выполнения ежедневной проверки измененных объектов в 21:00 вам необходимо запланировать автоматическую проверку, а для использования веб-приложения и проверки собственных правок потребуется разовый запуск проверки по запросу.

Предварительные условия

Для успешной настройки и развертывания сервисов проверки качества данных необходимо соблюдение следующих предварительных условий:

  • У рабочей области Data Reviewer должна быть такая же пространственная привязка, как у рабочей области создаваемых данных.
  • У учетной записи ArcGIS Server должен быть доступ к файлу подключения к рабочей области Data Reviewer с правами чтения и записи данных.
  • У учетной записи ArcGIS Server должен быть доступ к файлу подключения к производственным рабочим областям с правом чтения данных.
  • Доступ к картографическим сервисам, необходимым для настройки менеджера пакетной проверки веб-приложения.
  • Доступ к предварительно настроенным пакетным заданиям проверки производственных рабочих областей.

Использование сервисов

Чтобы развернуть сервисы контроля качества, сначала настройте и протестируйте сервис пакетной проверки Data Reviewer и сервис результатов Data Reviewer.

Развертывание сервиса пакетной проверки Data Reviewer

Перед тем как развернуть сервисы контроля качества, нужно настроить и протестировать сервис пакетной проверки Data Reviewer и сервис результатов Data Reviewer.

Data Reviewer содержит файл ArcMap на основе времени выполнения определения сервиса (*.sd) для сервисов геобработки пакетной проверки. Вы можете создать этот сервис с помощью инструмента публикации в приложении ArcGIS Server Manager.

  1. Войдите в Server Manager, открыв URL менеджера в поддерживаемом веб-браузере.

    Ваш менеджер URL - https://<server name>:6443/arcgis/manager.

  2. В заставке наверху щелкните Сервисы.
  3. Щелкните Опубликовать сервис.
  4. В диалоговом окне Публикация сервиса щелкните Выберите файл.
  5. Перейдите к файлу ExecuteBatchJob.sd и щелкните Открыть.

    Этот файл находится в <ArcGIS Server installation folder>\ArcGISDataReviewerServer\Server<version>\Service Definitions .

  6. Щелкните Далее в диалоговом окне Опубликовать сервис.
    • Дополнительно, щелкните стрелку ниспадающего списка Папка и выберите имя папки.
    • Дополнительно, щелкните стрелку ниспадающего списка Кластер и выберите имя кластера.
  7. Поставьте отметку для немедленного запуска сервиса.
    • Дополнительно можно поставить отметку публикации сервиса на портале.
  8. Щелкните Далее.
  9. Щелкните Опубликовать.
    Примечание:

    Настройки сервиса безопасности для сервиса геообработки ExecuteBatchJob должны быть установлены на Опубликовать доступно для всех, чтобы пакетные проверки по расписанию выполнялись как ожидается.

Развертывание сервиса результатов Data Reviewer

Data Reviewer включает файл ArcMap определения сервиса во время выполнения (*.sd) для картографического сервиса, который используется при управлении и передаче результатов качества данных. Вы можете создать этот сервис с помощью инструмента публикации в Server Manager.

  1. Войдите в Server Manager, открыв менеджер URL в веб-браузере.

    Ваш менеджер URL - https://<server name>:6443/arcgis/manager.

  2. В заставке наверху щелкните Сервисы.
  3. Щелкните Опубликовать сервис.
  4. Щелкните Далее в диалоговом окне Опубликовать сервис.
  5. Перейдите к файлу reviewer.sd и щелкните Открыть.

    Этот файл находится в <ArcGIS Server installation folder>\ArcGISDataReviewerServer\Server<version>\Service Definitions .

  6. Щелкните Далее в диалоговом окне Опубликовать сервис.
    • Дополнительно, щелкните стрелку ниспадающего списка Папка и выберите имя папки.
    • Дополнительно, щелкните стрелку ниспадающего списка Кластер и выберите имя кластера.
  7. Оставьте пустыми окошки меток немедленного запуска сервиса.

    Дополнительно можно поставить отметку публикации сервиса на портале.

  8. Щелкните Далее.
  9. Оставьте все возможности сервиса отключенными.
  10. Щелкните Опубликовать.

Настройка сервиса результатов Data Reviewer

Перед запуском сервиса результатов Data Reviewer необходимо настроить его для сохранения результатов автоматизированной проверки. Настройте сервис результатов Data Reviewer с DRS Configuration Utility.

  1. Щелкните Пуск > ArcGIS > DRS Configuration Utility.
  2. Убедитесь, что URL-адреса, перечисленные в текстовом окне URL, включают ArcGIS Server Administrator Directory.

    Формат Administrator Directory - http://localhost:6080/arcgis/admin.

    Примечание:

    Если вы установили расширение Data Reviewer сервера в кластере, достаточно запустить DRS Configuration Utility на одном компьютере в кластере. Изменения конфигурации будут автоматически применены к каждой машине кластера.

  3. В текстовых полях Имя пользователя и Пароль введите имя пользователя и пароль главного администратора сайта ArcGIS Server.

    Это учетная запись, которую вы используете для входа в Server Manager.

  4. Щелкните Подключиться.
  5. При желании добавьте на сервер Data Reviewer расширение объекта сервера (.soe), если оно не было ранее установлено.
    1. Щелкните Обзор в области расширений DRS.
    2. Перейдите к папке, где находится файл ESRI.ReviewerServer.soe, и щелкните Открыть.

      Этот файл находится в <ArcGIS Server installation folder>\ArcGISDataReviewerServer\Server<version>\Bin .

    3. Щёлкните Добавить.
  6. Щелкните стрелку ниспадающего списка Выбрать картографический сервис и выберите из этого списка reviewer.MapServer.
  7. Щелкните Обзор рядом с текстовым полем Выбрать новую рабочую область Reviewer.
  8. Перейдите к рабочей области Reviewer и щелкните OK.

    Учетная запись ArcGIS Server должна иметь как минимум права доступа Чтение к папке, в которой хранится файл подключения .sde. Не выбирайте файловую базу геоданных, когда используются функции автоматической проверки.

    Если вы установили расширение сервера Data Reviewer в развертывании с несколькими компьютерами, путь рабочей области Reviewer должен быть путем UNC и доступным для всех компьютеров в развертывании.

  9. Щелкните Применить.

    Если картографический сервис Reviewer не запускается, вы можете перезапустить его из Server Manager.

    Диалоговое окно DRS Configuration Utility
  10. Щелкните Закрыть, чтобы закрыть DRS Configuration Utility.

Тестирование сервисов Data Reviewer

Перед началом проверьте имеющуюся у вас конфигурацию, для чего перейдите в директорию сервисов SOE Data Reviewer.

  1. Выполните следующее в поддерживаемом веб-браузере:

    Для развертывания на одном компьютере

    Перейдите к каталогу URL (http://<server name>:6080/arcgis/rest/services/reviewer/MapServer/exts/DataReviewerServer) сервисов расширения сервера Data Reviewer.

    Развертывание на нескольких компьютерах

    Перейдите к каталогу URL (https://<web adaptor url>/rest/services/reviewer/MapServer/exts/DataReviewerServer) сервисов дополнительного расширения сервера Data Reviewer через ArcGIS Web Adaptor.

    Примечание:

    На странице Возможности - Data Reviewer Server настройте свойство URL сервиса геообработки пакетных проверок, чтобы использовался URL ArcGIS Web Adaptor (включая имя задачи ExecuteBatchJob) для сервиса пакетной проверки.

  2. Убедитесь, что в каталоге сервисов расширения объекта сервера Data Reviewer (SOE) отображается местоположение и пространственная привязка рабочей области Reviewer и четырех дочерних ресурсов: Пакетная проверка, Операционная панель, ReviewerResults и Утилиты.

Компонент сервисов теперь готов к настройке веб-клиентов для включения рабочих процессов по обеспечению качества данных в Интернете.

Развертывание веб-приложений

Чтобы использовать автоматизированные сервисы проверки, необходимо клиентское приложение. В данном разделе вы развернете веб-приложение Менеджер пакетной проверки для управления периодическими проверками данных.

Менеджер пакетной проверки – это веб-приложение, которое может использоваться для планирования запуска пакетных заданий Reviewer с использованием возможностей, предоставляемых Data Reviewer SOE. В приложении можно задать либо периодическое (ежедневно, еженедельно, ежемесячно, ежегодно), либо выполняемое однократно в определенную дату выполнение пакетных заданий. Запланированное задание определяет проверяемые данные, экстент проверки (вся база данных или пространственный экстент), а также то, будет ли проверка выполняться для всех или только для измененных объектов многопользовательских рабочих областей. Приложение использует возможности пакетной проверки Data Reviewer SOE для планирования выполнения пакетных заданий и управления ими, а также сохраняет их результаты в рабочей области Reviewer, заданной в утилите DRS Configuration.

Запуск Менеджера пакетной проверки на вашем веб-сервере

Менеджер пакетной проверки может быть размещен на веб-сервере вашей организации Microsoft Internet Information Server (IIS). Для запуска Менеджера пакетной проверки на вашем веб-сервере выполните следующие действия:

  1. Загрузите и распакуйте приложение Data Reviewer Менеджер пакетной проверки.
  2. Скопируйте данные на свой веб-сервер так, чтобы с ними можно было работать как с веб-сайтом или виртуальной директорией. В IIS) веб-сервер директории - <Your directory>\Inetpub\wwwroot\.
    Примечание:

    Вам может понадобиться настроить и использовать прокси-страницу для поддержки общего доступа и защищенных сервисов. Если вашему сайту нужен прокси-сервер, скорее всего, будет достаточно того, который идет в комплекте с проектом, после того, как вы преобразуете сайт в приложение IIS.

  3. Откройте файл конфигурации (\BatchValidationManager\settings.js ) и воспользуйтесь расположенной ниже таблицей параметров для настройки приложения.

    Файл настроек для конфигурации BVM

    ПараметрИспользование

    restReviewerMapServer

    URL-адрес картографического сервиса Reviewer.

    Картографический сервис Reviewer - это сервис по умолчанию, поставляемый с расширением сервера Data Reviewer.

    Например: http://<ArcGIS Server Host Machine Name>:6080/arcgis/rest/services/reviewer/MapServer/

    drsSoeUrl

    URL-адрес расширения объекта сервера DataReviewerServer (SOE).

    Например: http://<ArcGIS Server Host Machine Name>:6080/arcgis/rest/services/reviewer/MapServer/exts/DataReviewerServer

    clientTimeUTC

    Укажите true для использования времени UTC при планировании выполнения задания.

    Укажите false для автоматического преобразования местного времени клиента в время в формате UTC для планирования выполнения задания.

    jobExecutionListRefreshInterval

    Время в миллисекундах между обновлениями при выполнении задания, если отмечено Автоматическое обновление.

    По умолчанию 15 000 или 15 секунд.

    alwaysUseProxy

    Укажите true при использовании прокси для запросов; значение по умолчанию – false.

    proxyURL

    URL-адрес прокси-сервера, используемый для загрузки пакетных заданий, когда запланирована пакетная проверка.

    Прокси должен быть в том же домене, что и приложение.

    mapServices

    Картографические сервисы отображаются при указании области интереса при планировании выполнения пакетных заданий.

    Первым добавленным в файл конфигурации картографическим сервисом является базовая карта. Есть четыре параметра, которые нужно задать для каждого картографического сервиса, последние два из которых не являются обязательными.

    • serviceType – Тип картографического сервиса: Разделенный на листы или Динамический. Это значение является обязательным.
    • serviceURL – URL картографического сервиса. Это значение является обязательным.
    • initialExtent – исходный экстент картографического сервиса в единицах базовой карты. Это значение не является обязательным.
    • spatialReference – общеизвестный ID (WKID) пространственной привязки карты. Это значение не является обязательным.

    dataWorkspaces

    Эти рабочие области отображаются в ниспадающем списке Рабочая область данных в окне Расписание пакетной проверки. Есть четыре параметра для каждой производственной рабочей области, но необходимыми являются только name и path.

    • name - Идентификатор рабочей области, отображающийся в ниспадающем списке Рабочая область данных. Это значение обязательно.
    • path - Путь к рабочей области файловой базы геоданных или к файлу подключения многопользовательская база геоданных. Это значение является обязательным.
    • spatialReference - Хорошо известный идентификатор пространственной привязки (WKID), используемый для проецирования области анализа задания. Это значение необязательно: оно необходимо только в случае, когда область анализа задания необходимо спроецировать.

    geometryServiceURL

    URL сервиса геометрии для проецирования области анализа – с целью соответствия пространственной привязке рабочей области данных. Это значение не является обязательным.

    Могут быть случаи, когда базовая карта находится в системе координат, отличной от системы координат рабочей области данных. Чтобы решить эту проблему, для приведения в соответствие систем координат приложение Менеджер пакетной проверки может спроецировать область анализа налету.

    publishJobUsername

    Имя пользователя, присвоенное запланированным заданиям на вкладке Расписание.

    Если ваш сервис защищен, этот параметр будет проигнорирован.

  4. Сохраните и закройте файл.
  5. Введите URL http://<yourServer>/<yourSite>/index.html в свой веб-браузер, отредактировав его соответствующим образом. Откроется полностью настроенная версия Менеджера пакетной проверки, и вы сможете убедиться в том, что приложение в веб-браузере правильно настроено.

Работа с Менеджером пакетной проверки

Пакетные задания – группы настроенных тестов Data Reviewer, проверяющих ваши данные с помощью ряда условий, или бизнес-правил. Это позволит вам убедиться, что данные соответствуют спецификациям продукта или другим требованиям корректности ваших данных.

Подробнее об автоматической проверке с помощью пакетных заданий Data Reviewer

Можно применять Менеджер пакетной проверки для планирования регулярных проверок данных: ежегодных, ежемесячных, еженедельных или ежедневных. Это позволит вам проверять данные, чтобы убедиться в том, что результаты являются корректными.

В процессе планирования пакетного задания выполните следующие действия:

  1. Задайте название планируемого задания.
  2. Выберите запускаемое пакетное задание.
  3. Выберите сеанс для сохранения результатов выполнения пакетного задания.
  4. Дополнительно задайте рабочую область данных для проверки.
  5. Задайте частоту запуска пакетного задания.
  6. Укажите время начала выполнения пакетного задания.
  7. Укажите экстент пакетного задания для анализа.
  8. Укажите необходимость запуска пакетного задания только на измененных объектах.

Запланируйте новую автоматическую проверку

Процесс планирования новой автоматической проверки включает следующие действия.

  1. Откройте в поддерживаемом веб-браузере приложение Менеджер пакетной проверки в http://<servername>/batchvalidationmanager.
  2. Щелкните кнопку Запланировать пакетную проверку, чтобы запланировать новое задание.
  3. В диалоговом окне Запланировать пакетную проверку введите название задания в текстовом окне Заголовок.
    Примечание:

    Рекомендуется присвоить пакетному заданию значимое название, чтобы вы по нему могли определить назначение запланированного задания. К примеру, названием может быть имя запускаемого пакетного задания или проверяемого набора данных. Указанное в качестве заголовка значение появится на вкладке Расписание и выполнение в столбце Заголовок задания.

  4. Щелкните кнопку Обзор рядом с текстовым полем Пакетное задание.
  5. Выберите запускаемое пакетное задание и щелкните Открыть.
    Примечание:

    Пакетное задание содержит бизнес-правила запуска проверки для рабочей области данных и местоположение этой рабочей области. Тесты, запускаемые в пакетном задании, хорошо работают на одной рабочей области данных, но можно их выполнять и для нескольких источников данных. Однако если вы щелкните стрелку ниспадающего списка Рабочая область данных и выберите рабочую область, тесты применятся к выбранной рабочей области данных.

  6. Щелкните стрелку ниспадающего списка Сеансы и выберите сеанс Reviewer, в котором вы хотите сохранить результаты пакетного задания. Можно выбрать только сеансы Reviewer, сохраненные в рабочей области, заданной в конфигурации Data Reviewer.
  7. Можно щелкнуть стрелку ниспадающего списка Рабочая область данных и выбрать рабочую область, проверяемую пакетным заданием, указанным в параметре Пакетное задание.
  8. Выберите опцию для времени выполнения пакетного задания:

    Для однократного запуска пакетного задания

    Выберите опцию один раз.

    Расписание регулярного выполнения пакетного задания

    Выберите опцию регулярно и укажите временной интервал и частоту.

    Пакетное задание можно запускать каждый день, каждую неделю или каждый месяц. Вы также можете остановить выполнение пакетного задания после определенного количества повторений.

  9. Задайте время начала выполнения пакетного задания.

    Для немедленного запуска задания

    Выберите опцию сейчас.

    Запуск задания в определенную дату и время

    • Если вы выберете один раз в качестве варианта Запуска, можно указать в определенную дату/время для запуска пакетного задания в конкретный день и час.

    • Если вы выберете регулярно в качестве опции Запуска, можно задать ежедневный, еженедельный или ежемесячный запуск выполнения пакетного задания.
  10. Выберите вариант экстента.

    Запуск пакетного задания для всей базы данных

    Выберите опцию база данных целиком.

    Запуск пакетного задания для определенной области данных

    Укажите опцию пространственная выборка. Щелкните Нарисовать область и нарисуйте экстент для проверки.

  11. Если рабочей областью данных для проверки является многопользовательская база геоданных, вы можете установить отметку Только измененные объекты. Это позволяет ограничить проверку только теми объектами, которые были изменены с родительской на дочернюю версию. Возможны следующие варианты изменений:
    • Объекты вставлены в дочернюю версию, но не в родительскую
    • Объекты изменены в дочерней версии и не тронуты в родительской версии
    • Объекты изменены и в дочерней, и в родительской версии
    • Объекты изменены в дочерней версии и удалены в родительской версии
  12. Щелкните Подтвердить.
    Подсказка:

    На вкладке Расписание появляется заголовок задания и информация о расписании его выполнения. Если вы запланировали немедленное выполнение задания с помощью опции сейчас, задание начнет выполняться.

  13. После того как задание будет запланировано, вы можете выбрать одно из следующих действий:

    Отключить активное задание

    Снимите отметку рядом с заголовком задания на вкладке Расписание.

    Задания, запланированный запуск которых завершен, отменить нельзя.

    Чтобы изменить активное задание

    Выберите имя задания и щелкните Изменить.

    Чтобы удалить активное или завершенное задание

    Выберите имя задания и щелкните Удалить.

    Задания, запланированный запуск которых завершен, автоматически удаляются из системы через 24 часа.

Просмотреть расписание заданий

Приложение Менеджер пакетной проверки предоставляет вам способ просмотра обзорной и подробной информации о выполнении пакетных проверок и их результатах. Информация о запусках пакетных заданий находится на вкладке Расписание. Здесь вы можете увидеть:

  • Имя запланированного задания
  • Запускаемое пакетное задание
  • Сеанс Reviewer, в котором записываются результаты
  • Расписание периодических запусков
  • Кто запланировал задание
  • Проверяемую рабочую область данных

Для просмотра особенностей выполнения ваших пакетных заданий выполните следующие действия:

  1. Откройте в поддерживаемом веб-браузере приложение Менеджер пакетной проверки в http://<servername>/batchvalidationmanager.
  2. Щелкните вкладку Расписание для просмотра краткой информации о запланированных заданиях. Она включает название задания и периодичность запуска: ежедневно, еженедельно, ежемесячно или ежегодно.
    Примечание:

    У заданий, периодичность запуска которых не запланирована, она считается ежегодной.

  3. Для фильтрации запланированных заданий выберите один из следующих вариантов:
    • Выберите Все.
    • Выберите Активные для показа только активных в настоящий момент заданий.
    • Щелкните стрелку ниспадающего меню Созданы для показа заданий, запланированных определенным пользователем.
  4. Щелкните название задания, чтобы познакомиться с подробной информацией о расписании его запуска.

Подробная информация о запуске появится на панели, расположенной в правой части браузера. Она содержит: название запускаемого пакетного задания, сеанс Reviewer для сохранения результатов, частоту запусков, а также информацию о создателе расписания запусков задания и местоположении рабочей области данных.

Примечание:

Если расписание запуска пакетного задания отсутствует в списке, щелкните Обновить. Также можно поставить отметку Автоматическое обновление, чтобы список с периодичностью, заданной вашим администратором, обновлялся автоматически.

Просмотр выполнения заданий

На вкладке Выполнение содержится информация об успешных и неудачных запусках пакетных заданий. Информация о выполнении содержится в трех разделах: Статус, Краткая информация и Свойства. В разделе Статус можно видеть, было ли пакетное задание выполнено успешно или неудачно - это определяется значком, расположенном справа от элемента (зеленая галочка или красный символ "X"). В разделе Краткая информация отображается информация о длительности запуска пакетного задания - в часах, минутах и секундах, о количестве проверенных объектов и записанных в сеансе Reviewer результатов. Раздел Свойства показывает пакетное задание, имя сеанса, расписание и проверяемую заданием рабочую область с данными.

  1. Откройте в поддерживаемом веб-браузере приложение Менеджер пакетной проверки в http://<servername>/batchvalidationmanager.
  2. Щелкните вкладку Расширения для просмотра информации о запусках заданий.
    Примечание:

    По умолчанию запуски заданий перечислены по времени начала выполнения. Можно щелкнуть заголовки Время начала, Время окончания, Заголовок задания или Расписание для сортировки записей по значениям в соответствующих полях.

  3. Для фильтрации списка выполненных или работающих заданий выберите один из следующих вариантов:
    • Выберите Все для показа всех выполненных заданий.
    • Выберите Только ошибки для показа только заданий, которые не удалось запустить.
    • Щелкните стрелку ниспадающего списка для фильтрации списка выполнения заданий по времени. Можно фильтровать результаты в зависимости от того, когда был выполнен их запуск - сегодня, вчера, в последние семь дней либо в последние тридцать дней.
  4. Щелкните элемент списка для просмотра подробной информации о запуске.

    На панели, расположенной в правой части браузера, показана подробная информация о выполнении пакетного задания.

    Примечание:

    Если данные о выполнении пакетного задания отсутствует в списке, щелкните Обновить. Также можно поставить отметку Автоматическое обновление, чтобы список обновлялся автоматически с периодичностью, заданной вашим администратором.