Información general
ArcGIS Data Reviewer usa un servicio de mapas, un servicio de geoprocesamiento y una extensión de objeto de servidor (SOE) para ofrecer servicios de validación automática a clientes distribuidos. Estos servicios se ejecutan mediante un programa que ocurre regularmente (por ejemplo, las entidades cambiadas se validan cada día a las 9:00 pm) o adhoc o bajo demanda (por ejemplo, se puede usar una aplicación web para validar sus propias ediciones).
En esta lección, implementará y configurará los servicios necesarios para implementar una validación automática de los datos utilizando reglas de negocio implementadas mediante verificaciones automáticas en Data Reviewer. Estos servicios incluyen un servicio de geoprocesamiento que se utiliza para ejecutar una validación automática y un servicio de mapas para administrar la programación, ejecución y almacenamiento de los resultados de la validación. Aprovechará estos servicios utilizando una aplicación web (Administrador de validación por lotes) que permite programar la repetición de la validación automática o la ejecución de una validación de datos adhoc o bajo demanda. Por ejemplo, para validar las entidades cambiadas cada día a las 9:00 pm debería programar una validación automática, pero para utilizar una aplicación web para validar sus propias ediciones debería ejecutar una validación adhoc o bajo demanda.
Más información sobre la validación de datos utilizando las verificaciones de Data Reviewer
Requisitos previos
Los requisitos previos siguientes son necesarios para configurar e implementar correctamente los servicios de calidad de datos:
- El espacio de trabajo de Data Reviewer tiene la misma referencia espacial que el espacio de trabajo de producción de datos.
- La cuenta de ArcGIS Server tiene acceso al archivo de conexión con permisos de lectura/escritura para el espacio de trabajo de Data Reviewer.
- La cuenta de ArcGIS Server tiene acceso al archivo de conexión con permisos de lectura para los espacios de trabajo de producción de datos.
- Los servicios de mapas necesarios para configurar la aplicación web del administrador de validación por lotes están disponibles.
- Hay disponibles trabajos por lotes preconfigurados para validar el espacio de trabajo de producción de datos.
Implementar servicios
Para implementar servicios de calidad de datos, primero deberá configurar y probar el servicio de validación por lotes de Data Reviewer y el servicio de resultados de Data Reviewer.
Implementar el servicio de validación por lotes de Data Reviewer
Antes de implementar servicios de calidad de datos, debe configurar y probar el servicio de validación por lotes de Data Reviewer y el servicio de resultados de Data Reviewer.
Data Reviewer incluye un archivo de definición de servicio ( *.sd) para sus servicios de geoprocesamiento de validación por lotes. Creará este servicio con la herramienta de publicación que se encuentra en la aplicación ArcGIS Server Manager.
- Inicie sesión en ArcGIS Server Manager abriendo la URL del administrador en un navegador web compatible.
La URL de su administrador es https://<server name>:6443/arcgis/manager.
- Haga clic en Servicios en el encabezado superior.
- Haga clic en Publicar servicio.
- En el cuadro de diálogo Publicar servicio, haga clic en Elegir archivo.
- Vaya al archivo ExecuteBatchJob.sd y haga clic en Abrir.
El archivo se encuentra en <ArcGIS Server installation folder>\ArcGISDataReviewerServer\Server<version>\Service Definitions .
- Haga clic en Siguiente en el cuadro de diálogo Publicar servicio.
- Si lo prefiere, puede hacer clic en la flecha desplegable de Carpeta y seleccionar un nombre de carpeta.
- Opcionalmente, puede hacer clic en la flecha desplegable de Clúster y seleccionar un nombre de clúster.
- Active la casilla de verificación para iniciar el servicio de inmediato.
- Opcionalmente, puede activar la casilla de verificación para compartir el servicio en su portal.
- Haga clic en Siguiente.
- Haga clic en Publicar.
Nota:
La configuración de seguridad del servicio de geoprocesamiento ExecuteBatchJob se debe definir como Público, disponible para todos para garantizar que las validaciones por lotes programadas se completen del modo esperado.
Implementar el servicio de resultados de Data Reviewer
Data Reviewer incluye un archivo de definición de servicio ( *.sd) para el servicio de mapas que se utiliza para administrar y notificar los resultados de calidad de los datos. Creará este servicio con la herramienta de publicación que se encuentra en la aplicación ArcGIS Server Manager.
- Inicie sesión en ArcGIS Server Manager abriendo la URL del administrador en un navegador web.
La URL de su administrador es https://<server name>:6443/arcgis/manager.
- Haga clic en Servicios en el encabezado superior.
- Haga clic en Publicar servicio.
- Haga clic en Siguiente en el cuadro de diálogo Publicar servicio.
- Vaya al archivo reviewer.sd y haga clic en Abrir.
El archivo se encuentra en <ArcGIS Server installation folder>\ArcGISDataReviewerServer\Server<version>\Service Definitions .
- Haga clic en Siguiente en el cuadro de diálogo Publicar servicio.
- Si lo prefiere, puede hacer clic en la flecha desplegable de Carpeta y seleccionar un nombre de carpeta.
- Opcionalmente, puede hacer clic en la flecha desplegable de Clúster y seleccionar un nombre de clúster.
- Deje sin activar las casillas de verificación para iniciar el servicio de inmediato.
Opcionalmente, puede activar la casilla de verificación para compartir el servicio en su portal.
- Haga clic en Siguiente.
- Deje sin activar todas las funcionalidades del servicio.
- Haga clic en Publicar.
Configurar el servicio de resultados de Data Reviewer
Antes de ejecutar el servicio de resultados de Data Reviewer, debe configurarlo para almacenar los resultados de la validación automática. Configure el servicio de resultados de Data Reviewer con DRS Configuration Utility.
- Haga clic en Inicio > Todos los programas > ArcGIS > ArcGIS Data Reviewer for Server > DRS Configuration Utility .
- Compruebe que la URL que aparece en el cuadro de texto URL señale al Directorio de administrador de ArcGIS Server.
El formato del Directorio de administrador es http://localhost:6080/arcgis/admin.
Nota:
Si ha instalado Data Reviewer for Server en un clúster, será suficiente con ejecutar DRS Configuration Utility en uno de los equipos del clúster. Los cambios de configuración se aplicarán automáticamente en cada equipo del clúster.
- En los cuadros de texto Nombre de usuario y Contraseña, escriba el nombre de usuario y la contraseña del administrador principal del sitio de ArcGIS Server.
Esta es la cuenta que utiliza para iniciar sesión en ArcGIS Server Manager.
- Haga clic en Conectar.
- Opcionalmente, puede agregar la extensión de objeto de servidor (.soe) de Data Reviewer a su servidor si no se instaló previamente.
- Haga clic en Examinar en el área de extensión de DRS.
- Vaya a la ubicación que contiene el archivo ESRI.ReviewerServer.soe y haga clic en Abrir.
El archivo se encuentra en <ArcGIS Server installation folder>\ArcGISDataReviewerServer\Server<version>\Bin .
- Haga clic en Agregar.
- Haga clic en la flecha de lista desplegable Seleccionar servicio de mapas y elija reviewer.MapServer en la lista.
- Haga clic en Examinar junto al cuadro de texto Seleccionar nuevo espacio de trabajo de Reviewer.
- Vaya a la ubicación del espacio de trabajo de Reviewer y haga clic en Aceptar.
La cuenta de ArcGIS Server debe tener al menos acceso de lectura a la carpeta que contiene el archivo de conexión .sde. No elija una geodatabase de archivos cuando implemente funcionalidades de validación automática.
Si ha instalado Data Reviewer for Server en una implementación de varios equipos, la ruta del espacio de trabajo de Reviewer debe ser una ruta UNC y debe estar accesible para todos los equipos de la implementación.
- Haga clic en Aplicar.
Si el servicio de mapas de Reviewer no se inicia, puede reiniciar el servicio desde ArcGIS Server Manager.
- Haga clic en Cerrar para cerrar DRS Configuration Utility.
Probar los servicios de Data Reviewer
Antes de continuar, pruebe su configuración examinando el Directorio de servicios SOE de Data Reviewer.
- Desde un navegador web compatible, realice una de las siguientes acciones:
En el caso de una implementación en un solo equipo
Vaya a la URL del directorio de servicios de Data Reviewer for Server (http://<server name>:6080/arcgis/rest/services/reviewer/MapServer/exts/DataReviewerServer ).
En el caso de una implementación en varios equipos
Vaya a la URL del directorio de servicios de Data Reviewer for Server mediante ArcGIS Web Adaptor (https://<web adaptor url>/arcgis/rest/services/reviewer/MapServer/exts/DataReviewerServer ).
- Compruebe que el directorio de servicios de la SOE de Data Reviewer for Server muestre la ubicación y la spatialReference del espacio de trabajo de Reviewer y cuatro recursos secundarios: Validación por lotes, Panel, Resultados de Reviewer y Utilidades.
- El componente de servicios ya está listo para configurar clientes web a fin de activar flujos de trabajo de calidad de datos basados en web.
Implementar aplicaciones web
Se requiere una aplicación cliente para utilizar sus servicios de validación automática. En esta sección, implementará la aplicación web del Administrador de validaciones por lotes para administrar la repetición de las validaciones de los datos.
El Administrador de validaciones por lotes es una aplicación web que puede utilizar para programar la ejecución de trabajos por lotes de Reviewer utilizando las funcionalidades que suministra la SOE de Data Reviewer. La aplicación se puede configurar para ejecutar trabajos por lotes ya sea de forma periódica (diariamente, semanalmente, mensualmente o anualmente) o una vez en una fecha futura. Un trabajo programado identifica los datos que se van a validar, la extensión de la validación (toda la base de datos o una extensión espacial) y si la validación se debe ejecutar en todas las entidades o solo en las entidades cambiadas para espacios de trabajo corporativos. La aplicación utiliza las funcionalidades de validación por lotes de la SOE de Data Reviewer para programar y administrar los trabajos por lotes, y almacena los resultados en el espacio de trabajo de Reviewer designado en DRS Configuration Utility.
Alojar el Administrador de validaciones por lotes en su servidor web
El Administrador de validaciones por lotes se puede alojar en el servidor web de Microsoft Internet Information Services (IIS) de su organización. Para alojar el Administrador de validaciones por lotes en su servidor web, siga estos pasos.
- Descargue y descomprima la aplicación Administrador de validaciones por lotes de Data Reviewer.
- Copie el contenido en su servidor web para que se pueda acceder como un sitio web o directorio virtual. En Microsoft Internet Information Services (IIS), el directorio de servidor web predeterminado es <your directory>\Inetpub\wwwroot\.
Nota:
Puede que tenga que instalar y utilizar una página de proxy para permitir el uso compartido y proteger los servicios. Si su sitio necesita un proxy, el que se suministra con el proyecto probablemente será suficiente una vez que haya convertido el sitio en una aplicación de IIS.
- Abra el archivo de configuración (\BatchValidationManager\settings.js ) y utilice la tabla de parámetros de abajo para configurar la aplicación.
Parámetro Utilizar restReviewerMapServer
URL del servicio de mapas de Reviewer.
El servicio de mapas de Reviewer es el servicio predeterminado que se suministra con ArcGIS Data Reviewer for Server.
Ejemplo: http://<ArcGIS Server Host Machine Name>:6080/arcgis/rest/services/reviewer/MapServer/
drsSoeUrl
URL a la extensión de objeto del servidor (SOE) de DataReviewerServer.
Ejemplo: http://<ArcGIS Server Host Machine Name>:6080/arcgis/rest/services/reviewer/MapServer/exts/DataReviewerServer
clientTimeUTC
Establecido en true para utilizar la hora UTC al programar la ejecución del trabajo.
Establecido en false para convertir automáticamente la hora local del cliente a la hora UTC para programar la ejecución del trabajo.
jobExecutionListRefreshInterval
La cantidad de tiempo que transcurre entre actualizaciones en las ejecuciones de los trabajos, expresada en milisegundos, cuando la casilla Actualizar automáticamente está activada.
El valor predeterminado es 15.000 o 15 segundos.
alwaysUseProxy
Establecido en true cuando se utiliza un proxy para las solicitudes; el valor predeterminado está establecido en false.
proxyURL
URL del proxy utilizado para cargar trabajos por lotes cuando se programa la validación por lotes.
El proxy debe residir en el mismo dominio que la aplicación.
mapServices
Los servicios de mapas que se muestran cuando se especifica un área de interés al programar trabajos por lotes.
El primer servicio de mapas que se agrega al archivo de configuración es el mapa base. Existen cuatro parámetros que se pueden definir para cada servicio de mapas; los dos últimos son opcionales.
- serviceType: el tipo de servicio de mapas: En teselas o Dinámico. Este valor es obligatorio.
- serviceURL: la URL del servicio de mapas. Este valor es obligatorio.
- initialExtent: la extensión inicial del servicio de mapas en unidades de mapa base. Este valor es opcional.
- spatialReference: el Id. conocido (WKID) de la referencia espacial del mapa. Este valor es opcional.
dataWorkspaces
Estos espacios de trabajo se muestran en la lista desplegable Espacio de trabajo de datos, en la ventana Programar validación por lotes. Existen cuatro parámetros para cada espacio de trabajo de producción, pero solo se requiere el nombre y la ruta.
- name: identificador del espacio de trabajo que se muestra en la lista desplegable Espacio de trabajo de datos. Este valor es obligatorio.
- path: ruta de acceso al espacio de trabajo de la geodatabase de archivos o a un archivo de conexión de geodatabase corporativa. Este valor es obligatorio.
- spatialReference: el Id. conocido (WKID) de la referencia espacial que se utiliza para proyectar el área de análisis de un trabajo. Este valor es opcional; solo se requiere si es necesario proyectar el área de análisis del trabajo.
geometryServiceURL
La URL del servicio de geometría utilizado para proyectar el área de análisis a fin de que coincida con la referencia espacial de un espacio de trabajo de datos. Este valor es opcional.
Pueden darse situaciones en las que el mapa base no tiene la misma referencia espacial que el espacio de trabajo de datos. Para solucionar este problema, la aplicación Administrador de validaciones por lotes proporciona una forma de proyectar el área de análisis al vuelo para que coincida con la referencia espacial del espacio de trabajo de datos.
publishJobUsername
El nombre de usuario asignado a los trabajos programados que se muestran en la pestaña Programas.
Este parámetro se ignora si su servicio está protegido.
- Guarde y cierre el archivo
- Escriba la URL http://<yourServer>/<yourSite>/index.html en su navegador de Internet con las sustituciones apropiadas. Se abrirá una versión completamente configurada del Administrador de validaciones por lotes y se comprobará si la aplicación está configurada correctamente en el servidor web.
Utilizar el Administrador de validaciones por lotes
Los trabajos por lotes son grupos de verificaciones de Data Reviewer configuradas que validan sus datos respecto a determinadas condiciones o reglas de negocio. Esto garantiza que los datos cumplen con las especificaciones del producto o con otras reglas utilizadas para determinar la validez de los datos.
Más información sobre la validación automática utilizando los trabajos por lotes de Data Reviewer
Puede utilizar el Administrador de validaciones por lotes para programar la validación de los datos de forma periódica; es decir, anualmente, mensualmente, semanalmente o diariamente. Esto le permite validar los datos para asegurarse de que los resultados se resuelven y verifican.
El proceso de programación de un trabajo por lotes incluye los pasos siguientes:
- Especificar un nombre para el trabajo programado.
- Elegir el trabajo por lotes que se va a ejecutar.
- Elegir una sesión para almacenar los resultados del trabajo por lotes.
- Puede especificar el espacio de trabajo de datos que se va a validar.
- Definir la recurrencia de la ejecución del trabajo por lotes.
- Definir la hora de inicio del trabajo por lotes.
- Definir la extensión del trabajo por lotes que se va a analizar.
- Indicar si el trabajo por lotes se ejecutará solamente en las entidades cambiadas.
Programar una nueva validación automática
El proceso de programación de una nueva validación automática incluye los pasos siguientes.
- Desde un navegador web compatible, abra la aplicación Administrador de validaciones por lotes en http://<servername>/batchvalidationmanager.
- Haga clic en Programar validación por lotes para programar un nuevo trabajo.
- En el cuadro de diálogo Programar validación por lotes, escriba un nombre para el trabajo en el cuadro de texto Título.
Nota:
Se recomienda que elija un nombre significativo para el trabajo por lotes, para que pueda reconocer la finalidad de la tarea programada. Por ejemplo, el nombre podría ser el del trabajo por lotes que está ejecutando o el del dataset que está validando. El valor especificado como título aparece en la pestaña Programas y ejecuciones de la columna Título de trabajo.
- Haga clic en el botón Examinar situado junto al cuadro de texto Trabajo por lotes.
- Examine el trabajo por lotes que desee ejecutar y haga clic en Abrir.
Nota:
El trabajo por lotes contiene tanto las reglas de negocio que se ejecutarán en el espacio de trabajo de datos como la ubicación del espacio de trabajo de datos. Aunque lo ideal es que las verificaciones del trabajo por lotes se ejecuten en un espacio de trabajo de datos, es posible que estas apunten a varias fuentes de datos. No obstante, si hace clic en la flecha desplegable Espacio de trabajo de datos y elige un espacio de trabajo de datos, las verificaciones se asignan al espacio de trabajo de datos seleccionado.
- Haga clic en la flecha desplegable Sesiones y elija la sesión de Reviewer en la que se almacenarán los resultados del trabajo por lotes. Solo puede elegir sesiones de Reviewer que estén almacenadas en el espacio de trabajo designado en la configuración de Data Reviewer.
- También puede hacer clic en la flecha desplegable Espacio de trabajo de datos y elegir el espacio de trabajo de datos que se va a validar mediante el trabajo por lotes seleccionado en el parámetro Trabajo por lotes.
- Elija una opción para ejecutar el trabajo por lotes:
Para ejecutar el trabajo por lotes una sola vez
Elija la opción Una vez.
Para programar el trabajo por lotes para que se ejecute periódicamente
Elija la opción Recurrente e indique el intervalo y la frecuencia.
El trabajo por lotes se puede ejecutar diariamente, semanalmente o mensualmente. También puede optar por detener la ejecución del trabajo por lotes después de un determinado número de recurrencias.
- Elija la hora de inicio del trabajo por lotes.
Para empezar el trabajo de inmediato
Elija la opción Ahora.
Para ejecutar el trabajo en una fecha y hora específicas
-
Elija Una vez como opción para Ejecutar y seleccione En una fecha y hora específicas para definir la fecha y la hora en que se ejecutará el trabajo por lotes.
- Elija Recurrente como opción para Ejecutar y seleccione ejecutar el trabajo por lotes diariamente, semanalmente o mensualmente, a una hora concreta.
-
- Elija una opción para la extensión.
Para ejecutar el trabajo por lotes en toda la base de datos
Elija la opción Base de datos completa.
Para ejecutar el trabajo por lotes en un área específica de los datos
Elija la opción Selección espacial. Haga clic en Dibujar área y dibuje una extensión para validar.
- Si el espacio de trabajo de datos que se va a validar es una geodatabase corporativa, puede activar la casilla Solamente entidades cambiadas. Esto le permite limitar la validación solamente a aquellas entidades que han cambiado de la versión principal a la versión secundaria. Entre estos cambios se incluyen los siguientes:
- Entidades insertadas en la versión secundaria, pero no la versión principal
- Entidades modificadas en la versión secundaria y sin cambios en la versión principal
- Entidades modificadas en ambas versiones, secundaria y principal
- Entidades modificadas en la versión secundaria y eliminadas en la versión principal
- Haga clic en Enviar.
Sugerencia:
El título del trabajo y la información del programa aparecen en la pestaña Programas. Si ha programado el trabajo para que se ejecute de inmediato, utilizando la opción Ahora, el trabajo empezará a ejecutarse.
- Una vez que se ha programado un trabajo por lotes, puede realizar lo siguiente:
Para desactivar un trabajo activo
Desactive la casilla de verificación situada junto al título del trabajo en la pestaña Programas.
Los trabajos cuya ejecución programada ha finalizado no se pueden desactivar.
Para modificar un trabajo activo
Seleccione el nombre del trabajo y haga clic en Modificar.
Para eliminar un trabajo activo o finalizado
Seleccione el nombre del trabajo y haga clic en Eliminar.
Los trabajos cuya ejecución programada ha finalizado se eliminan automáticamente del sistema al cabo de 24 horas.
Ver programas de trabajos
La aplicación Administrador de validaciones por lotes proporciona una forma de ver información resumida y detallada sobre las ejecuciones de trabajos por lotes y sus resultados. La información sobre las ejecuciones de los trabajos por lotes está disponible en la pestaña Programas. Aquí puede ver lo siguiente:
- El nombre del trabajo programado
- El trabajo por lotes que se va a ejecutar
- La sesión de Reviewer en la que se escriben los resultados
- El programa de recurrencia
- Quién programó el trabajo
- El espacio de trabajo de datos que se va a validar
Para ver los datos concretos de las ejecuciones de trabajos por lotes, siga estos pasos:
- Desde un navegador web compatible, abra la aplicación Administrador de validaciones por lotes en http://<servername>/batchvalidationmanager.
- Haga clic en la pestaña Programas para ver un resumen de los trabajos programados. Aquí se incluye el nombre del trabajo y la recurrencia: diariamente, semanalmente, mensualmente o anualmente.
Nota:
Los trabajos que no se han programado para ejecutarse según un programa recurrente tienen un programa anual.
- Para filtrar la lista de trabajos programados, elija una de estas opciones:
- Elija Todos.
- Elija Activos para visualizar solamente los trabajos activos actualmente.
- Haga clic en la flecha desplegable Por para ver solamente los trabajos que ha programado un usuario específico.
- Haga clic en el nombre de un trabajo para ver los detalles del programa.
La información detallada del programa aparece en un panel a la derecha del navegador. Aquí se incluye el nombre del trabajo por lotes ejecutado, la sesión de Reviewer donde se almacenan los resultados, la frecuencia de la recurrencia, quién programó el trabajo y la ubicación del espacio de trabajo de datos.
Nota:
Si el programa del trabajo por lotes no aparece en la lista, haga clic en Refrescar. También puede activar la casilla Actualizar automáticamente para que la lista se actualice automáticamente según una duración definida por el administrador.
Ver ejecuciones de trabajos
En la pestaña Ejecuciones se muestra información sobre las ejecuciones correctas y con fallos de los trabajos por lotes. La información sobre la ejecución se divide en tres secciones: Estado, Resumen y Propiedades. En la sección Estado se indica si el trabajo por lotes se ha ejecutado correctamente o con fallos, del mismo modo que se hace con el icono que hay a la derecha del elemento (marca de verificación verde o X roja). En la sección Resumen se muestra cuánto tardó en ejecutarse el trabajo por lotes (horas, minutos y segundos); la cantidad de entidades que se validaron y la cantidad de resultados escritos en la sesión de Reviewer. En la sección Propiedades se muestra el trabajo por lotes, el nombre de la sesión, el programa y el espacio de trabajo de datos que se ha validado con el trabajo.
- Desde un navegador web compatible, abra la aplicación Administrador de validaciones por lotes en http://<servername>/batchvalidationmanager.
- Haga clic en la pestaña Extensiones para ver un resumen de las ejecuciones de los trabajos.
Nota:
De forma predeterminada, las ejecuciones de los trabajos se enumeran en orden descendente por hora de inicio. Puede hacer clic en los encabezados de Hora de inicio, Hora de finalización, Título de trabajo o Programa para ordenar los registros según los distintos valores de los campos.
- Para filtrar la lista de trabajos finalizados o en ejecución, elija una de estas opciones:
- Elija Todos para mostrar todos los trabajos que se han ejecutado.
- Elija Solo errores para mostrar solamente aquellos trabajos cuya ejecución ha fallado.
- Haga clic en la flecha desplegable para filtrar la lista de ejecuciones de trabajos por hora. Puede filtrar los resultados de acuerdo con lo que se ha ejecutado hoy, lo que se ejecutó ayer, lo que se ejecutó en los últimos siete días o en los últimos 30 días.
- Haga clic en un elemento de la lista para ver información detallada sobre la ejecución.
En el panel a la derecha del navegador se muestra información detallada sobre la ejecución del trabajo por lotes.
Nota:
Si la ejecución del trabajo por lotes no aparece en la lista, haga clic en Refrescar. También puede activar la casilla Actualizar automáticamente para que la lista se actualice automáticamente según una duración definida por el administrador.