Los recursos compartidos de archivos de big data se registran como data store mediante ArcGIS Server Manager en su ArcGIS GeoAnalytics Server. Un recurso compartido de archivos de big data requiere un manifiesto en el que se describa el esquema de datos de entrada, así como los campos y formatos que representan la geometría y el tiempo de un dataset. El manifiesto se genera automáticamente al registrar el uso compartido de un archivo de big data. Puede que necesite realizar modificaciones si se produce algún cambio en los datos o si la generación del manifiesto no pudo determinar toda la información necesaria (por ejemplo, el manifiesto generado automáticamente no seleccionó el campo correcto para la geometría o el tiempo). Es posible que un recurso compartido de archivos de big data tenga plantillas de salida que se usan para describir el formato de los resultados escritos en el recurso compartido de archivos de big data. Las plantillas de salida se generan al registrar un recurso compartido de archivos de big data y al seleccionar dicho recurso como ubicación de salida. Es posible que deba modificar una o varias plantillas, como el formato de hora y campos de geometría, o que desee agregar o eliminar una plantilla.
Puede ver y editar la información de los datasets y manifiestos, así como las plantillas de salida, mediante ArcGIS Server Manager en su ArcGIS GeoAnalytics Server.
Editar un archivo compartido de big data
Una vez que haya registrado un archivo compartido de big data, puede ver y editar los atributos y parámetros de los datasets registrados de ese elemento abriendo el editor de manifiestos de archivos compartidos de big data. También es posible editar atributos y parámetros de las plantillas de salida opcionales, que indican cómo se escriben los resultados de salida en el recurso compartido de archivos de big data.
Por ejemplo, para datos de entrada, puede que desee verificar la cantidad de datasets que hay dentro de un recurso compartido de archivos registrado. Si al hacerlo no ve en el archivo compartido registrado la cantidad de datasets que esperaba, debería comprobar si la ubicación registrada contiene datasets válidos.
Para una plantilla de salida, es posible que desee formatear una salida de archivo delimitada para escribir un archivo delimitado por tabuladores y usar WKT para almacenar la geometría.
Puede que también desee revisar los esquemas de dataset de un archivo compartido de big data registrado. Puede modificar el esquema de un dataset seleccionado actualizando la geometría, la definición de tiempo y los nombres de campo en el recurso de manifiesto asociado.
En la pestaña de opciones avanzadas del editor de manifiestos de archivos compartidos de big data, puede cargar un archivo de sugerencias para proporcionar información sobre un dataset, por ejemplo, la presencia o ausencia de una fila de encabezado, codificación, delimitador de campo o terminador de registro. Al volver a generar el manifiesto después de cargar un archivo de sugerencias se utilizará la información proporcionada para generar el manifiesto.
Opcionalmente, puede descargar el manifiesto, editarlo y cargar el archivo editado.
Editar datasets de entrada de un recurso compartido de archivos de big data
En el editor de manifiestos de archivos compartidos de big data, puede ver un archivo compartido de big data seleccionado y los datasets que se han registrado correctamente en él. Cuando selecciona un dataset en el menú desplegable del editor, se rellenan los parámetros correspondientes. Para obtener más información sobre cada una de las opciones de este cuadro de diálogo, consulte Edición de parámetros de archivos compartidos de big data. Para editar los parámetros del dataset, haga lo siguiente:
- En el cuadro de diálogo Data Stores registrados, localice el archivo compartido de big data que desea editar.
- Haga clic en el lápiz de Editar para ver los detalles y las opciones para los datasets correspondientes.
- Haga clic en la pestaña Datasets para mostrar los datasets registrados y sus parámetros correspondientes.
- Seleccione un dataset en el menú desplegable para ver la información representada en su manifiesto. Realice las actualizaciones que necesite en las propiedades del dataset.
- Cuando haya terminado de editar las propiedades del dataset, haga clic en Guardar.
Editar un archivo de manifiesto de archivos compartidos de big data o un archivo de sugerencias
En la pestaña Opciones avanzadas del editor de archivos compartidos de big data, puede editar el archivo de manifiesto o el archivo de sugerencias asociado eligiendo la pestaña correspondiente. Si carga un manifiesto, se sobrescribirán los cambios que ha realizado al manifiesto del archivo de big data compartido en el editor y el manifiesto actual se reemplazará. Para obtener más información sobre el manifiesto de archivos compartidos de big data, consulte Comprender un manifiesto de archivos compartidos de big data. Para obtener más información sobre cómo usar el archivo de sugerencias, consulte Comprender el archivo de sugerencias. Para editar un archivo de manifiesto de archivos compartidos de big data o un archivo de sugerencias, haga lo siguiente:
- En el cuadro de diálogo Data Stores registrados, localice el archivo compartido de big data que desea modificar.
- Haga clic en el lápiz de Editar para ver las opciones para modificar el recurso del manifiesto.
- Haga clic en la pestaña Opciones avanzadas.
- En la pestaña Opciones avanzadas, elija la pestaña Manifiesto o Sugerencias, dependiendo de lo que vaya a modificar.
- Para descargar el archivo de manifiesto, haga clic en Manifiesto > Descargar.
- Para descargar el archivo de sugerencias, haga clic en Sugerencias > Descargar.
- Utilice un editor de texto para modificar y guardar los cambios localmente en el.json archivo de manifiesto o .dat archivo de sugerencias descargado.
Sugerencia:
El formato de archivo predeterminado para el archivo de sugerencias es .dat. Una vez que haya descargado el archivo, puede cambiarle la extensión a .txt y editar el archivo. - Para cargar un archivo editado, haga clic en el Lápiz de editar correspondiente al archivo compartido de big data que desee modificar.
- Para editar el manifiesto, haga clic en Opciones avanzadas > Manifiesto > Cargar y examine el archivo .json actualizado.
- Para editar el archivo de sugerencias, haga clic en Opciones avanzadas > Sugerencias > Cargar y examine el archivo .txt actualizado.
- Haga clic en Cargar.
Si carga un archivo de sugerencias, asegúrese de volver a generar el manifiesto. Cuando regenere un manifiesto, solo se actualizarán los datasets con sugerencias o los nuevos datasets, y los cambios efectuados en otros datasets que no pertenecen al archivo de sugerencias se mantendrán intactos.
Volver a generar el manifiesto para un archivo compartido de big data
Después de crear un archivo compartido de big data y de haber generado un manifiesto, se muestra un botón para volver a generar el manifiesto para cada entrada en el cuadro de diálogo Data Stores registrados.
Puede volver a generar un manifiesto si ha agregado datos nuevos o si ha cargado un archivo de sugerencias utilizando el recurso de edición. El archivo de sugerencias proporciona especificaciones que se utilizan cuando se vuelve a generar el manifiesto.
Nota:
Cuando se vuelve a generar un manifiesto, se actualizan los datasets existentes que tienen un archivo de sugerencias o datasets nuevos. Todas las ediciones que haya realizado en el manifiesto se sobrescribirán con las reglas definidas en el archivo de sugerencias.Edición de parámetros de archivos compartidos de big data
El editor de archivos compartidos de big data consta de las cinco secciones siguientes:
- Selector de dataset
- Campos
- Geometría
- Time
- Formato de dataset
Se recomienda usar un archivo de sugerencias antes de editar los datos si la generación del manifiesto no ha determinado correctamente los nombres de campo, la codificación, los delimitadores de campo o los caracteres de comillas.
Selector de dataset
Un manifiesto está compuesto de uno o más datasets. La cantidad de datasets depende de la cantidad de carpetas que contenga la ubicación del archivo compartido de big data. Cuando abre el administrador de manifiestos, puede ver los datasets que se han registrado correctamente en el archivo compartido de big data. Cuando selecciona un dataset del menú desplegable, los parámetros del dataset se llenarán con la información del dataset.
Si esperaba encontrar más datasets en su manifiesto o bien falta alguno, realice lo siguiente:
- Verifique que ha registrado correctamente la carpeta de nivel superior. Para obtener más información, consulte Registrar los datos con ArcGIS Server Manager.
- Compruebe que el formato de los datos de entrada esté permitido como, por ejemplo, una colección de archivos delimitados, shapefiles, parquet u ORC.
- Asegúrese de que el esquema del dataset de entrada de interés sea coherente para una captura de archivos (todos los campos de un mismo dataset deben tener los mismos campos).
Campos
La ficha Campos muestra todos los campos de un dataset. Cuando seleccione un dataset, podrá ver lo siguiente para cada campo:
- El nombre del campo
- El tipo de campo
El nombre y el tipo del campo se pueden modificar para los archivos delimitados. Si desea modificar más de un nombre de campo, se recomienda que utilice un archivo de sugerencias.
Si el dataset de entrada es un archivo delimitado, existirán varios parámetros que se pueden modificar en el manifiesto en ArcGIS Server Manager.
Geometría
La sección de geometría enumera el tipo de geometría y cómo se representa. La tabla siguiente describe las opciones disponibles con notas para los cambios que pueda realizar dependiendo del tipo de dataset de entrada:
Parámetros de geometría
| Parámetro | Descripción | Archivos delimitados | Shapefiles | Archivos ORC | Archivos de parquet |
|---|---|---|---|---|---|
Geometría | El tipo de geometría. Las opciones son Punto, Polilínea, Polígono o Ninguno. Si no hay ninguna geometría, la entrada es una tabla. | Editable | No se puede modificar | Editable | Editable |
Referencia espacial (WKID/WKT) | La referencia espacial del dataset. Esta opción solo se muestra si el dataset no es una tabla. | Es posible modificarlo. De forma predeterminada, tendrá el valor 4326, WGS 1984. | No se puede modificar | Editable | Editable |
Tipo de formato de geometría | Cómo se formatea la geometría para cada entidad. Las opciones son XYZ (campos que representan a los valores X, Y y, opcionalmente, Z; XYZ solo se aplica a los puntos), WKT (de "well known text", texto bien conocido), GeoJson, EsriJson y shape. Esta opción solo está disponible si el dataset no es una tabla ni un shapefile. | Editable | No disponible | Editable | Editable |
Time
La sección "time" resume cómo se representa el tiempo. La tabla siguiente describe las opciones disponibles con notas para los cambios que pueda realizar dependiendo del tipo de dataset de entrada. Las opciones de tiempo son las mismas para todos los tipos de datos, mientras no se indique lo contrario.
Parámetros de tiempo
| Parámetro | Descripción | Ejemplo |
|---|---|---|
Tipo de hora | El tipo del tiempo de entrada. Las opciones son Instante (un solo momento en el tiempo), Intervalo (un intervalo de tiempo con un momento inicial y final) y Ninguno. | Instante |
Zona horaria | La zona horaria de la hora de entrada. Esta opción solo está disponible si Tipo de tiempo no es Ninguno. | UTC |
Tabla de nombre y formato del tiempo | Esta tabla selecciona el campo o campos de tiempo y describe cómo se define el tiempo. El tiempo puede usar uno o varios campos para definir el tiempo, además de usar uno o varios formatos para un mismo campo. De forma predeterminada, el primer campo que presenta el nombre predeterminado «time» se usará como campo de tiempo, con una estimación del formato del tiempo. Si hay un shapefile, se usará el primer campo del tipo "date". Si el tiempo es del tipo Intervalo, se debe especificar una hora de inicio y una hora final. La tabla de formateo de tiempo solo está disponible si Tipo de tiempo no es Ninguno. | Ejemplo con un solo campo para representar el tiempo con dos formatos diferentes:
Ejemplo con dos campos para representar el tiempo:
|
Formatos de hora
En la tabla siguiente se describe cómo se representa la hora cuando edita un recurso compartido de archivos de big data mediante ArcGIS Server Manager o directamente en un manifiesto. Los ejemplos muestran cómo se representa la hora 9:45:02.05 PM del 2 de enero de 2016.
Formatos de tiempo en archivos compartidos de big data
| Símbolo | Significado | Ejemplo |
|---|---|---|
aa | El año, representado por dos dígitos. | 16 |
yyyy | El año, representado por cuatro dígitos. | 2016 |
Milímetro(s) | El mes, representado numéricamente. | 01 o 1 |
MMM | El mes, representado con tres letras. | Jan |
MMMM | El mes, representado con el nombre completo. | January |
dd | El día. | 02 o 2 |
HH | La hora usando un día de 24 horas; valores entre 0 y 23. | 21 |
hh | La hora usando un día de 12 horas; valores entre 1 y 12. | 9 |
mm | Los minutos; valores entre 0 y 59. | 45 |
ss | Los segundos; valores entre 0 y 59. | 02 |
SSS | Los milisegundos; valores entre 0 y 999. | 50 |
a | Marcador AM/PM. | PM |
epoch_millis | El tiempo en milésimas de segundo desde epoch. | 1509581781000 |
epoch_seconds | El tiempo en segundos desde epoch. | 1509747601 |
Z | El desplazamiento de zona horaria expresado en horas. | -0100 o -01:00 |
ZZZ | El desplazamiento de zona horaria expresado mediante Id. | America/Los_Angeles |
'' | Use comillas simples para agregar texto que no represente un valor descrito en esta tabla. | 'T' |
En la siguiente tabla se muestran ejemplos de distintos formatos de la misma fecha, 2 de enero de 2016 a las 9:45:02.05 PM:
Ejemplos de formato de tiempo
| Fecha de entrada | Formato de fecha |
|---|---|
01/02/2016 9:45:02PM | MM/dd/aaaa hh:mm:ssa |
Ene02-16 21:45:02 | MMMdd-aa HH:mm:ss |
2 de enero 2016 9:45:02.050PM | MMMM dd aaaa hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/dd/yyyy'T'HH:mm:ssZ |
Formato de dataset
La sección de formato de dataset resume el formato en el que se encuentran los datos. Los datos pueden estar en uno de los siguientes formatos:
- Shapefile (.shp)
- Archivo delimitado (por ejemplo, .csv)
- Archivo de parquet
- Archivo ORC
Los parámetros disponibles difieren en función del dataset. En el caso de los shapefiles, los archivos ORC y de parquet, el único parámetro es el tipo de archivo, que no puede modificarse. Si el dataset de entrada es un archivo delimitado, existirán varios parámetros que se pueden modificar. Para modificar valores de un archivo delimitado, use un archivo de sugerencias y regenere el manifiesto. Estos parámetros se describen en la siguiente tabla:
Formatos de dataset
| Parámetro | Descripción |
|---|---|
Extensión de archivo | Enumera la extensión del tipo de archivo en el dataset de entrada. Los formatos comunes son .csv y .txt. Modifique esta información para un archivo delimitado con un archivo de sugerencias. |
Delimitador de campo | Determina el delimitador de cada campo. Los formatos comunes son , y ;. Modifique esta información para un archivo delimitado con un archivo de sugerencias. |
Finalizador de registro | Determina el finalizador de cada fila de datos. Los formatos comunes son \n y \t. Modifique esta información para un archivo delimitado con un archivo de sugerencias. |
Carácter de comillas | Determina el carácter usado para las comillas. Modifique esta información para un archivo delimitado con un archivo de sugerencias. |
Tiene fila de encabezado | Valor booleano que determina si la tabla de entrada incluía una fila de encabezado. Si se incluye una fila de encabezado, los encabezados se usarán para los nombres de campo. La información del nombre de campo está prediciendo campos de geometría y de hora. Defina las filas de los encabezados con el archivo de sugerencias. |
Codificación | El tipo de codificación utilizado en el archivo. De forma predeterminada, será UTF-8. Se configura con un archivo de sugerencias. |
Parámetros de edición de la plantilla de salida de recursos compartidos de archivos de big data
El editor de plantillas de salida de recursos compartidos de archivos de big data cuenta con estas cuatro secciones:
- Selector de plantilla de salida
- Formato de geometría
- Formato de hora
- Formato de dataset
Selector de dataset
Un recurso compartido de archivos de big data puede estar compuesto por una o varias plantillas. La cantidad de plantillas está determinada por los distintos formatos en los que desea introducir resultados. Cuando abre el administrador de plantillas de salida, puede ver las plantillas que se han registrado correctamente en el recurso compartido de archivos de big data. Cuando selecciona una plantilla del menú desplegable, los parámetros de la plantilla se rellenarán con la información del formato de salida. Si desea agregar una nueva plantilla, seleccione la opción Agregar plantilla y seleccione el tipo y nombre de la nueva plantilla. Si desea eliminar una plantilla, selecciónela en el selector de plantillas y seleccione Eliminar plantilla. Puede modificar una plantilla existente seleccionándola y modificando cualquiera de las siguientes secciones según sea necesario.
Nota:
Los recursos compartidos de archivos de big data de entrada tienen una sección de campos. Las plantillas de salida no tienen ninguna sección de campos, puesto que los campos resultantes están determinados por las GeoAnalytics Tools que crean el resultado. ORC solo admite nombres de campo que contengan caracteres numéricos y del alfabeto latino básico. El resto de caracteres de un nombre de campo se sustituirán por un guion bajo.
Geometría
La sección de geometría muestra las maneras de dar formato a la geometría de salida de cada tipo de geometría (punto, línea, polígono). Hay dos partes para determinar la geometría de salida:
- La referencia espacial: puede dejarla vacía y usará los resultados de la herramienta (opción predeterminada). Si lo desea, proporcione una cadena de caracteres WKID o WKT y todos los resultados se proyectarán en esa referencia espacial. Este valor se comparte en todas las geometrías de salida.
- Los campos y el tipo de formato de geometría. Se describe en detalle a continuación.
Formatos de geometría de salida
| Tipo de geometría | Campos de salida | Archivos delimitados | Shapefiles | Archivos ORC | Archivos de parquet |
|---|---|---|---|---|---|
XYZ: un campo X, Y y, opcionalmente, Z. Esta opción solo está disponible para puntos. | De forma predeterminada, se crearán tres campos nuevos llamados X, Y y Z. Si lo desea, puede cambiar estos nombres de campo. |  | | | |
WKT | De forma predeterminada, se creará un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | | | |
GeoJSON | De forma predeterminada, se creará un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | | | |
EsriJSON | De forma predeterminada, se creará un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | | | |
SHP | De forma predeterminada, se creará un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | |||
WKB | De forma predeterminada, se creará un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | | ||
Zona de influencia de forma | De forma predeterminada, se creará un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | |
Time
La sección "time" resume cómo se representa el tiempo de salida. El formato requiere la siguiente información:
- Formato de instantes e intervalos.
- Los nombres de campo en los que se escribirá el tiempo.
- El formato (Cadena de caracteres o Fecha) en el que se escribirá el tiempo. Tenga en cuenta que los archivos delimitados solo pueden tener el formato de cadena de caracteres.
- Intervalos, cuyos campos representan la hora de inicio y finalización.
El formato de tiempo es el mismo que el de los archivos de big data de entrada. Consulte Formatos de hora en un recurso compartido de archivos de big data.
Formato de dataset
La sección de formato de dataset resume el formato de salida en el que se escribirán los datos. Los datos pueden estar en uno de los siguientes formatos:
- Shapefile (.shp)
- Archivo delimitado (por ejemplo, .csv)
- Archivo de parquet
- Archivo ORC
Los parámetros disponibles difieren en función del dataset. En el caso de los shapefiles, los archivos ORC y de parquet, el único parámetro es el tipo de archivo, que no puede modificarse. Si el dataset de entrada es un archivo delimitado, existirán varios parámetros que se pueden modificar en ArcGIS Server Manager. Estos parámetros se describen en la siguiente tabla:
Formatos de dataset
| Parámetro | Descripción |
|---|---|
Extensión de archivo | Las extensiones no se aplican nunca a un dataset de salida. |
Delimitador de campo | Determina el delimitador de cada campo. Los formatos comunes son , y ;. |
Finalizador de registro | No es posible establecer el terminador de cada fila de datos. Para Windows, el terminador es \r\n, para Linux, es \n. |
Carácter de comillas | Determina el carácter usado para las comillas. |
Tiene fila de encabezado | Valor booleano que determina si la tabla de salida incluía una fila de encabezado que represente los nombres de campo. De forma predeterminada, es true. |
Codificación | Siempre será UTF-8. |