Los recursos compartidos de archivos de big data se registran a través de la página de contenido del portal. Al agregar un recurso compartido de archivos de big data al portal, este también crea un elemento de data store relacionado. Al agregar un recurso compartido de archivos de big data en la nube, este crea un elemento de recurso compartido de archivos de big data, un elemento de data store de tipo recurso compartido de archivos de big data y un elemento de data store de tipo almacén en la nube. Un elemento del portal de recurso compartido de archivos de big data incluye las siguientes pestañas:
- Descripción general: proporciona información general sobre el recurso compartido de archivos de big data y los elementos de data store relacionados. Los elementos de data store relacionados se pueden compartir y eliminar con su recurso compartido de archivos de big data.
- Datasets: enumera los datasets y describe el esquema de los datos de entrada. La información del dataset incluye los campos y formatos que representan la geometría y el tiempo.
- Salidas: describe plantillas de salida opcionales, que le permiten escribir resultados en un recurso compartido de archivos de big data. Las plantillas de salida son opcionales y se crean después de registrar un recurso compartido de archivos de big data. Consulte Crear, editar y ver plantillas de salida para aprender a crear o editar una plantilla de salida.
- Configuración: describe el estado del contenido, la extensión y la protección contra eliminación.
Puede ver y editar los datasets y el esquema y las plantillas de salida mediante el elemento de recurso compartido de archivos de big data.
Nota:
Para compartir un elemento Recurso compartido de archivos de big data, debe compartir el elemento de data store raíz. El data store raíz de un recurso compartido de archivos de big data de tipo Nube es el elemento Data Store (Nube) del mismo nombre. Para todos los demás tipos de recursos compartidos de archivos de big data (Recurso compartido de archivos, HDFS y HIVE), el data store raíz es el elemento Data Store (Recurso compartido de archivos de big data) del mismo nombre.Editar recursos compartidos de archivos de big data
Una vez que haya creado un recurso compartido de archivos de big data a través del portal, puede usar el elemento de recurso compartido de archivos de big data para ver los datasets, editar el formato de los datasets o sincronizar el recurso compartido de archivos de big data para agregar datasets adicionales.
Un recurso compartido de archivos de big data está formado por uno o varios datasets. La cantidad de datasets depende de la cantidad de carpetas que contenga la ubicación del archivo compartido de big data. Puede ver los datasets que se han registrado correctamente en el recurso compartido de archivos de big data.
Si esperaba encontrar más datasets en el recurso compartido de archivos de big data o si falta alguno, realice lo siguiente:
- Verifique que ha registrado correctamente la carpeta de nivel superior. Para obtener más información, consulte Preparar sus datos.
- Confirme que el formato de los datos de entrada esté permitido como, por ejemplo, una colección de archivos delimitados, shapefiles, parquet u Optimized Row Columnar (ORC).
- Asegúrese de que el esquema del dataset de entrada de interés sea coherente para una captura de archivos (todos los campos de un mismo dataset deben tener los mismos campos).
Puede utilizar el dataset para verificar el número de datasets en un recurso compartido de archivos de big data o revisar los esquemas de datasets para un dataset registrado. Puede modificar el esquema de un dataset seleccionado actualizando la geometría, la definición de tiempo y los nombres de campo siguiendo los pasos indicados a continuación.
Editar datasets de entrada de un recurso compartido de archivos de big data
La edición del elemento de recurso compartido de archivos de big data le permite modificar cómo se registran los datos y cómo se utilizan para el análisis. También puede utilizar la opción de edición para ver cómo están registrados sus datos actualmente. Para obtener más información sobre cada una de las opciones de este cuadro de diálogo, consulte Edición de parámetros de archivos compartidos de big data. Para editar los parámetros del dataset, haga lo siguiente:
- Abra el elemento Recurso compartido de archivos de big data en el contenido del portal.
- Haga clic en la pestaña Dataset.
- Haga clic en el botón Editar situado junto al dataset que desea editar.
- Modifique el dataset con las opciones Campos, Geometría, Tiempo y Archivo.
- Cuando haya terminado de editar las propiedades del dataset, haga clic en Guardar.
Eliminar datasets de entrada de un recurso compartido de archivos de big data
Eliminar un dataset le permite personalizar qué datasets están disponibles en el recurso compartido de archivos de big data. Al eliminar un dataset no se eliminan los datos de la ubicación de origen. Si posteriormente decide que desea que el dataset eliminado esté disponible en la conexión de big data, puede usar la opción de sincronización. Para eliminar datasets de un recurso compartido de archivos de big data, haga lo siguiente:
- Abra el elemento Recurso compartido de archivos de big data en el contenido del portal.
- Haga clic en la pestaña Dataset.
- Active la casilla de verificación situada junto al dataset que desea eliminar.
- Haga clic en el botón Eliminar en la parte superior de la tabla de dataset para eliminar el dataset del recurso compartido de archivos de big data.
Editar un archivo de manifiesto de archivos compartidos de big data o un archivo de sugerencias
En la opción Mostrar opciones avanzadas de la pestaña Datasets del recurso compartido de archivos de big data, puede ver, descargar y cargar el archivo de manifiesto o de sugerencias. Si carga un manifiesto, se sobrescriben los cambios que ha realizado en los datasets de recursos compartidos de archivos de big data y se reemplazan los datasets y el esquema existentes. Para obtener más información sobre el manifiesto de recursos compartidos de archivos de big data, consulte Manifiesto de recursos compartidos de archivos de big data. Para obtener más información sobre cómo usar el archivo de sugerencias, consulte Archivo de sugerencias. Para editar un archivo de manifiesto de archivos compartidos de big data o un archivo de sugerencias, haga lo siguiente:
- Abra el elemento Recurso compartido de archivos de big data en el contenido del portal.
- Haga clic en la pestaña Datasets.
- Haga clic en el botón de alternancia Mostrar opciones avanzadas para activarlo.
- Para descargar el archivo de manifiesto, haga clic en Descargar en la sección de manifiesto.
- Para descargar el archivo de sugerencias, haga clic en Descargar en la sección de sugerencias.
- Utilice un editor de texto para modificar y guardar los cambios localmente en el archivo de manifiesto .json o el archivo de sugerencias .dat descargado.
Sugerencia:
El formato de archivo predeterminado para el archivo de sugerencias es .dat. Una vez que haya descargado el archivo, puede cambiarle la extensión a .txt y editar el archivo. - Para cargar un archivo editado, en el recurso compartido de archivos de big data, vaya a la pestaña Dataset y active Mostrar opciones avanzadas.
- Para cargar el manifiesto, haga clic en Cargar en la sección del manifiesto y vaya al archivo .json actualizado.
- Para cargar el archivo de sugerencias, haga clic en Cargar en la sección de sugerencias y vaya al archivo .txt actualizado.
- Haga clic en Cargar.
Si carga un archivo de sugerencias, sincronice el recurso compartido de archivos de big data. Cuando sincronice, solo se actualizan los datasets con sugerencias o datasets nuevos y los cambios realizados en cualquier otro dataset que no pertenezca al archivo de sugerencias siguen siendo los mismos.
Sincronizar el recurso compartido de archivos de big data
Puede sincronizar en su conexión de big data si agrega nuevos datasets a su fuente de datos o carga un archivo de sugerencias. El archivo de sugerencias proporciona especificaciones que se utilizan cuando se vuelve a generar el recurso compartido de archivos de big data.
Nota:
Cuando se sincroniza un recurso compartido de archivos de big data, solamente se actualiza el recurso compartido de archivos de big data para los datasets existentes que tienen un archivo de sugerencias o datasets nuevos. Todas las ediciones que realice en los datasets que estén en el archivo de sugerencias se sobrescriben con las reglas definidas en el archivo de sugerencias.- Abra el elemento Recurso compartido de archivos de big data en el contenido del portal.
- Haga clic en la pestaña Datasets.
- Haga clic en el botón Sincronizar para activarlo.
Crear, editar y ver plantillas de salida
Puede crear, ver o editar plantillas de salida. También es posible editar atributos y parámetros de las plantillas de salida, que indican cómo se escriben los resultados de salida en el recurso compartido de archivos de big data.
Para crear una plantilla de salida, siga estos pasos:
- Abra el elemento Recurso compartido de archivos de big data en el contenido del portal.
- Haga clic en la pestaña Salidas.
- Haga clic en el botón Agregar plantilla de salida.
- Cree un nombre para la plantilla de salida y seleccione el tipo de archivo en el que se escribirá la plantilla de salida.
- Defina los formatos de geometría para esta plantilla haciendo clic en la pestaña Geometría. Puede establecerlas para uno, dos o todos los tipos de geometría. Las opciones de formato son las mismas que las de los recursos compartidos de archivos de big data de entrada.
- Defina los formatos de tiempo para esta plantilla haciendo clic en la pestaña Tiempo. Puede dejar el tiempo en blanco, definirlo como de tipo instante o intervalo, o ambos. Las opciones de formato de tiempo son las mismas que las de los recursos compartidos de archivos de big data de entrada.
- Cuando haya terminado, haga clic en Guardar.
Siga los mismos pasos para ver o editar una plantilla.
Edición de parámetros de archivos compartidos de big data
El editor de recursos compartidos de archivos de big data cuenta con estas cuatro secciones:
- Campos
- Geometría
- Tiempo
- Archivo
Se recomienda usar un archivo de sugerencias antes de editar los datos si la generación del manifiesto no ha determinado correctamente los nombres de campo, la codificación, los delimitadores de campo o los caracteres de comillas de un archivo delimitado.
Campos
La ficha Campos muestra todos los campos de un dataset. Cuando selecciona un dataset, puede ver lo siguiente para cada campo:
- El nombre del campo
- El tipo de campo
Solo se puede actualizar el nombre y el tipo de campo correspondientes a archivos delimitados. Si desea modificar más de un nombre de campo, se recomienda que utilice un archivo de sugerencias.
Geometría
La sección Geometría enumera el tipo de geometría, cómo se representa y la referencia espacial. La tabla siguiente describe las opciones disponibles con notas para los cambios que pueda realizar dependiendo del tipo de dataset de entrada:
Parámetros de geometría
| Parámetro | Descripción | Archivos delimitados | Shapefiles | Archivos ORC | Archivos de parquet |
|---|---|---|---|---|---|
Geometría | El tipo de geometría. Las opciones son Punto, Polilínea, Polígono o Ninguno. Si no hay ninguna geometría (Ninguno), el dataset es una tabla. | Editable | No se puede modificar | Editable | Editable |
Referencia espacial (WKID/WKT) | La referencia espacial del dataset. Esta opción solo se muestra si la geometría no es Ninguna. | Editable. De forma predeterminada, tendrá el valor 4326, WGS 1984. | No se puede modificar | Editable | Editable |
Tipo de formato de geometría | Cómo se formatea la geometría para cada entidad. Las opciones son XYZ (campos que representan a los valores x, y y, opcionalmente, z; XYZ solo se aplica a los puntos), WKT (de "well known text", texto conocido), WKB (de "well known binary", binario conocido), GeoJSON, EsriJSON y EsriShape. Esta opción solo se muestra si la geometría no es Ninguno. | Editable | No disponible; la opción no se muestra | Editable | Editable |
Campos de geometría | Se utiliza para especificar qué campos representan geometrías. En algunos casos, el campo debe ser un tipo de campo específico. Los formatos WKB y EsriShape requieren un campo binario, y GeoJSON y EsriJSON requieren un campo de cadena de caracteres. Los campos XYZ deben ser numéricos. Esta opción solo se muestra si la geometría no es Ninguno. | Editable | No disponible; la opción no se muestra | Editable | Editable |
Tiempo
La sección "time" resume cómo se representa el tiempo. La tabla siguiente describe las opciones disponibles con notas para los cambios que pueda realizar dependiendo del tipo de dataset de entrada. Las opciones de tiempo son las mismas para todos los tipos de datos, mientras no se indique lo contrario.
Parámetros de tiempo
| Parámetro | Descripción | Ejemplo |
|---|---|---|
Tipo de hora | El tipo del tiempo de entrada. Las opciones son Instante (un solo momento en el tiempo), Intervalo (un intervalo de tiempo con un momento inicial y final) y Ninguno. | Instante |
Campos de tiempo, Campos de hora de inicio y Campos de hora de fin | Si selecciona Instante, ve Campos de tiempo. Si selecciona Intervalo, ve Campos de hora de inicio y Campos de hora de fin. Estas opciones especifican los campos y el formato utilizados para definir el tiempo de los datos de entrada. El tiempo puede usar uno o varios campos para definir el tiempo, y emplear uno o varios formatos para un mismo campo. De forma predeterminada, el primer campo que presenta el nombre "time" se usa como campo de tiempo, con una estimación del formato del tiempo. Si hay un shapefile, se usa el primer campo del tipo "date". Se debe rellenar al menos una fila para estas tablas. Consulte Formatos de tiempo para obtener más información sobre el formato. La tabla de formateo de tiempo solo está disponible si Tipo de tiempo no es Ninguno. | Ejemplo con un solo campo para representar el tiempo con dos formatos diferentes:
Ejemplo con dos campos para representar el tiempo
|
Zona horaria | La zona horaria de la hora de entrada. Esta opción solo está disponible si Tipo de tiempo no es Ninguno. El valor predeterminado es UTC. | UTC |
Formatos de hora
En la siguiente tabla se describe cómo representar el formato de tiempo. Todos los ejemplos muestran cómo se representa la hora 9:45:02.05 PM del 2 de enero de 2016.
Formatos de tiempo en archivos compartidos de big data
| Formato | Significado | Ejemplo |
|---|---|---|
aa | El año, representado por dos dígitos. | 16 |
aaaa | El año, representado por cuatro dígitos. | 2016 |
MM | El mes, representado numéricamente. | 01 o 1 |
MMM | El mes, representado con tres letras. | Jan |
MMMM | El mes, representado con el nombre completo. | January |
dd | La fecha. | 02 o 2 |
HH | La hora usando un día de 24 horas; valores entre 0 y 23. | 21 |
hh | La hora usando un día de 12 horas; valores entre 1 y 12. | 9 |
mm | Los minutos; valores entre 0 y 59. | 45 |
ss | Los segundos; valores entre 0 y 59. | 02 |
SSS | Los milisegundos; valores entre 0 y 999. | 50 |
a | Marcador AM/PM. | PM |
epoch_millis | El tiempo en milésimas de segundo desde epoch. | 1509581781000 |
epoch_seconds | El tiempo en segundos desde epoch. | 1509747601 |
Z | El desplazamiento de zona horaria expresado en horas. | -0100 o -01:00 |
ZZZ | El desplazamiento de zona horaria expresado mediante Id. | America/Los_Angeles |
'' | Use comillas simples para agregar texto que no represente un valor descrito en esta tabla. | 'T' |
En la siguiente tabla se muestran ejemplos de distintos formatos de la misma fecha, 2 de enero de 2016 a las 9:45:02.05 PM:
Ejemplos de formato de tiempo
| Fecha de entrada | Formato |
|---|---|
01/02/2016 9:45:02PM | MM/dd/aaaa hh:mm:ssa |
Ene02-16 21:45:02 | MMMdd-aa HH:mm:ss |
2 de enero 2016 9:45:02.050PM | MMMM dd aaaa hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/dd/yyyy'T'HH:mm:ssZ |
Archivo
La sección Archivo resume el formato en el que se encuentran los datos. Los datos pueden estar en uno de los siguientes formatos:
- Shapefile (.shp)
- Archivo delimitado (por ejemplo, .csv)
- Archivo de parquet
- Archivo ORC
Los parámetros disponibles difieren en función del dataset. En el caso de los shapefiles, los archivos ORC y de parquet, el único parámetro es el tipo de archivo, que no puede modificarse. Si el dataset de entrada es un archivo delimitado, se pueden modificar varios parámetros. Para modificar valores de un archivo delimitado, use un archivo de sugerencias y regenere el manifiesto. Estos parámetros se describen en la siguiente tabla:
Formatos de dataset
| Parámetro | Descripción |
|---|---|
Extensión de archivo | Enumera la extensión del tipo de archivo en el dataset de entrada. Los formatos comunes son .csv y .txt. |
Delimitador de campo | Determina el delimitador de cada campo. Los formatos comunes son , y ;. |
Finalizador de registro | Determina el finalizador de cada fila de datos. Los formatos comunes son \n y \t. |
Carácter de comillas | Determina el carácter usado para las comillas. |
Tiene fila de encabezado | Valor booleano que determina si la tabla de entrada incluía una fila de encabezado. Si se incluye una fila de encabezado, los encabezados se usarán para los nombres de campo. La información del nombre de campo está prediciendo campos de geometría y de hora. |
Codificación | El tipo de codificación utilizado en el archivo. De forma predeterminada, es UTF -8. |
Parámetros de edición de la plantilla de salida de recursos compartidos de archivos de big data
El editor de plantillas de salida de recursos compartidos de archivos de big data cuenta con estas tres secciones:
- Nombre y tipo de archivo
- Formato de geometría
- Formato de hora
Nota:
Los recursos compartidos de archivos de big data de entrada tienen una sección de campos. Las plantillas de salida no tienen ninguna sección de campos, puesto que los campos resultantes están determinados por las GeoAnalytics Tools que crean el resultado. ORC solo admite nombres de campo que contengan caracteres numéricos y del alfabeto latino básico. El resto de caracteres de un nombre de campo se sustituyen por un guion bajo.
Formatos de geometría de salida
La sección Geometría muestra las maneras de dar formato a la geometría de salida para cada tipo de geometría (punto, línea, polígono). Hay dos partes para determinar la geometría de salida:
- La referencia espacial: puede dejarla vacía; usará los resultados de la herramienta (opción predeterminada). Si lo desea, proporcione una cadena de caracteres WKID o WKT y todos los resultados se proyectan en esa referencia espacial. Este valor se comparte en todas las geometrías de salida.
- Campos y tipo de formato de geometría: se describe con más detalle a continuación.
Formatos de geometría de salida
| Tipo de geometría | Campos de salida | Archivos delimitados | Shapefiles | Archivos ORC | Archivos de parquet |
|---|---|---|---|---|---|
XYZ: un campo X, Y y, opcionalmente, Z. Esta opción solo está disponible para puntos. | De forma predeterminada se crean tres campos nuevos llamadosX, Yy Z. Si lo desea, puede cambiar estos nombres de campo. |  | | | |
WKT | De forma predeterminada se crea un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | | | |
GeoJSON | De forma predeterminada se crea un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | | | |
EsriJSON | De forma predeterminada se crea un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | | | |
WKB | De forma predeterminada se crea un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | | ||
EsriShape | De forma predeterminada se crea un nuevo campo llamado Geometry. Si lo desea, puede cambiar los nombres del campo de salida. | | |
Formatos de hora de salida
La sección "time" resume cómo se representa el tiempo de salida. El formato requiere la siguiente información:
- Formato de instantes e intervalos.
- Los nombres de campo en los que se escribe el tiempo.
- El formato (cadena de caracteres o fecha) en el que se escribe la hora. Tenga en cuenta que los archivos delimitados solo pueden tener el formato de cadena de caracteres.
- Intervalos, cuyos campos representan la hora de inicio y finalización.
El formato de tiempo es el mismo que el de los archivos de big data de entrada. Consulte Formatos de tiempo en archivos compartidos de big data.
Formato de dataset de salida
La sección de formato de dataset resume el formato de salida en el que se escriben los datos. Los datos pueden estar en uno de los siguientes formatos:
- Shapefile (.shp)
- Archivo delimitado (por ejemplo, .csv)
- Archivo de parquet
- Archivo ORC
Los parámetros disponibles difieren en función del dataset. En el caso de los shapefiles, los archivos ORC y de parquet, el único parámetro es el tipo de archivo, que no puede modificarse. Si el dataset es un archivo delimitado, varios parámetros se pueden modificar en ArcGIS Server Manager. Estos parámetros se describen en la siguiente tabla:
Formatos de dataset
| Parámetro | Descripción |
|---|---|
Extensión de archivo | Las extensiones no se aplican nunca a un dataset de salida. |
Delimitador de campo | Determina el delimitador de cada campo. Los formatos comunes son , y ;. |
Finalizador de registro | No es posible establecer el terminador de cada fila de datos. Para Windows, el terminador es \r\n. Para Linux, es \n. |
Carácter de comillas | Determina el carácter usado para las comillas. |
Tiene fila de encabezado | Valor booleano que determina si la tabla de salida incluye una fila de encabezado que represente los nombres de campo. De forma predeterminada, es true. |
Codificación | Siempre es UTF-8. |