Modèles en sortie dans un partage de fichiers Big Data

Les partages de fichiers Big Data sont inscrits en tant que stockage de données via ArcGIS Server Manager. Un partage de fichiers Big Data indique le jeu de données en entrée à l’aide d’un manifeste de partage de fichiers Big Data, ainsi que les modèles permettant de réécrire les résultats à l’emplacement de votre partage de fichiers Big Data. Lorsque vous réécrivez un résultat dans un partage de fichiers Big Data, ce dernier s’actualise automatiquement de façon à inclure le nouveau jeu de données en sortie en tant que jeu de données en entrée. Cette rubrique décrit la mise en forme des modèles en sortie et leurs valeurs possibles. Pour une vue d’ensemble des partages de fichiers Big Data et pour connaître le fonctionnement des jeux de données en entrée, des modèles en sortie et du fichier d’astuces, reportez-vous à la rubrique Mise en route des partages de fichiers Big Data.

Remarque :

Cette rubrique porte sur la mise à jour des modèles en sortie. Pour savoir comment appliquer un fichier d'astuces à des fichiers délimités, reportez-vous à la rubrique Présentation du fichier d'astuces.

Les modèles en sortie se composent d’un ou de plusieurs modèles. Le nombre de modèles dépend des types de fichiers et de la mise en forme que vous voulez utiliser pour stocker les résultats en sortie. L’exemple suivant compte trois modèles en sortie :

"outputTemplates":[
  {.. template1 ..},
  {.. template2 ..},
  {.. template3 ..}
]

Dans chaque modèle, cinq objets de niveau supérieur peuvent être applicables. Sur ces objets, name, title et format sont obligatoires.

{
 "name": "ExampleTemplate", "title": "My Example Template", "format": {}, "geometry": {}, "time": {}
}

Nom

L'objet name est obligatoire et définit le nom du jeu de données. Le nom doit être unique dans le manifeste et ne peut pas inclure de caractères spéciaux.

Titre

L’objet title est requis et définit le titre qui apparaît lors de l’exécution d’un outil. Le titre doit être unique dans le manifeste et peut inclure des espaces.

Format

L’objet format est requis et définit le type de fichier en sortie et son format.

Syntaxe	Exemple
"format" : { "type" : "< delimited | shapefile | orc | parquet >", "extension" : "< csv | tsv | shp | orc | parquet >", "fieldDelimiter" : "< delimiter >", "recordTerminator: "< terminator >", "quoteChar": "< character for quotes>", "delimited.write.header" : < true | false >, "encoding" : "< encoding format >", "dateFields" : "< date format >" }	Exemple d'utilisation d'un fichier de formes : "format" : { "type": "shapefile", "extension": "shp", "dateFields": "YYYY/MM/dd HH:mm:ss" } Exemple d'utilisation d'un fichier délimité : "format" : { "type": "delimited", "extension": "csv", "fieldDelimiter": ",", "recordTerminator": "\n", "quoteChar" "\"", "hasHeaderRow": true, "encoding" : "UTF-8" } Exemple d’utilisation d’un fichier Parquet : "format" : { "type": "parquet" } Exemple d’utilisation d’un fichier ORC : "format" : { "type": "orc" }
Description
type : propriété obligatoire définissant le type de données en sortie. Il peut s'agir de delimited, shapefile, parquet ou orc. extension : propriété obligatoire indiquant l’extension des fichiers délimités. fieldDelimiter : ce paramètre est utilisé et obligatoire uniquement lorsque type est défini sur delimited. Ce champ représente ce qui sépare les champs dans le fichier délimité. recordTerminator : ce paramètre est toujours défini sur \n sur Linux, et sur \r\n sur Windows. Si vous modifiez cette option, ces valeurs par défaut sont toujours utilisées. quoteChar : ce paramètre est obligatoire uniquement lorsque type est défini sur delimited. Le caractère indique comment les guillemets sont spécifiés dans le fichier délimité. delimited.write.header : ce paramètre est obligatoire uniquement lorsque type est défini sur delimited. Cette propriété indique si la première ligne dans un fichier délimité correspond aux noms des champs. encoding : ce paramètre est toujours défini sur UTF-8. Si vous modifiez cette option, cette valeur par défaut est toujours utilisée. dateFields : mode de mise en forme des champs de type date. Il s’agit des champs qui ne représentent pas l’heure de l’entité (instant ou intervalle). Reportez-vous à la rubrique Formats d’heure pour en savoir plus sur la mise en charge des champs de date. Les paramètres des fichiers délimités ne peuvent pas être créés via ArcGIS Server Manager. Pour modifier les paramètres des fichiers délimités, mettez à jour les modèles en accédant au répertoire administrateur de votre site GeoAnalytics Server et cliquez sur data (données) > items (éléments) > bigDataFileShares et sur votre partage de fichiers Big Data, puis cliquez sur edit (mise à jour). Apportez vos modifications, puis cliquez sur update (mettre à jour).

Géométrie

L'objet geometry est facultatif. S’il n’est pas fourni, le champ de géométrie est écrit au format XYZ pour les points stockés dans des fichiers délimités, ORC et Parquet. Il est écrit au format WKT pour les lignes et les polygones dans des fichiers délimités, ORC et Parquet. Pour les shapefiles, les champs sont écrits dans un champ de forme.

Syntaxe	Exemple
"geometry" : { "spatialReference" : { "wkid": <wkidNum>, "latestwkid" : <latestWkidNum> }, "encodings":[ { "types" : ["< esriGeometryType >"], "fields" [ { "name": "<fieldName1>", "formats": ["<fieldFormat1>"] }, { "name": "<fieldName2>", "formats": ["<fieldFormat2>"] } }, {...} ] }	Exemple utilisant un fichier délimité avec des valeurs x et y : "geometry" : { "spatialReference" : { "wkid": 3857 }, "encodings": [{ "types": ["esriGeometryPoint"], "fields": [{ "name": "XValue", "formats": ["x"] }, { "name": "YValue", "formats": ["y"] } ] }, { "types": ["esriGeometryPolyline", "esriGeometryPolygon" ], "fields": [{ "name": "geometry", "formats": ["geojson"] }] } ] } Exemple utilisant un fichier délimité avec des valeurs x , y et z : "geometry" : { "spatialReference": { "wkid": 4326 }, "encodings": [{ "types": ["esriGeometryPoint"], "fields": [{ "name": "Longitude", "formats": ["x"] }, { "name": "Latitude", "formats": ["y"] }, { "name": "Height", "formats": ["z"] } ] }] } Exemple d’utilisation d’un fichier .tsv : "geometry" : { "spatialReference": { "wkid": 3857 }, "encodings": [{ "types": ["esriGeometryPolygon", "esriGeometryPoint"], "fields": [{ "name": "Shapelocation", "formats": ["WKT"] }] }] }
Description
Remarque : La table ci-dessus indique les options par défaut de l’objet geometry en fonction du type de géométrie et de fichier, si vous ne l’indiquez pas. Les propriétés suivantes sont répertoriées comme obligatoires ou facultatives, en supposant qu'une géométrie est utilisée : spatialReference : propriété obligatoire indiquant la référence spatiale des jeux de données en sortie. wkid : champ indiquant la référence spatiale, où wkid ou latestWkid est obligatoire pour un jeu de données avec une géométrie. latestWkid : champ indiquant la référence spatiale dans une version logicielle donnée, où wkid ou latestWkid est obligatoire pour un jeu de données avec géométrie. encodings : ceci est obligatoire. Ce paramètre indique le mode de codage de la géométrie en sortie. La propriété se divise en deux parties : le type de géométrie et les champs dans lesquels la géométrie va être écrite. types : les types de géométrie spécifiés dans ce codage. Les options sont notamment les suivantes : esriGeometryPoint esriGeometryPolyline esriGeometryPolygon fields : ceci est obligatoire. Ce paramètre indique le nom name d’un ou de plusieurs champs utilisés pour stocker les résultats géométriques, ainsi que les formats formats des champs dans lesquels la géométrie est stockée. name : propriété obligatoire permettant de nommer le champ utilisé pour la géométrie du jeu de données en sortie. Ceci indique le nom du champ qui permet de représenter la géométrie. Il peut en exister plusieurs instances. formats : propriété obligatoire pour les jeux de données délimités avec une représentation spatiale. Ceci indique le format du champ qui permet de représenter la géométrie. Plusieurs formats sont possibles. Le champ de géométrie des shapefiles ne peut pas être spécifié. Les types de format suivants sont pris en charge : WKT : paramètre par défaut pour les lignes et les polygones stockés en tant que fichiers délimités, ORC et Parquet. GeoJSON EsriJSON X, Y,Z : paramètre par défaut pour les points stockés en tant que fichiers délimités, ORC et Parquet. EsriShape : cette option est uniquement disponible pour les fichiers ORC et Parquet. WKB : cette option est uniquement disponible pour les fichiers ORC et Parquet.

Durée

L'objet time est facultatif. S’il n’est pas spécifié et que les résultats sont temporels, la valeur par défaut est utilisée.

Syntaxe	Exemple
"time" : { "timeReference" : { "timeZone" : "<timeZone >" }, "encodings":[{ "types" : ["< instant | interval >",] "fields": [ { "name": "<fieldName1>", "formats": ["<fieldFormat1>"], "role": "< start | end >" } ] }] }	Exemple d'utilisation d'un instant avec plusieurs formats dans les champs temporels : "time": { "timeReference": { "timeZone": "UTC" }, "encodings": [{ "types": ["instant"], "fields": [{ "name": "iso_time", "formats": [ "yyyy-MM-dd HH:mm:ss", "MM/dd/yyyy HH:mm" ] }] }] } Exemple d'utilisation d'un intervalle avec plusieurs champs pour startTime : "time": { "timeReference": { "timeZone": "-0900" }, "encodings": [{ "types": ["interval"], "fields": [{ "name": "time_start", "formats": ["HH:mm:ss"], "role": "start" }, { "name": "date_start", "formats": ["yyyy-MM-dd"], "role": "start" }, { "name": "datetime_ending", "formats": ["yyyy-MM-dd HH:mm:ss"], "role": "end" } ] },{ "types": ["instant"], "fields": [{ "name": "time", "formats": ["HH:mm:ss"], "role": "start" }, { "name": "date", "formats": ["yyyy-MM-dd"] } ] }] }
Description
Remarque : Puisque l’objet time est facultatif, les propriétés suivantes sont répertoriées comme requis ou facultatives, supposant que time est utilisée : encodings : obligatoire si vous mettez en forme la date/heure. Ce paramètre indique le mode de codage de la date/heure en sortie. La propriété se divise en deux parties : le type de date/heure et les champs dans lesquels la date/heure va être écrite. types : les types de géométrie spécifiés dans ce codage. Les options sont notamment les suivantes : Instant : pour un seul moment dans le temps. Interval : pour un intervalle temporel représenté par une heure de début et de fin. fields : ceci est obligatoire. Ce paramètre indique le nom name d’un ou de plusieurs champs utilisés pour stocker les résultats temporels, ainsi que les formats formats des champs dans lesquels la date/heure est stockée. name : propriété obligatoire permettant de nommer le champ utilisé pour la date/heure du jeu de données en sortie. Ceci indique le nom du champ qui permet de représenter la date/heure. Il peut en exister plusieurs instances. formats : champ obligatoire indiquant le format du champ qui permet de représenter le temps. Plusieurs formats peuvent être présents pour un seul champ (comme illustré ci-dessus). Plusieurs instances de cet objet peuvent être présentes. Pour en savoir plus sur la manière dont les champs peuvent être mis en forme, reportez-vous à la rubriqueFormats d’heure dans un manifeste de partage de fichiers Big Data. role : champ obligatoire lorsque timeType correspond à interval. Il peut représenter la valeur startTime ou endTime d'un intervalle temporel. timeReference : champ obligatoire si le jeu de données est de type temporel, indiquant le fuseau horaire (timeZone). timeZone : champ obligatoire de timeReference qui indique le format du fuseau horaire des données. timeZone peut être formaté comme suit : A l'aide du nom complet du fuseau horaire : Pacific Standard Time A l'aide de l'abréviation du fuseau horaire : PST À l’aide du décalage de fuseau horaire exprimé en heures : -0900