Skip To Content

Mettre à jour les manifestes de partage de fichiers Big Data dans Server Manager

Les partages de fichiers Big Data sont inscrits en tant que répertoire de données via ArcGIS Server Manager sur votre instance ArcGIS GeoAnalytics Server. Un partage de fichiers Big Data requiert un manifeste décrivant la structure des données en entrée, ainsi que les champs et les formats qui représentent la géométrie et le temps dans un jeu de données. Le manifeste est généré automatiquement lorsque vous inscrivez un partage de fichiers Big Data. Vous pouvez être amené à apporter des modifications si vos données viennent à changer ou si la génération du manifeste n’a pas permis de déterminer toutes les informations requises (par exemple, le manifeste généré automatiquement n’a pas sélectionné le champ approprié pour la géométrie ou le temps). Un partage de fichiers Big Data peut comporter des modèles en sortie, utilisés pour indiquer le format des résultats écrits dans le partage de fichiers Big Data. Les modèles en sortie sont générés lorsque vous inscrivez un partage de fichiers Big Data et sélectionnés pour utiliser le partage de fichiers Big Data comme emplacement en sortie. Vous pouvez être amené à modifier un ou plusieurs modèles, par exemple le format des champs de temps et de géométrie, ou vous pouvez ajouter ou supprimer un modèle.

Vous pouvez afficher et mettre à jour les jeux de données et les informations de manifeste, ainsi que les modèles en sortie via ArcGIS Server Manager sur votre ArcGIS GeoAnalytics Server.

Mettre à jour un partage de fichiers Big Data

Une fois que vous avez inscrit un partage de fichiers Big Data, vous pouvez afficher et mettre à jour les attributs et paramètres pour les jeux de données inscrits de cet élément en ouvrant l’éditeur du manifeste de partage de fichiers Big Data. Vous pouvez également mettre à jour les attributs et paramètres des modèles en sortie facultatifs, qui indiquent la façon dont les résultats en sortie sont écrits dans le partage de fichiers Big Data.

Vous pouvez par exemple, pour les données en entrée, vérifier le nombre de jeux de données au sein d’un partage de fichiers inscrit. Si, ce faisant, vous ne voyez pas le nombre attendu de jeux de données dans le partage de fichiers inscrit, vérifiez que l'emplacement inscrit contient des jeux de données valides.

Pour un modèle en sortie, vous pouvez mettre en forme une sortie de fichier délimitée de façon à écrire un fichier délimité par des tabulations et utiliser WKT pour stocker la géométrie.

Vous pouvez également examiner les structures des jeux de données pour un partage de fichiers Big Data inscrit. Vous pouvez modifier la structure d'un jeu de données sélectionné en mettant à jour sa géométrie, sa définition temporelle et ses noms de champs dans sa ressource de manifeste associée.

Sous l’onglet Avancé de l’éditeur du manifeste de partage de fichiers Big Data, vous pouvez charger un fichier d’astuces afin de fournir des informations sur un jeu de données, telles que la présence ou l’absence d’une ligne d’en-tête, d’un encodage, d’un délimiteur de champ ou d’un terminateur d’enregistrement. La régénération du manifeste après le chargement d'un fichier d'astuces fait appel aux informations fournies pour générer le manifeste.

Vous pouvez également télécharger le manifeste, le mettre à jour et charger le fichier mis à jour.

Mettre à jour les jeux de données en entrée d’un partage de fichiers Big Data

Dans l’éditeur du manifeste de partage de fichiers Big Data, vous pouvez afficher un partage de fichiers Big Data sélectionné et les jeux de données qui y ont été inscrits. Lorsque vous sélectionnez un jeu de données dans le menu déroulant de l'éditeur, les paramètres correspondants sont renseignés. Pour en savoir plus sur chaque option de cette boîte de dialogue, reportez-vous à la rubrique Mise à jour des paramètres des partages de fichiers Big Data. Pour mettre à jour les paramètres d'un jeu de données, procédez comme suit :

  1. Dans la boîte de dialogue Stockages des données inscrits, recherchez le partage de fichiers Big Data à mettre à jour.
  2. Cliquez sur le crayon Edit (Mise à jour) pour afficher les détails et options des jeux de données correspondants.
  3. Cliquez sur l’onglet Datasets (Jeux de données) pour afficher les jeux de données inscrits et leurs paramètres correspondants.
  4. Sélectionnez un jeu de données dans le menu déroulant pour afficher les informations représentées dans son manifeste. Apportez les modifications requises aux propriétés du jeu de données.
  5. Une fois que vous avez modifié les propriétés du jeu de données, cliquez sur Enregistrer.

Mettre à jour un manifeste de partage de fichiers Big Data ou un fichier d'astuces

Sous l'onglet Avancé de l'éditeur du manifeste de partage de fichiers Big Data, vous pouvez mettre à jour le manifeste associé ou le fichier d'astuces en choisissant son onglet respectif. Si vous chargez un manifeste, il écrase les modifications que vous avez apportées à votre manifeste de partage de fichiers Big Data dans l’éditeur et remplace le manifeste actuel. Pour en savoir plus sur le manifeste de partage de fichiers Big Data, reportez-vous à la rubrique Présentation d'un manifeste de partage de fichiers Big Data. Pour en savoir plus sur l’utilisation d’un fichier d’astuces, reportez-vous à la rubrique Présentation du fichier d’astuces. Pour mettre à jour un manifeste de partage de fichiers Big Data ou un fichier d'astuces, procédez comme suit :

  1. Dans la boîte de dialogue Stockages des données inscrits, recherchez le partage de fichiers Big Data à modifier.
  2. Cliquez sur le crayon Edit (Mise à jour) pour afficher les options de modification de la ressource du manifeste.
  3. Cliquez sur l'onglet Options avancées.
  4. Sous l’onglet Advanced (Avancé), choisissez Manifest (Manifeste) ou Hints (Astuces) selon ce que vous modifiez.
    1. Pour télécharger le fichier manifeste, cliquez sur Manifeste > Télécharger.
    2. Pour télécharger le fichier d'astuces, cliquez sur Astuces > Télécharger.
  5. Utilisez un éditeur de texte pour modifier et enregistrer les modifications localement dans le fichier manifeste .json ou le fichier d'astuces .dat téléchargé.
    Astuce :
    Le format de fichier par défaut du fichier d'astuces est .dat. Une fois le fichier téléchargé, vous pouvez modifier son extension en .txt et mettre à jour le fichier.
  6. Pour charger un fichier mis à jour, cliquez sur le crayon de mise à jour correspondant au partage de fichiers Big Data à modifier.
    1. Pour mettre à jour le manifeste, cliquez sur Avancé > Manifeste > Charger et accédez au fichier .json mis à jour.
    2. Pour mettre à jour le fichier d'astuces, cliquez sur Avancé > Astuces > Charger et accédez au fichier .txt mis à jour.
  7. Cliquez sur Télécharger.

Si vous chargez un fichier d'astuces, veillez à régénérer le manifeste. Lorsque vous régénérez un manifeste, seuls les jeux de données dans lesquels des astuces sont spécifiées ou les nouveaux jeux de données sont mis à jour et les modifications apportées aux autres jeux de données ne figurant pas dans le fichier d’astuces sont conservées.

Régénérer le manifeste d'un partage de fichiers Big Data

Après avoir créé un partage de fichiers Big Data et généré un manifeste, un bouton permettant de régénérer le manifeste apparaît pour chaque entrée de la boîte de dialogue Stockages des données inscrits.

Vous pouvez régénérer un manifeste si vous avez ajouté de nouvelles données ou si vous avez chargé un fichier d'astuces à l'aide de la ressource de mise à jour. Le fichier d'astuces contient des spécifications qui sont utilisées lorsque vous régénérez le manifeste.

Remarque :
Lorsqu'un manifeste est régénéré, il actualise le manifeste des jeux de données existants qui comportent un fichier d'astuces ou des nouveaux jeux de données. Les mises à jour que vous avez apportées au manifeste sont remplacées par les règles définies dans le fichier d'astuces.

Mise à jour des paramètres des partages de fichiers Big Data

L'éditeur de partage de fichiers Big Data comprend les cinq sections suivantes :

  • Sélecteur de jeux de données
  • Champs
  • Géométrie
  • Durée
  • Format de jeu de données

Il est recommandé d'utiliser un fichier d'astuces avant de mettre à jour vos données si la génération du manifeste n'a pas permis de déterminer correctement les noms de champs, le codage, les délimiteurs de champs et les guillemets.

Sélecteur de jeux de données

Un manifeste se compose d'un ou de plusieurs jeux de données. Le nombre de jeux de données dépend du nombre de dossiers dans l'emplacement de votre partage de fichiers Big Data. Lorsque vous ouvrez le gestionnaire de manifestes, vous pouvez afficher les jeux de données qui ont été enregistrés dans votre partage de fichiers Big Data. Lorsque vous sélectionnez un jeu de données dans le menu déroulant, les paramètres du jeu de données sont renseignés avec les informations du jeu de données.

Si vous pensiez trouver d'autres jeux de données dans votre manifeste ou si certains sont absents, procédez comme suit :

  • Vérifiez que vous avez correctement enregistré le dossier de niveau supérieur. Pour plus d’informations, reportez-vous à la rubrique Inscrire vos données auprès de ArcGIS Server Manager.
  • Vérifiez que les données en entrée sont dans un format autorisé, tel qu’un ensemble de fichiers délimités, de fichiers de formes, Parquet ou ORC.
  • Assurez-vous que la structure de votre jeu de données en entrée d'intérêt est cohérente pour un ensemble de fichiers (tous les fichiers d'un jeu de données unique doivent posséder les mêmes champs).

Champs

La section champs répertorie tous les champs d'un jeu de données. Lorsque vous sélectionnez un jeu de données, les éléments suivants sont visibles pour chaque champ :

  • Nom du champ
  • Type de champ

Le nom et le type de champ peuvent être modifiés pour les fichiers délimités. Si vous modifiez plusieurs noms de champ, il est recommandé d'utiliser un fichier d'astuces.

Si le jeu de données en entrée est un fichier délimité, il est possible de modifier plusieurs paramètres du manifeste dans ArcGIS Server Manager.

Géométrie

La section Géométrie indique le type de géométrie et la façon dont elle est représentée. La table suivante décrit les options disponibles, avec des remarques concernant les modifications que vous pouvez apporter en fonction du type de jeu de données en entrée :

Paramètres de géométrie

ParamètreDescriptionFichiers délimitésFichier de formesFichiers ORCFichiers Parquet

Géométrie

Le type de géométrie. Les options sont Point, Polyline (Polyligne), Polygon (Polygone) ou None (Aucun). S'il n'y a pas de géométrie, l'entrée est une table.

Modifiable

Modification impossible

Modifiable

Modifiable

Référence spatiale (WKID/WKT)

La référence spatiale du jeu de données. Cette option ne s'affiche que si le jeu de données n'est pas une table.

Ceci peut être modifié. Par défaut, sa valeur est 4326, WGS 1984.

Modification impossible

Modifiable

Modifiable

Type de mise en forme de la géométrie

Mode de mise en forme de la géométrie pour chaque entité. Les options sont XYZ (les champs qui représentent les valeurs X, Y et, le cas échéant, Z – XYZ est applicable uniquement aux points), WKT (Well Known Text), GeoJson, EsriJson et forme. Cette option n'est disponible que si le jeu de données n'est pas une table ou un fichier de formes.

Modifiable

Indisponible

Modifiable

Modifiable

Durée

La section de durée présente la manière dont la durée est représentée. La table suivante décrit les options disponibles, avec des remarques concernant les modifications que vous pouvez apporter en fonction du type de jeu de données en entrée. Les options de temps sont les mêmes pour tous les types de données, sauf indication contraire.

Paramètres de durée

ParamètreDescriptionExemple

Type de temps

Type de temps en entrée. Les options sont Instant (un moment donné), Interval (Intervalle) (un laps de temps, avec une heure de début et de fin) et None (Aucun).

Instant

Fuseau horaire

Fuseau horaire du temps en entrée. Cette option n'est disponible que si la valeur Time Type (Type d’heure) est différente de None (Aucun).

UTC

Nom et tableau de mise en forme du temps

Ce tableau permet de sélectionner les champs de temps et décrit la façon dont le temps est défini. L’heure peut utiliser un ou plusieurs champs pour sa définition, ainsi qu'un ou plusieurs formats pour un seul champ. Par défaut, le premier champ intitulé « time » (temps) est utilisé comme champ de temps ; le format du temps est estimé. S’il existe un fichier de formes, le premier champ de type « date » est utilisé. Si le type de temps utilisé est Interval (Intervalle), une heure de début et une heure de fin doivent être spécifiées. Le tableau de mise en forme du temps n’est disponible que si la valeur de Time Type (Type de temps) n’est pas None (Aucun).

Exemple avec un seul champ utilisé pour l'heure avec deux formats différents :

  • Name (Nom) : TimeField Format : aa/MM/jj hh:mm:ss
  • Name (Nom) : TimeField Format : aaaa-MMM-jj hh:mm:ss

Exemple avec deux champs utilisés pour l'heure :

  • Name (Nom) : DateField Format : aa/MM/jj
  • Name (Nom) : TimeField Format : hh:mm:ss

Formats d'heure

La table suivante décrit le mode de représentation de l’heure lorsque vous mettez à jour un partage de fichiers Big Data via ArcGIS Server Manager ou directement dans un manifeste. Les exemples expliquent comment représenter le 2 janvier 2016 à 21:45:02.05.

Formats temporels dans les partages de fichiers Big Data

SymboleSignificationExemple

aa

L'année, représentée par deux chiffres.

16

aaaa

L'année, représentée par quatre chiffres.

2016

MM

Le mois, représenté numériquement.

01 ou 1

MMM

Le mois, représenté avec trois lettres.

Jan

MMMM

Le mois, représenté avec l'orthographe complète.

January

jj

Le jour.

02 ou 2

HH

Heure, avec un jour de 24 heures et des valeurs comprises entre 0 et 23.

21

hh

Heure avec un jour de 12 heures et des valeurs comprises entre 1 et 12.

9

mm

Minute, avec des valeurs comprises entre 0 et 59.

45

ss

Seconde, avec des valeurs comprises entre 0 et 59.

02

SSS

Milliseconde, avec des valeurs comprises entre 0 et 999.

50

a

Symbole ponctuel AM/PM.

PM

epoch_millis

Le temps en millisecondes, d’epoch.

1509581781000

epoch_seconds

Le temps en secondes, d’epoch.

1509747601

Z

Le décalage du fuseau horaire exprimé en heures.

-0100 ou -01:00

ZZZ

Le décalage du fuseau horaire exprimé à l’aide d’ID.

America/Los_Angeles

''

Utilisez les guillemets simples pour ajouter du texte qui ne représente pas une valeur décrite dans cette table.

'T'

Le tableau suivant fournit des exemples de différents formats de la même date : 2 janvier 2016 à 21:45:02.05 :

Exemples de format temporel :

Date en entréeFormat de date

01/02/2016 9:45:02PM

MM/jj/aaaa hh:mm:ssa

Jan02-16 21:45:02

MMMjj-aa HH:mm:ss

2 janvier 2016 9:45:02.050PM

MMMM jj aaaa hh:mm:ss.SSSa

01/02/2017T9:45:14:05-0000

MM/jj/aaaa'T'HH:mm:ssZ

Format de jeu de données

La section Format de jeu de données indique le format des données. Les données peuvent respecter l'un des formats suivants :

  • Fichier de formes (.shp)
  • Fichier délimité (par exemple, .csv)
  • Fichier Parquet
  • Fichier ORC

Les paramètres disponibles diffèrent selon le jeu de données. Pour les fichiers de formes, ORC et Parquet, le seul paramètre est le type de fichier, qui ne peut pas être modifié. Si le jeu de données en entrée est un fichier délimité, il est possible de modifier plusieurs paramètres. Pour modifier les valeurs d’un fichier délimité, utilisez un fichier d’astuces et régénérez le manifeste. Ces paramètres sont décrits dans le tableau suivant :

Formats de jeux de données

ParamètreDescription

Extension de fichier

Répertorie l'extension du type de fichier dans le jeu de données en entrée. Les formats courants sont .csv et .txt. Modifiez ces informations pour un fichier délimité avec un fichier d’astuces.

Délimiteur de champ

Détermine le délimiteur de chaque champ. Les formats courants sont , et ;. Modifiez ces informations pour un fichier délimité avec un fichier d’astuces.

Terminateur d'enregistrement

Détermine le terminateur de chaque ligne de données. Les formats courants sont \n et \t. Modifiez ces informations pour un fichier délimité avec un fichier d’astuces.

Guillemet

Détermine le caractère utilisé pour les guillemets. Modifiez ces informations pour un fichier délimité avec un fichier d’astuces.

Contient une ligne d'en-têtes

Une valeur booléenne qui détermine si la table en entrée comprend une ligne d’en-tête. Si une ligne d'en-têtes est comprise, les en-têtes sont utilisés pour les noms de champs. Les informations sur les noms de champs permettent de prévoir les champs de géométrie et d'heure. Définissez les lignes d’en-tête avec le fichier d’astuces.

Codage

Le type de code utilisé sur le fichier. Par défaut, il s’agit de UTF-8. Ceci est défini par le biais d’un fichier d’astuces.

Paramètres de mise à jour des modèles en sortie des partages de fichiers Big Data

L’éditeur de modèles en sortie des partages de fichiers Big Data se compose des quatre sections suivantes :

  • Sélecteur de modèles en sortie
  • Mise en forme de la géométrie
  • Mise en forme de la date et de l’heure
  • Format de jeu de données

Sélecteur de jeux de données

Un partage de fichiers Big Data peut également se composer d’un ou de plusieurs modèles. Le nombre de modèles dépend des différents formats dans lesquels vous voulez écrire les résultats. Lorsque vous ouvrez le gestionnaire de modèles en sortie, vous pouvez afficher les modèles qui ont été inscrits dans votre partage de fichiers Big Data. Lorsque vous sélectionnez un modèle dans le menu déroulant, les paramètres du modèle sont renseignés avec les informations de mise en forme en sortie. Si vous voulez ajouter un nouveau modèle, sélectionnez l’option Add template (Ajouter un modèle) et choisissez le type et le nom du nouveau modèle. Si vous souhaitez supprimer un modèle, sélectionnez-le dans le sélecteur de modèles et choisissez Delete template (Supprimer le modèle). Vous pouvez modifier un modèle existant en le sélectionnant, puis en modifiant une des sections ci-dessous selon les besoins.

Remarque :

Les partages de fichiers Big Data en entrée comportent une section de champs. Les modèles en sortie n’en comportent pas, car les champs obtenus sont déterminés par l’Outils GeoAnalytics générant le résultat. ORC ne prend en charge que les noms de champ comportant des caractères de l’alphabet latin de base et des caractères numériques. Tous les autres caractères d’un nom de champ seront remplacés par un trait de soulignement.

Géométrie

La section Géométrie indique la façon dont vous voulez que la géométrie en sortie soit mise en forme pour chaque type de géométrie (point, ligne, polygone). La définition de la géométrie en sortie se divise en deux parties :

  • Référence spatiale : vous pouvez laisser cette section vide. Les résultats des outils sont dans ce cas utilisés (comportement par défaut). Vous pouvez également indiquer une chaîne WKID ou WKT. Tous les résultats sont alors projetés dans cette référence spatiale. Cette valeur est partagée dans toutes les géométries en sortie.
  • Champs et type de mise en forme de la géométrie. Vous trouverez ci-dessous une description détaillée.
Vous pouvez, pour chaque modèle, définir la façon dont vous voulez mettre en forme la géométrie du jeu de données, ainsi que les noms des champs qui représentent la géométrie. Selon le type de jeu de données (fichiers délimités, shapefiles, fichiers ORC ou Parquet), vous pouvez générer des résultats dans différents formats. La table suivante indique ces formats :

Formats de géométrie en sortie

Type de géométrieChamps en sortieFichiers délimitésFichier de formesFichiers ORCFichiers Parquet

XYZ : champ X, Y, et éventuellement Z. Cette option est disponible uniquement pour les points.

Par défaut, trois nouveaux champs nommés X, Y et Z vont être créés. Vous êtes libre de renommer ces champs.

Oui Oui Oui

WKT

Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie.

Oui Oui Oui

GeoJSON

Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie.

Oui Oui Oui

EsriJSON

Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie.

Oui Oui Oui

SHP

Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie.

Oui

WKB

Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie.

Oui Oui

Zone tampon de forme

Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie.

Oui Oui

Durée

La section temporelle indique la représentation du temps en sortie. La mise en forme des données temporelles requiert les informations suivantes :

  • Mise en forme pour les instants et les intervalles.
  • Les noms des champs dans lesquels les données temporelles vont être écrites.
  • Le format (Chaîne ou Date) dans lequel les données temporelles vont être écrites. Notez que les fichiers délimités peuvent uniquement être au format de chaîne.
  • Pour les intervalles, dont les champs représentent l’heure de début et de fin.

La mise en forme temporelle est la même que pour les fichiers de Big Data en entrée. Reportez-vous à la rubrique Formats temporels dans un partage de fichiers Big Data.

Format de jeu de données

La section de format de jeu de données indique le format en sortie dans lequel les données vont être écrites. Les données peuvent respecter l'un des formats suivants :

  • Fichier de formes (.shp)
  • Fichier délimité (par exemple, .csv)
  • Fichier Parquet
  • Fichier ORC

Les paramètres disponibles diffèrent selon le jeu de données. Pour les shapefiles, les fichiers ORC et Parquet, le seul paramètre est le type de fichier, qui ne peut pas être modifié. Si le jeu de données en entrée est un fichier délimité, il est possible de modifier plusieurs paramètres dans ArcGIS Server Manager. Ces paramètres sont décrits dans le tableau suivant :

Formats de jeux de données

ParamètreDescription

Extension de fichier

Les extensions ne sont jamais appliquées à un jeu de données en sortie.

Délimiteur de champ

Détermine le délimiteur de chaque champ. Les formats courants sont , et ;.

Terminateur d'enregistrement

Le terminateur de chaque ligne de données ne peut pas être défini. Pour Windows, le terminateur est \r\n, pour Linux, c’est \n .

Guillemet

Détermine le caractère utilisé pour les guillemets.

Contient une ligne d'en-têtes

Valeur booléenne qui détermine si la table en sortie comprend une ligne d’en-tête représentant les noms des champs. La valeur par défaut est true.

Codage

Le codage est toujours de type UTF-8.