Les partages de fichiers Big Data sont inscrits en tant que répertoire de données via ArcGIS Server Manager sur votre instance ArcGIS GeoAnalytics Server. Un partage de fichiers Big Data requiert un manifeste décrivant la structure des données en entrée, ainsi que les champs et les formats qui représentent la géométrie et le temps dans un jeu de données. Le manifeste est généré automatiquement lorsque vous inscrivez un partage de fichiers Big Data. Vous pouvez être amené à apporter des modifications si vos données viennent à changer ou si la génération du manifeste n’a pas permis de déterminer toutes les informations requises (par exemple, le manifeste généré automatiquement n’a pas sélectionné le champ approprié pour la géométrie ou le temps). Un partage de fichiers Big Data peut comporter des modèles en sortie, utilisés pour indiquer le format des résultats écrits dans le partage de fichiers Big Data. Les modèles en sortie sont générés lorsque vous inscrivez un partage de fichiers Big Data et sélectionnés pour utiliser le partage de fichiers Big Data comme emplacement en sortie. Vous pouvez être amené à modifier un ou plusieurs modèles, par exemple le format des champs de temps et de géométrie, ou vous pouvez ajouter ou supprimer un modèle.
Vous pouvez afficher et mettre à jour les jeux de données et les informations de manifeste, ainsi que les modèles en sortie via ArcGIS Server Manager sur votre ArcGIS GeoAnalytics Server.
Mettre à jour un partage de fichiers Big Data
Une fois que vous avez inscrit un partage de fichiers Big Data, vous pouvez afficher et mettre à jour les attributs et paramètres pour les jeux de données inscrits de cet élément en ouvrant l’éditeur du manifeste de partage de fichiers Big Data. Vous pouvez également mettre à jour les attributs et paramètres des modèles en sortie facultatifs, qui indiquent la façon dont les résultats en sortie sont écrits dans le partage de fichiers Big Data.
Vous pouvez par exemple, pour les données en entrée, vérifier le nombre de jeux de données au sein d’un partage de fichiers inscrit. Si, ce faisant, vous ne voyez pas le nombre attendu de jeux de données dans le partage de fichiers inscrit, vérifiez que l'emplacement inscrit contient des jeux de données valides.
Pour un modèle en sortie, vous pouvez mettre en forme une sortie de fichier délimitée de façon à écrire un fichier délimité par des tabulations et utiliser WKT pour stocker la géométrie.
Vous pouvez également examiner les structures des jeux de données pour un partage de fichiers Big Data inscrit. Vous pouvez modifier la structure d'un jeu de données sélectionné en mettant à jour sa géométrie, sa définition temporelle et ses noms de champs dans sa ressource de manifeste associée.
Sous l’onglet Avancé de l’éditeur du manifeste de partage de fichiers Big Data, vous pouvez charger un fichier d’astuces afin de fournir des informations sur un jeu de données, telles que la présence ou l’absence d’une ligne d’en-tête, d’un encodage, d’un délimiteur de champ ou d’un terminateur d’enregistrement. La régénération du manifeste après le chargement d'un fichier d'astuces fait appel aux informations fournies pour générer le manifeste.
Vous pouvez également télécharger le manifeste, le mettre à jour et charger le fichier mis à jour.
Mettre à jour les jeux de données en entrée d’un partage de fichiers Big Data
Dans l’éditeur du manifeste de partage de fichiers Big Data, vous pouvez afficher un partage de fichiers Big Data sélectionné et les jeux de données qui y ont été inscrits. Lorsque vous sélectionnez un jeu de données dans le menu déroulant de l'éditeur, les paramètres correspondants sont renseignés. Pour en savoir plus sur chaque option de cette boîte de dialogue, reportez-vous à la rubrique Mise à jour des paramètres des partages de fichiers Big Data. Pour mettre à jour les paramètres d'un jeu de données, procédez comme suit :
- Dans la boîte de dialogue Stockages des données inscrits, recherchez le partage de fichiers Big Data à mettre à jour.
- Cliquez sur le crayon Edit (Mise à jour) pour afficher les détails et options des jeux de données correspondants.
- Cliquez sur l’onglet Datasets (Jeux de données) pour afficher les jeux de données inscrits et leurs paramètres correspondants.
- Sélectionnez un jeu de données dans le menu déroulant pour afficher les informations représentées dans son manifeste. Apportez les modifications requises aux propriétés du jeu de données.
- Une fois que vous avez modifié les propriétés du jeu de données, cliquez sur Enregistrer.
Mettre à jour un manifeste de partage de fichiers Big Data ou un fichier d'astuces
Sous l'onglet Avancé de l'éditeur du manifeste de partage de fichiers Big Data, vous pouvez mettre à jour le manifeste associé ou le fichier d'astuces en choisissant son onglet respectif. Si vous chargez un manifeste, il écrase les modifications que vous avez apportées à votre manifeste de partage de fichiers Big Data dans l’éditeur et remplace le manifeste actuel. Pour en savoir plus sur le manifeste de partage de fichiers Big Data, reportez-vous à la rubrique Présentation d'un manifeste de partage de fichiers Big Data. Pour en savoir plus sur l’utilisation d’un fichier d’astuces, reportez-vous à la rubrique Présentation du fichier d’astuces. Pour mettre à jour un manifeste de partage de fichiers Big Data ou un fichier d'astuces, procédez comme suit :
- Dans la boîte de dialogue Stockages des données inscrits, recherchez le partage de fichiers Big Data à modifier.
- Cliquez sur le crayon Edit (Mise à jour) pour afficher les options de modification de la ressource du manifeste.
- Cliquez sur l'onglet Options avancées.
- Sous l’onglet Advanced (Avancé), choisissez Manifest (Manifeste) ou Hints (Astuces) selon ce que vous modifiez.
- Pour télécharger le fichier manifeste, cliquez sur Manifeste > Télécharger.
- Pour télécharger le fichier d'astuces, cliquez sur Astuces > Télécharger.
- Utilisez un éditeur de texte pour modifier et enregistrer les modifications localement dans le fichier manifeste .json ou le fichier d'astuces .dat téléchargé.
Conseil :
Le format de fichier par défaut du fichier d'astuces est .dat. Une fois le fichier téléchargé, vous pouvez modifier son extension en .txt et mettre à jour le fichier. - Pour charger un fichier mis à jour, cliquez sur le crayon de mise à jour correspondant au partage de fichiers Big Data à modifier.
- Pour mettre à jour le manifeste, cliquez sur Avancé > Manifeste > Charger et accédez au fichier .json mis à jour.
- Pour mettre à jour le fichier d'astuces, cliquez sur Avancé > Astuces > Charger et accédez au fichier .txt mis à jour.
- Cliquez sur Télécharger.
Si vous chargez un fichier d'astuces, veillez à régénérer le manifeste. Lorsque vous régénérez un manifeste, seuls les jeux de données dans lesquels des astuces sont spécifiées ou les nouveaux jeux de données sont mis à jour et les modifications apportées aux autres jeux de données ne figurant pas dans le fichier d’astuces sont conservées.
Régénérer le manifeste d'un partage de fichiers Big Data
Après avoir créé un partage de fichiers Big Data et généré un manifeste, un bouton permettant de régénérer le manifeste apparaît pour chaque entrée de la boîte de dialogue Stockages des données inscrits.
Vous pouvez régénérer un manifeste si vous avez ajouté de nouvelles données ou si vous avez chargé un fichier d'astuces à l'aide de la ressource de mise à jour. Le fichier d'astuces contient des spécifications qui sont utilisées lorsque vous régénérez le manifeste.
Remarque :
Lorsqu'un manifeste est régénéré, il actualise le manifeste des jeux de données existants qui comportent un fichier d'astuces ou des nouveaux jeux de données. Les mises à jour que vous avez apportées au manifeste sont remplacées par les règles définies dans le fichier d'astuces.Mise à jour des paramètres des partages de fichiers Big Data
L'éditeur de partage de fichiers Big Data comprend les cinq sections suivantes :
- Sélecteur de jeux de données
- Champs
- Géométrie
- Durée
- Format de jeu de données
Il est recommandé d'utiliser un fichier d'astuces avant de mettre à jour vos données si la génération du manifeste n'a pas permis de déterminer correctement les noms de champs, le codage, les délimiteurs de champs et les guillemets.
Sélecteur de jeux de données
Un manifeste se compose d'un ou de plusieurs jeux de données. Le nombre de jeux de données dépend du nombre de dossiers dans l'emplacement de votre partage de fichiers Big Data. Lorsque vous ouvrez le gestionnaire de manifestes, vous pouvez afficher les jeux de données qui ont été enregistrés dans votre partage de fichiers Big Data. Lorsque vous sélectionnez un jeu de données dans le menu déroulant, les paramètres du jeu de données sont renseignés avec les informations du jeu de données.
Si vous pensiez trouver d'autres jeux de données dans votre manifeste ou si certains sont absents, procédez comme suit :
- Vérifiez que vous avez correctement enregistré le dossier de niveau supérieur. Pour plus d’informations, reportez-vous à la rubrique Inscrire vos données auprès de ArcGIS Server Manager.
- Vérifiez que les données en entrée sont dans un format autorisé, tel qu’un ensemble de fichiers délimités, de fichiers de formes, Parquet ou ORC.
- Assurez-vous que la structure de votre jeu de données en entrée d'intérêt est cohérente pour un ensemble de fichiers (tous les fichiers d'un jeu de données unique doivent posséder les mêmes champs).
Champs
La section champs répertorie tous les champs d'un jeu de données. Lorsque vous sélectionnez un jeu de données, les éléments suivants sont visibles pour chaque champ :
- Nom du champ
- Type de champ
Le nom et le type de champ peuvent être modifiés pour les fichiers délimités. Si vous modifiez plusieurs noms de champ, il est recommandé d'utiliser un fichier d'astuces.
Si le jeu de données en entrée est un fichier délimité, il est possible de modifier plusieurs paramètres du manifeste dans ArcGIS Server Manager.
Géométrie
La section Géométrie indique le type de géométrie et la façon dont elle est représentée. La table suivante décrit les options disponibles, avec des remarques concernant les modifications que vous pouvez apporter en fonction du type de jeu de données en entrée :
Paramètres de géométrie
| Paramètre | Description | Fichiers délimités | Fichier de formes | Fichiers ORC | Fichiers Parquet |
|---|---|---|---|---|---|
Géométrie | Le type de géométrie. Les options sont Point, Polyline (Polyligne), Polygon (Polygone) ou None (Aucun). S'il n'y a pas de géométrie, l'entrée est une table. | Modifiable | Modification impossible | Modifiable | Modifiable |
Référence spatiale (WKID/WKT) | La référence spatiale du jeu de données. Cette option ne s'affiche que si le jeu de données n'est pas une table. | Ceci peut être modifié. Par défaut, sa valeur est 4326, WGS 1984. | Modification impossible | Modifiable | Modifiable |
Type de mise en forme de la géométrie | Mode de mise en forme de la géométrie pour chaque entité. Les options sont XYZ (les champs qui représentent les valeurs X, Y et, le cas échéant, Z – XYZ est applicable uniquement aux points), WKT (Well Known Text), GeoJson, EsriJson et forme. Cette option n'est disponible que si le jeu de données n'est pas une table ou un fichier de formes. | Modifiable | Indisponible | Modifiable | Modifiable |
Durée
La section de durée présente la manière dont la durée est représentée. La table suivante décrit les options disponibles, avec des remarques concernant les modifications que vous pouvez apporter en fonction du type de jeu de données en entrée. Les options de temps sont les mêmes pour tous les types de données, sauf indication contraire.
Paramètres de durée
| Paramètre | Description | Exemple |
|---|---|---|
Type de temps | Type de temps en entrée. Les options sont Instant (un moment donné), Interval (Intervalle) (un laps de temps, avec une heure de début et de fin) et None (Aucun). | Instant |
Fuseau horaire | Fuseau horaire du temps en entrée. Cette option n'est disponible que si la valeur Time Type (Type d’heure) est différente de None (Aucun). | UTC |
Nom et tableau de mise en forme du temps | Ce tableau permet de sélectionner les champs de temps et décrit la façon dont le temps est défini. L’heure peut utiliser un ou plusieurs champs pour sa définition, ainsi qu'un ou plusieurs formats pour un seul champ. Par défaut, le premier champ intitulé « time » (temps) est utilisé comme champ de temps ; le format du temps est estimé. S’il existe un fichier de formes, le premier champ de type « date » est utilisé. Si le type de temps utilisé est Interval (Intervalle), une heure de début et une heure de fin doivent être spécifiées. Le tableau de mise en forme du temps n’est disponible que si la valeur de Time Type (Type de temps) n’est pas None (Aucun). | Exemple avec un seul champ utilisé pour l'heure avec deux formats différents :
Exemple avec deux champs utilisés pour l'heure :
|
Formats d'heure
La table suivante décrit le mode de représentation de l’heure lorsque vous mettez à jour un partage de fichiers Big Data via ArcGIS Server Manager ou directement dans un manifeste. Les exemples expliquent comment représenter le 2 janvier 2016 à 21:45:02.05.
Formats temporels dans les partages de fichiers Big Data
| Symbole | Signification | Exemple |
|---|---|---|
aa | L'année, représentée par deux chiffres. | 16 |
aaaa | L'année, représentée par quatre chiffres. | 2016 |
MM | Le mois, représenté numériquement. | 01 ou 1 |
MMM | Le mois, représenté avec trois lettres. | Jan |
MMMM | Le mois, représenté avec l'orthographe complète. | January |
jj | Le jour. | 02 ou 2 |
HH | Heure, avec un jour de 24 heures et des valeurs comprises entre 0 et 23. | 21 |
hh | Heure avec un jour de 12 heures et des valeurs comprises entre 1 et 12. | 9 |
mm | Minute, avec des valeurs comprises entre 0 et 59. | 45 |
ss | Seconde, avec des valeurs comprises entre 0 et 59. | 02 |
SSS | Milliseconde, avec des valeurs comprises entre 0 et 999. | 50 |
a | Symbole ponctuel AM/PM. | PM |
epoch_millis | Le temps en millisecondes, d’epoch. | 1509581781000 |
epoch_seconds | Le temps en secondes, d’epoch. | 1509747601 |
Z | Le décalage du fuseau horaire exprimé en heures. | -0100 ou -01:00 |
ZZZ | Le décalage du fuseau horaire exprimé à l’aide d’ID. | America/Los_Angeles |
'' | Utilisez les guillemets simples pour ajouter du texte qui ne représente pas une valeur décrite dans cette table. | 'T' |
Le tableau suivant fournit des exemples de différents formats de la même date : 2 janvier 2016 à 21:45:02.05 :
Exemples de format temporel :
| Date en entrée | Format de date |
|---|---|
01/02/2016 9:45:02PM | MM/jj/aaaa hh:mm:ssa |
Jan02-16 21:45:02 | MMMjj-aa HH:mm:ss |
2 janvier 2016 9:45:02.050PM | MMMM jj aaaa hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/jj/aaaa'T'HH:mm:ssZ |
Format de jeu de données
La section Format de jeu de données indique le format des données. Les données peuvent respecter l'un des formats suivants :
- Fichier de formes (.shp)
- Fichier délimité (par exemple, .csv)
- Fichier Parquet
- Fichier ORC
Les paramètres disponibles diffèrent selon le jeu de données. Pour les fichiers de formes, ORC et Parquet, le seul paramètre est le type de fichier, qui ne peut pas être modifié. Si le jeu de données en entrée est un fichier délimité, il est possible de modifier plusieurs paramètres. Pour modifier les valeurs d’un fichier délimité, utilisez un fichier d’astuces et régénérez le manifeste. Ces paramètres sont décrits dans le tableau suivant :
Formats de jeux de données
| Paramètre | Description |
|---|---|
Extension de fichier | Répertorie l'extension du type de fichier dans le jeu de données en entrée. Les formats courants sont .csv et .txt. Modifiez ces informations pour un fichier délimité avec un fichier d’astuces. |
Délimiteur de champ | Détermine le délimiteur de chaque champ. Les formats courants sont , et ;. Modifiez ces informations pour un fichier délimité avec un fichier d’astuces. |
Terminateur d'enregistrement | Détermine le terminateur de chaque ligne de données. Les formats courants sont \n et \t. Modifiez ces informations pour un fichier délimité avec un fichier d’astuces. |
Guillemet | Détermine le caractère utilisé pour les guillemets. Modifiez ces informations pour un fichier délimité avec un fichier d’astuces. |
Contient une ligne d'en-têtes | Une valeur booléenne qui détermine si la table en entrée comprend une ligne d’en-tête. Si une ligne d'en-têtes est comprise, les en-têtes sont utilisés pour les noms de champs. Les informations sur les noms de champs permettent de prévoir les champs de géométrie et d'heure. Définissez les lignes d’en-tête avec le fichier d’astuces. |
Codage | Le type de code utilisé sur le fichier. Par défaut, il s’agit de UTF-8. Ceci est défini par le biais d’un fichier d’astuces. |
Paramètres de mise à jour des modèles en sortie des partages de fichiers Big Data
L’éditeur de modèles en sortie des partages de fichiers Big Data se compose des quatre sections suivantes :
- Sélecteur de modèles en sortie
- Mise en forme de la géométrie
- Mise en forme de la date et de l’heure
- Format de jeu de données
Sélecteur de jeux de données
Un partage de fichiers Big Data peut également se composer d’un ou de plusieurs modèles. Le nombre de modèles dépend des différents formats dans lesquels vous voulez écrire les résultats. Lorsque vous ouvrez le gestionnaire de modèles en sortie, vous pouvez afficher les modèles qui ont été inscrits dans votre partage de fichiers Big Data. Lorsque vous sélectionnez un modèle dans le menu déroulant, les paramètres du modèle sont renseignés avec les informations de mise en forme en sortie. Si vous voulez ajouter un nouveau modèle, sélectionnez l’option Add template (Ajouter un modèle) et choisissez le type et le nom du nouveau modèle. Si vous souhaitez supprimer un modèle, sélectionnez-le dans le sélecteur de modèles et choisissez Delete template (Supprimer le modèle). Vous pouvez modifier un modèle existant en le sélectionnant, puis en modifiant une des sections ci-dessous selon les besoins.
Remarque :
Les partages de fichiers Big Data en entrée comportent une section de champs. Les modèles en sortie n’en comportent pas, car les champs obtenus sont déterminés par l’GeoAnalytics Tools générant le résultat. ORC ne prend en charge que les noms de champ comportant des caractères de l’alphabet latin de base et des caractères numériques. Tous les autres caractères d’un nom de champ seront remplacés par un trait de soulignement.
Géométrie
La section Géométrie indique la façon dont vous voulez que la géométrie en sortie soit mise en forme pour chaque type de géométrie (point, ligne, polygone). La définition de la géométrie en sortie se divise en deux parties :
- Référence spatiale : vous pouvez laisser cette section vide. Les résultats des outils sont dans ce cas utilisés (comportement par défaut). Vous pouvez également indiquer une chaîne WKID ou WKT. Tous les résultats sont alors projetés dans cette référence spatiale. Cette valeur est partagée dans toutes les géométries en sortie.
- Champs et type de mise en forme de la géométrie. Vous trouverez ci-dessous une description détaillée.
Formats de géométrie en sortie
| Type de géométrie | Champs en sortie | Fichiers délimités | Fichier de formes | Fichiers ORC | Fichiers Parquet |
|---|---|---|---|---|---|
XYZ : champ X, Y, et éventuellement Z. Cette option est disponible uniquement pour les points. | Par défaut, trois nouveaux champs nommés X, Y et Z vont être créés. Vous êtes libre de renommer ces champs. |  | | | |
WKT | Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie. | | | | |
GeoJSON | Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie. | | | | |
EsriJSON | Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie. | | | | |
SHP | Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie. | | |||
WKB | Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie. | | | ||
Zone tampon de forme | Par défaut, un nouveau champ nommé Geometry va être créé. Vous êtes libre de renommer le champ en sortie. | | |
Durée
La section temporelle indique la représentation du temps en sortie. La mise en forme des données temporelles requiert les informations suivantes :
- Mise en forme pour les instants et les intervalles.
- Les noms des champs dans lesquels les données temporelles vont être écrites.
- Le format (Chaîne ou Date) dans lequel les données temporelles vont être écrites. Notez que les fichiers délimités peuvent uniquement être au format de chaîne.
- Pour les intervalles, dont les champs représentent l’heure de début et de fin.
La mise en forme temporelle est la même que pour les fichiers de Big Data en entrée. Reportez-vous à la rubrique Formats temporels dans un partage de fichiers Big Data.
Format de jeu de données
La section de format de jeu de données indique le format en sortie dans lequel les données vont être écrites. Les données peuvent respecter l'un des formats suivants :
- Fichier de formes (.shp)
- Fichier délimité (par exemple, .csv)
- Fichier Parquet
- Fichier ORC
Les paramètres disponibles diffèrent selon le jeu de données. Pour les shapefiles, les fichiers ORC et Parquet, le seul paramètre est le type de fichier, qui ne peut pas être modifié. Si le jeu de données en entrée est un fichier délimité, il est possible de modifier plusieurs paramètres dans ArcGIS Server Manager. Ces paramètres sont décrits dans le tableau suivant :
Formats de jeux de données
| Paramètre | Description |
|---|---|
Extension de fichier | Les extensions ne sont jamais appliquées à un jeu de données en sortie. |
Délimiteur de champ | Détermine le délimiteur de chaque champ. Les formats courants sont , et ;. |
Terminateur d'enregistrement | Le terminateur de chaque ligne de données ne peut pas être défini. Pour Windows, le terminateur est \r\n, pour Linux, c’est \n . |
Guillemet | Détermine le caractère utilisé pour les guillemets. |
Contient une ligne d'en-têtes | Valeur booléenne qui détermine si la table en sortie comprend une ligne d’en-tête représentant les noms des champs. La valeur par défaut est true. |
Codage | Le codage est toujours de type UTF-8. |
Vous avez un commentaire à formuler concernant cette rubrique ?