Les partages de fichiers Big Data sont inscrits en tant que stockage de données via ArcGIS Server Manager sur votre ArcGIS GeoAnalytics Server. Un partage de fichiers Big Data requiert un manifeste décrivant le schéma des données, ainsi que les champs et les formats qui représentent la géométrie et le temps dans un jeu de données. Le manifeste est généré automatiquement lorsque vous inscrivez un partage de fichiers Big Data. Vous pouvez être amené à apporter des modifications si vos données viennent à changer ou si la génération du manifeste n’a pas permis de déterminer toutes les informations requises (par exemple, le manifeste généré automatiquement n’a pas sélectionné le champ approprié pour la géométrie ou le temps).
Vous pouvez afficher et mettre à jour les jeux de données et les informations du manifeste via ArcGIS Server Manager sur votre ArcGIS GeoAnalytics Server.
Mettre à jour un partage de fichiers Big Data
Une fois que vous avez inscrit un partage de fichiers Big Data, vous pouvez afficher et mettre à jour les attributs et paramètres pour les jeux de données inscrits de cet élément en ouvrant l’éditeur du manifeste de partage de fichiers Big Data.
Vous pouvez par exemple vérifier le nombre de jeux de données au sein d'un partage de fichiers inscrit. Si, ce faisant, vous ne voyez pas le nombre attendu de jeux de données dans le partage de fichiers inscrit, vérifiez que l'emplacement inscrit contient des jeux de données valides.
Vous pouvez également examiner les structures des jeux de données pour un partage de fichiers Big Data inscrit. Vous pouvez modifier la structure d'un jeu de données sélectionné en mettant à jour sa géométrie, sa définition temporelle et ses noms de champs dans sa ressource de manifeste associée.
Sous l’onglet Avancé de l’éditeur du manifeste de partage de fichiers Big Data, vous pouvez charger un fichier d’astuces afin de fournir des informations sur un jeu de données, telles que la présence ou l’absence d’une ligne d’en-tête, d’un encodage, d’un délimiteur de champ ou d’un terminateur d’enregistrement. La régénération du manifeste après le chargement d'un fichier d'astuces fait appel aux informations fournies pour générer le manifeste.
Vous pouvez également télécharger le manifeste, le mettre à jour et charger le fichier de manifeste modifié.
Mettre à jour les jeux de données d'un partage de fichiers Big Data
Dans l’éditeur du manifeste de partage de fichiers Big Data, vous pouvez afficher un partage de fichiers Big Data sélectionné et les jeux de données qui y ont été inscrits. Lorsque vous sélectionnez un jeu de données dans le menu déroulant de l'éditeur, les paramètres correspondants sont renseignés. Pour en savoir plus sur chaque option de cette boîte de dialogue, reportez-vous à la rubrique Mise à jour des paramètres des partages de fichiers Big Data. Pour mettre à jour les paramètres d'un jeu de données, procédez comme suit :
- Dans la boîte de dialogue Stockages des données inscrits, recherchez le partage de fichiers Big Data à mettre à jour.
- Cliquez sur le crayon de mise à jour pour afficher les détails et options des jeux de données correspondants.
- Cliquez sur l’onglet Datasets (Jeux de données) pour afficher les jeux de données inscrits et leurs paramètres correspondants.
- Sélectionnez un jeu de données dans le menu déroulant pour afficher les informations représentées dans son manifeste. Apportez les modifications requises aux propriétés du jeu de données.
- Une fois que vous avez modifié les propriétés du jeu de données, cliquez sur Enregistrer.
Mettre à jour un manifeste de partage de fichiers Big Data ou un fichier d'astuces
Sous l'onglet Avancé de l'éditeur du manifeste de partage de fichiers Big Data, vous pouvez mettre à jour le manifeste associé ou le fichier d'astuces en choisissant son onglet respectif. Si vous chargez un manifeste, il écrase les modifications que vous avez apportées à votre manifeste de partage de fichiers Big Data dans l’éditeur et remplace le manifeste actuel. Pour en savoir plus sur les manifestes de partage de fichiers Big Data, reportez-vous à la rubrique Présentation d’un manifeste de partage de fichiers Big Data. Pour en savoir plus sur l’utilisation d’un fichier d’astuces, reportez-vous à la rubrique Présentation du fichier d’astuces. Pour mettre à jour un manifeste de partage de fichiers Big Data ou un fichier d'astuces, procédez comme suit :
- Dans la boîte de dialogue Stockages des données inscrits, recherchez le partage de fichiers Big Data à modifier.
- Cliquez sur le crayon de mise à jour pour afficher les options de modification de la ressource du manifeste.
- Cliquez sur l'onglet Options avancées.
- Sous l’onglet Advanced (Avancé), choisissez Manifest (Manifeste) ou Hints (Astuces) selon ce que vous modifiez.
- Pour télécharger le fichier manifeste, cliquez sur Manifeste > Télécharger.
- Pour télécharger le fichier d'astuces, cliquez sur Astuces > Télécharger.
- Utilisez un éditeur de texte pour modifier et enregistrer les modifications localement dans le fichier manifeste .json ou le fichier d'astuces .dat téléchargé.
Astuce:
Le format de fichier par défaut du fichier d'astuces est .dat. Une fois le fichier téléchargé, vous pouvez modifier son extension en .txt et mettre à jour le fichier. - Pour charger un fichier mis à jour, cliquez sur le crayon de mise à jour correspondant au partage de fichiers Big Data à modifier.
- Pour mettre à jour le manifeste, cliquez sur Avancé > Manifeste > Charger et accédez au fichier .json mis à jour.
- Pour mettre à jour le fichier d'astuces, cliquez sur Avancé > Astuces > Charger et accédez au fichier .txt mis à jour.
- Cliquez sur Télécharger.
Si vous chargez un fichier d'astuces, veillez à régénérer le manifeste. Lorsque vous régénérez un manifeste, seuls les jeux de données dans lesquels des astuces sont spécifiées ou les nouveaux jeux de données sont mis à jour et les modifications apportées aux autres jeux de données ne figurant pas dans le fichier d’astuces sont conservées.
Régénérer le manifeste d'un partage de fichiers Big Data
Après avoir créé un partage de fichiers Big Data et généré un manifeste, un bouton permettant de régénérer le manifeste apparaît pour chaque entrée de la boîte de dialogue Stockages des données inscrits.
Vous pouvez régénérer un manifeste si vous avez ajouté de nouvelles données ou si vous avez chargé un fichier d'astuces à l'aide de la ressource de mise à jour. Le fichier d'astuces contient des spécifications qui sont utilisées lorsque vous régénérez le manifeste.
Remarque :
Lorsqu'un manifeste est régénéré, il actualise le manifeste des jeux de données existants qui comportent un fichier d'astuces ou des nouveaux jeux de données. Les mises à jour que vous avez apportées au manifeste sont remplacées par les règles définies dans le fichier d'astuces.Mise à jour des paramètres des partages de fichiers Big Data
L’éditeur de partage de fichiers Big Data se compose des sections suivantes :
- Sélecteur de jeux de données
- Champs
- Géométrie
- Durée
- Format de jeu de données
Il est recommandé d’utiliser un fichier d’astuces avant de mettre à jour vos données si la génération du manifeste n’a pas permis de déterminer correctement les noms de champs, le codage, les délimiteurs de champs et les guillemets.
Sélecteur de jeux de données
Un manifeste se compose d'un ou de plusieurs jeux de données. Le nombre de jeux de données dépend du nombre de dossiers dans l'emplacement de votre partage de fichiers Big Data. Lorsque vous ouvrez le gestionnaire de manifestes, vous pouvez afficher les jeux de données qui ont été enregistrés dans votre partage de fichiers Big Data. Lorsque vous sélectionnez un jeu de données dans le menu déroulant, les paramètres du jeu de données sont renseignés avec les informations du jeu de données.
Si vous pensiez trouver d'autres jeux de données dans votre manifeste ou si certains sont absents, procédez comme suit :
- Vérifiez que vous avez correctement enregistré le dossier de niveau supérieur. Pour plus d'informations, reportez-vous à la rubrique Inscrire un stockage des données via ArcGIS Server Manager.
- Vérifiez que les données en entrée sont dans un format autorisé, tel qu’un ensemble de fichiers délimités, de fichiers de formes, Parquet ou ORC.
- Assurez-vous que la structure de votre jeu de données en entrée d’intérêt est cohérente pour un ensemble de fichiers (tous les fichiers d’un jeu de données unique doivent posséder les mêmes champs).
Champs
La section champs répertorie tous les champs d'un jeu de données. Lorsque vous sélectionnez un jeu de données, les éléments suivants sont visibles pour chaque champ :
- Nom du champ.
- Le type de champ.
Le nom et le type de champ peuvent être modifiés pour les fichiers délimités. Si vous modifiez plusieurs noms de champ, il est conseillé d’utiliser un fichier d’astuces.
Si le jeu de données en entrée est un fichier délimité, il est possible de modifier plusieurs paramètres du manifeste dans le gestionnaire.
Géométrie
La section Géométrie indique le type de géométrie et la façon dont elle est représentée. Le tableau suivant décrit les options disponibles, avec des remarques concernant les modifications que vous pouvez apporter en fonction du type de jeu de données en entrée :
Paramètres de géométrie
| Paramètre | Description | Fichiers délimités | Fichiers de formes | Fichiers ORC | Fichiers Parquet |
|---|---|---|---|---|---|
Géométrie | Type de géométrie. Les options sont Point, Polyline (Polyligne), Polygon (Polygone) ou None (Aucun). En cas d’absence de géométrie, l’entrée est une table. | Modifiable | Modification impossible | Modifiable | Modifiable |
Référence spatiale (WKID/WKT) | Référence spatiale du jeu de données. Cette option n’apparaît que si le jeu de données n’est pas une table. | Elle peut être modifiée. Par défaut, sa valeur est 4326, WGS 1984. | Modification impossible | Modifiable | Modifiable |
Type de mise en forme de la géométrie | Mode de mise en forme de la géométrie pour chaque entité. Les options sont XYZ (champs représentant les valeurs X, Y et, éventuellement, Z ; XYZ n’est applicable qu’aux points), WKT (description textuelle connue), GeoJson, EsriJson et shape (forme). Cette option n’est disponible que si le jeu de données n’est ni une table ni un fichier de formes. | Modifiable | Indisponible | Modifiable | Modifiable |
Durée
La section Temps définit la représentation du temps. Le tableau suivant décrit les options disponibles, avec des remarques concernant les modifications que vous pouvez apporter en fonction du type de jeu de données en entrée. Les options de temps sont les mêmes pour tous les types de données, sauf indication contraire.
Paramètres de temps
| Paramètre | Description | Exemple |
|---|---|---|
Type de temps | Type de temps en entrée. Les options sont Instant (un moment donné), Interval (Intervalle) (un laps de temps, avec une heure de début et de fin) et None (Aucun). | Instant |
Fuseau horaire | Fuseau horaire du temps en entrée. Cette option n’est disponible que si la valeur de Time Type (Type de temps) n’est pas None (Aucun). | UTC |
Nom et tableau de mise en forme du temps | Ce tableau permet de sélectionner les champs de temps et décrit la façon dont le temps est défini. Un ou plusieurs champs peuvent être utilisés pour définir le temps, et un ou plusieurs formats peuvent être utilisés pour un même champ. Par défaut, le premier champ intitulé « time » (temps) est utilisé comme champ de temps ; le format du temps est estimé. S’il existe un fichier de formes, le premier champ de type « date » est utilisé. Si le type de temps utilisé est Interval (Intervalle), une heure de début et une heure de fin doivent être spécifiées. Le tableau de mise en forme du temps n’est disponible que si la valeur de Time Type (Type de temps) n’est pas None (Aucun). | Exemple dans lequel un seul champ est utilisé pour représenter le temps dans deux formats différents :
Exemple dans lequel deux champs sont utilisés pour représenter le temps :
|
Formats d'heure
Le tableau suivant décrit le mode de représentation de l'heure lorsque vous mettez à jour un partage de fichiers Big Data via ArcGIS Server Manager ou directement dans un manifeste. Les exemples expliquent comment représenter le 2 janvier 2016 à 9:45:02.05 PM.
Formats du temps dans les partages de fichiers Big Data
| Symbole | Signification | Exemple |
|---|---|---|
aa | L'année, représentée par deux chiffres. | 16 |
aaaa | L'année, représentée par quatre chiffres. | 2016 |
MM | Le mois, représenté numériquement. | 01 ou 1 |
MMM | Le mois, représenté avec trois lettres. | Jan |
MMMM | Le mois, représenté avec l'orthographe complète. | January |
jj | Le jour. | 02 ou 2 |
HH | Heure, avec un jour de 24 heures et des valeurs comprises entre 0 et 23. | 21 |
hh | Heure, avec un jour de 12 heures et des valeurs comprises entre 1 et 12. | 9 |
mm | Minute, avec des valeurs comprises entre 0 et 59. | 45 |
ss | Seconde, avec des valeurs comprises entre 0 et 59. | 02 |
SSS | Milliseconde, avec des valeurs comprises entre 0 et 999. | 50 |
a | Symbole ponctuel AM/PM. | PM |
epoch_millis | Temps en millisecondes (epoch). | 1509581781000 |
epoch_seconds | Temps en secondes (epoch). | 1509747601 |
Z | Décalage de fuseau horaire exprimé en heures. | -0100 ou -01:00 |
ZZZ | Décalage de fuseau horaire à l’aide d’ID. | America/Los_Angeles |
Le tableau suivant fournit des exemples de différents formats de la même date : 2 janvier 2016 à 9:45:02.05 PM :
Exemples de format de temps
| Date en entrée | Format de date |
|---|---|
01/02/2016 9:45:02PM | MM/jj/aaaa hh:mm:ssa |
Jan02-16 21:45:02 | MMMjj-aa HH:mm:ss |
2 janvier 2016 9:45:02.050PM | MMMM jj aaaa hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/jj/yyyy'T'HH:mm:ssZ |
Format de jeu de données
La section Format de jeu de données décrit le format des données. Le format des données peut être l’un des suivants :
- Fichier de formes (.shp)
- Fichier délimité (par exemple .csv)
- Fichier Parquet
- Fichier ORC
Les paramètres disponibles varient selon le jeu de données. Pour les fichiers de formes, ORC et Parquet, le seul paramètre est le type de fichier, qui ne peut pas être modifié. Si le jeu de données en entrée est un fichier délimité, il est possible de modifier plusieurs paramètres du manifeste dans le gestionnaire. Ces paramètres sont décrits dans le tableau suivant :
Formats de jeu de données
| Paramètre | Description |
|---|---|
Extension de fichier | Répertorie l'extension du type de fichier dans le jeu de données en entrée. Les formats courants sont .csv et .txt. Ces informations peuvent se trouver dans le fichier d'astuces. |
Délimiteur de champ | Détermine le délimiteur de chaque champ. Les formats courants sont , et ;. Ces informations peuvent se trouver dans le fichier d'astuces. |
Terminateur d'enregistrement | Détermine le terminateur de chaque ligne de données. Les formats courants sont \n et \t. Ces informations peuvent se trouver dans le fichier d'astuces. |
Guillemet | Détermine le caractère utilisé pour les guillemets. Ces informations peuvent se trouver dans le fichier d'astuces. |
Contient une ligne d'en-têtes | Une valeur booléenne qui détermine si la table en entrée comprend une ligne d'en-tête. Si une ligne d'en-têtes est comprise, les en-têtes sont utilisés pour les noms de champs. Les informations sur les noms de champs permettent de prévoir les champs de géométrie et d'heure. Les en-têtes peuvent être définis à l'aide du fichier d'astuces. |
Codage | Type de codage utilisé pour le fichier. La valeur par défaut est UTF-8. Cette valeur peut être définie dans le fichier d’astuces. |
Vous avez un commentaire à formuler concernant cette rubrique ?