Configurer et déployer l’analyse raster

L’analyse raster utilisant ArcGIS Enterprise est un système flexible de traitement raster, de stockage et de partage faisant appel à la technologie de calcul distribué et de stockage basée sur ArcGIS Image Server. Utilisez l’analyse raster pour appliquer les outils et les fonctions de traitement raster offerts par ArcGIS, concevoir vos propres fonctions et outils ou combiner des outils et des fonctions dans des chaînes de traitement raster afin d’exécuter vos algorithmes personnalisés sur de vastes collections de données raster. Les données source et les résultats traités sont stockés, publiés et partagés à travers votre entreprise selon vos besoins et vos priorités.

Cette fonctionnalité vaste peut être étendue davantage en exploitant les fonctionnalités et les ressources de calcul cloud. Le résultat net consiste en tâches de traitement et d’analyse d’images qui, au lieu de prendre des jours ou des semaines, s’effectuent désormais en quelques minutes ou heures, et de tâches auparavant trop vastes ou intimidantes pouvant à présent s’effectuer.

Introduction

L’analyse raster consiste dans ArcGIS Image Server configuré pour l’analyse raster dans un environnement de traitement et de stockage qui maximise la vitesse et l’efficacité de traitement. Les outils et les fonctions intégrés couvrent le prétraitement, l’orthorectification et le mosaïquage, l’analyse de télédétection, ainsi qu’un vaste éventail d’opérateurs mathématiques et trigonométriques. Vos fonctions personnalisées peuvent étendre encore plus les fonctionnalités analytiques de la plateforme.

Utilisez pleinement votre instance ArcGIS Image Server existante sur site ou exploitez la capacité flexible de traitement et de stockage du calcul Cloud et des plateformes de stockage telles que ArcGIS Enterprise on Amazon Web Services et ArcGIS Enterprise on Microsoft Azure pour augmenter ou réduire dynamiquement votre capacité selon la taille et l’urgence de vos projets. L’environnement évolutif de l’analyse raster vous permet de mettre en œuvre un traitement d’image nécessitant de nombreux calculs qui était inaccessible ou trop coûteux. Cette mise en œuvre vous fait économiser du temps, de l’argent et des ressources.

L’analyse raster est également conçue pour simplifier et rationaliser la collaboration et le partage. Au sein de votre entreprise, les utilisateurs peuvent contribuer aux données, aux modèles de traitement et à l’expertise dans vos projets d’imagerie et partager les résultats avec des personnes, des services et des organisations de l’entreprise.

Configurer un déploiement d’analyse raster

Les bases de l’analyse raster comportent 3 composants principaux : ArcGIS Enterprise, l’analyse raster, basée sur ArcGIS Image Server, et un site d’hébergement d’images, y compris le répertoire de données raster, basé sur ArcGIS Image Server.

L’analyse raster nécessite un déploiement de base ArcGIS Enterprise qui fournit les interfaces logicielles et utilisateur permettant d’organiser et de gérer le traitement, le stockage et le partage de données d’entités et raster, de cartes et d’autres informations géographiques sur divers appareils. Ce système intégré gère la distribution du traitement et du stockage des résultats sur site et derrière le parefeu, dans le traitement cloud et les environnements de stockage ou une combinaison des deux environnements.

Le déploiement idéal de l’analyse raster implique trois sites de serveurs devant assurer les rôles principaux du site d’hébergement d’images, du site d’analyse raster et du site d’images dynamique. Deux licences sont nécessaires pour l’analyse raster, ArcGIS Enterprise et ArcGIS Image Server.

La configuration des analyses raster avec trois serveurs aux rôles distincts permet d’optimiser l’efficacité et la productivité. En séparant les rôles de traitement distribué d’analyses raster et d’hébergement des services d’imagerie, vous permettez aux ressources de se consacrer à des tâches spécifiques sans interruption. Ainsi, plusieurs utilisateurs souhaitant accéder à divers services et produits raster ne sollicitent pas simultanément les ressources de traitement des images et analyses raster, lesquelles ne sont donc pas diminuées.

Configurer ArcGIS Enterprise

ArcGIS Enterprise intègre les composants du système d’analyse raster pour prendre en charge des processus de traitement raster et de stockage évolutifs.

Vous pouvez installer le déploiement de base ArcGIS Enterprise sur une ou plusieurs machines, n’importe lesquelles d’entre elles pouvant être des machines physiques, virtuelles ou Cloud. Pour en savoir plus sur les spécifications requises concernant les machines pour les composants ArcGIS Enterprise, reportez-vous à la configuration système requise.

Vous pouvez procéder à l’installation et à la configuration manuelle ou automatique d’un déploiement ArcGIS Enterprise de base via ArcGIS Enterprise Builder.

Esri fournit également des modèles permettant de déployer ArcGIS Enterprise sur site ou dans le Cloud. Ces modèles installent ArcGIS Enterprise dans la configuration de votre choix. Pour un déploiement sur une seule machine, utilisez le modèle suivant :

• Déploiement sur une seule machine à l’aide de modèle CloudFormation sur Amazon Web Services

Pour un déploiement sur plusieurs machines, utilisez les modèles suivants :

• Déploiement sur plusieurs machines sur site : reportez-vous au modèle de configuration système haute disponibilité
• Approvisionner un déploiement ArcGIS Enterprise haute disponibilité sur Amazon Web Services.

Analyseur raster

Le traitement raster distribué est effectué par ArcGIS Image Server remplissant le rôle d’analyse raster. Il exécute les chaînes de traitement de fonction raster sur n’importe quel type de données raster pris en charge. L’imagerie et les données raster source peuvent provenir du stockage de données raster distribuées, d’un client local tel qu’ArcGIS Pro ou d’autres serveurs non configurés sans votre déploiement d’analyse raster. L’idéal est que vos données source soient échelonnées sur le stockage de données raster distribuées pour des performances et une efficacité optimales.

Les membres de votre portail n’interagiront pas directement avec ArcGIS Image Server ; ils utiliseront ArcGIS Pro, Map Viewer ou les clients créés par les API tels que ArcGIS REST API, ArcGIS API for Python ou ArcGIS API for JavaScript pour effectuer l’analyse raster. ArcGIS Image Server remplira les rôles de traitement, de stockage et de publication.

Vous devez configurer et fédérer un serveur ArcGIS Image Server dans le rôle d’un serveur d’analyse raster pour exécuter des workflows de traitement et d’analyse raster. Le serveur d’analyse raster gère et distribue automatiquement le traitement des images et les tâches d'analyse raster au niveau du bloc ou au niveau de la scène, selon les outils et les fonctions utilisés. Le serveur d’analyse raster gère la distribution des résultats de traitement vers ArcGIS Data Store sur le serveur d’hébergement pour les produits de données d’entités, ou vers le stockage des données raster pour les produits de données d’imagerie et raster.

Les étapes à suivre pour configurer et déployer un serveur ArcGIS Image Server sur site pour l’analyse raster sont présentées ci-dessous.

Configurer un site d’analyse raster ArcGIS Image Server

Les instructions suivantes peuvent entraîner la modification de votre déploiement ArcGIS dans votre organisation. Examinez-les attentivement avant de continuer.

1. Vérifiez que vous avez configuré un déploiement ArcGIS Enterprise de base.
2. Installez un site ArcGIS Server opérant comme ArcGIS Image Server, affecté au rôle de serveur d’analyse raster.
3. Autorisez ArcGIS Server avec une licence ArcGIS Image Server.
4. Enregistrez le stockage de données auprès d’ArcGIS Image Server. Les services d’analyse raster stockent les rasters traités dans un stockage de données. Il peut s’agir d’un stockage de données de type partage de fichiers ou stockage cloud.

   Remarque :

   Si un serveur d’hébergement d’image est spécifié dans votre déploiement d’analyse raster et que vous souhaitez publier un service d’imagerie, les mêmes répertoires de raster doivent être inscrits à la fois dans le serveur d’hébergement d’image et dans le serveur d’analyse raster.

   Si les données en entrée sont accessibles depuis vos répertoires de données, ces derniers doivent être inscrits à la fois dans le serveur d’analyse raster et le serveur d’hébergement d’image.

   1. Pour utiliser un dossier, utilisez ArcGIS Server Manager, inscrivez un partage UNC dans le répertoire de données et nommez-le.

      Remarque :

      Si plusieurs instances _raster_store sont définies (par exemple, raster_store1, raster_store2, etc.), l’analyse raster en choisira une au hasard pour une demande de tâche.

   2. Pour utiliser un répertoire cloud, vous devez fournir la clé d’accès. Les paramètres du répertoire cloud incluent la prise en charge de sous-dossier.
5. Fédérez votre site ArcGIS Image Server avec votre portail.
6. Désignez votre serveur ArcGIS Image Server fédéré qui doit jouer le rôle de serveur d’analyse raster de votre portail.
   1. Connectez-vous au portail en tant qu’administrateur et accédez à Organization (Organisation) > Settings (Paramètres) > Servers (Serveurs).
   2. Dans la section Raster Analysis (Analyse raster) de la page, cliquez sur la liste déroulante et choisissez le site ArcGIS Image Server que vous avez fédéré avec le portail. Si vous avez ajouté plusieurs sites ArcGIS Image Server à votre portail, un seul peut être désigné comme serveur d’analyse raster.
   3. Cliquez sur Save (Enregistrer).

      La page des paramètres vérifie si le serveur possède une licence ArcGIS Image Server.

7. Affectez les autorisations minimum requises pour effectuer une analyse raster.
   1. En restant connecté au portail en tant qu’administrateur, accédez à Organization (Organisation) > Role (Rôle).
   2. Cliquez sur Modifier à côté du rôle qui doit exécuter l’analyse raster.
   3. Cochez les cases correspondant aux privilèges minimum de publication sous Contenu, à savoir Créer, mettre à jour et supprimer et Publier des couches d'entités hébergées.

      

   4. Cochez la case du privilège Analyse raster sous Contenu et analyse.

      

8. Nous vous conseillons de configurer les services d’analyse raster.
Les services d’analyse raster d’ArcGIS Image Server présentent une configuration par défaut en termes de capacité de traitement. Vous pouvez être amené à personnaliser cette configuration en fonction de votre configuration matérielle. Connectez-vous à ArcGIS Server Manager et accédez au dossier Services > System (Système), dans lequel vous pouvez configurer les services SIG suivants :
• Pour accroître la vitesse et la capacité de traitement, augmentez le nombre maximum d'instances du service RasterProcessing.
• Pour accroître la disponibilité des résultats d'analyse, augmentez le nombre maximum d'instances du service RasterRendering.
• Pour accroître le nombre de tâches de traitement qui peuvent s'exécuter simultanément, augmentez le nombre maximum d'instances du service RasterAnalysisTools.
9. Augmentez la taille maximale du segment de mémoire.
   1. Connectez-vous au répertoire administrateur de ArcGIS Server en utilisant le format URL http://machine.domain.com:6443/arcgis/admin>.
   2. Depuis la page d'accueil du répertoire, cliquez sur machines.
   3. Dans la liste des machines, sélectionnez la première machine possédant une licence ArcGIS Image Server, qu’elle soit utilisée en tant que serveur d’hébergement d’images ou en tant que serveur Raster Analytics.
   4. Dans le menu Server Machine Properties (Propriétés de la machine du serveur), vérifiez la valeur pour SOC maximum heap size (Taille heap maximum SOC). Si elle est définie sur 64MB, cliquez sur Edit (Mettre à jour) dans la liste Supported Operations (Opérations prises en charge).
   5. Depuis la page Edit Machine (Mettre à jour la machine) qui s’ouvre, modifiez la valeur pour SOC maximum heap size (Taille heap maximum SOC) de 64MB à 128MB. Cliquez sur Save Edits (Enregistrer les mises à jour). Le serveur redémarre.
   6. Répétez ces étapes pour chaque machine de votre déploiement bénéficiant d’une licence ArcGIS Image Server.

Remarque :

Si vous souhaitez déployer votre serveur d’hébergement d’images dans le Cloud avec ArcGIS Enterprise on Amazon Web Services, reportez-vous à ArcGIS Enterprise Cloud Builder CLI for AWSet AWS CloudFormation et ArcGIS. Si vous souhaitez déployer votre serveur d’analyse raster dans le cloud avec Microsoft Azure, reportez-vous à la rubrique Déployer ArcGIS Enterprise on Microsoft Azure.

Configurer un répertoire temporaire pour le format raster cloud

Les outils d’analyse raster peuvent utiliser un répertoire temporaire pour accélérer la lecture et l’écriture. Le répertoire a deux objectifs principaux :

• Mise en cache des jeux de données .crf stockés dans le cloud
  • S’adapte à tous les outils d’analyse raster lors de la lecture et de l’écriture des fichiers .crf stockés dans le cloud
  • L’utilisation de l’espace disque est contrôlée par un maximum de 30 groupes mis en cache par jeu de données .crf ouvert. À l’aide de ce nombre, de la taille moyenne d’un groupe (supérieure à 50 Mo) et du nombre estimé de jeux de données .crf ouverts, l’espace temporaire requis pour chaque machine SOC peut être déterminé.
• Le stockage du traitement temporaire bloque les données des outils globaux de traitement distribués, notamment les outils Hydrologie, Distance et Généralisation.
  • L’utilisation de l’espace disque est proportionnelle à la taille de l’entrée principale. Selon l’outil, elle peut être de 3 à 5 fois la taille de l’entrée, distribuée sur plusieurs machines SOC.

Un dossier temporaire peut être un dossier partagé ou un dossier local sur chaque machine SOC. S’il n’est pas configuré de manière spécifique, le dossier temporaire par défaut se situe sous votre profil d’utilisateur, par exemple, C:\Users\username\AppData\Local\ESRI\LocalCaches\MapCacheV1.

Deux options permettent de configurer le répertoire temporaire pour le serveur d'imagerie d’analyse raster.

1. Un chemin d’accès au dossier temporaire unique, "localTempFolder" dans les propriétés système d’administration du serveur, par exemple, https://servername:6443/arcgis/admin/system/properties.

   Il est également utilisé par les outils de mise en cache du serveur, par exemple {"localTempFolder":"E:/Temp/RA"}.

2. Une propriété définissant la liste des chemins d’accès au dossier temporaire (séparés par un point-virgule), "localTempFolders" dans les propriétés système d’administration du serveur, par exemple, https://servername:6443/arcgis/admin/system/properties. Les outils d’analyse raster sélectionnent de manière aléatoire un dossier temporaire dans la liste. Ceci permet d’utiliser plusieurs disques locaux sur les machines SOC, par exemple, {"localTempFolders":"E:/Temp/RA;F:/Temp/RA"}, en supposant que toutes les machines SOC ont des disques E: et F:.

La listes des chemins d’accès au dossier temporaire “localTempFolders” a priorité sur le chemin d’accès au dossier temporaire unique, "localTempFolder", si les deux sont configurés.

Configurer un emplacement temporaire pour les outils d’analyse raster

Les outils de géotraitement d’analyse raster, Synthétiser un raster à l’intérieur, Convertir le raster en entité, peuvent s’exécuter en parallèle sur plusieurs machines. Pour que ces outils partagent des résultats partiels entre ces machines, les entrées nommées de façon spéciale doivent être ajoutées au répertoire de données raster pour la grappe du serveur d’analyse raster. Un répertoire temporaire local et rapide doit être identifié sur chaque machine et un partage UNC contenant la chaîne machinename_tmp doit être défini pour ce répertoire. Ce partage doit être ajouté en tant que partage de fichiers au répertoire de données raster.

Supposons par exemple que la grappe d’analyse raster possède deux machines nommées workerA et workerB. Créez un dossier temporaire sur chaque machine, sur un disque local rapide avec beaucoup d’espace, et définissez ces partages UNC : \workerA_raster_store_workerA_tmp et \workerB_raster_store_workerB_tmp. Les partages peuvent porter n’importe quel nom, tant que la chaîne de texte machinename_tmp est présente. Lorsqu’une tâche SummarizeRasterWithin ou ConverRasterToFeature s’exécute, les machines de traitement utilisent ces emplacements pour écrire leurs résultats partiels en parallèle. Les résultats sont ensuite lus dans le réseau local et assemblés comme il convient par l’opération concernée.

Site d’hébergement d’images

Le site d’hébergement d’images héberge le répertoire de données raster et gère le stockage de partages de fichiers, ainsi que le stockage Cloud, et distribue les résultats selon les requêtes des membres du portail. Le stockage des données raster ne fait pas partie de ArcGIS Data Store, mais plutôt d’un partage de fichiers inscrits ou d’un stockage de partage cloud fédéré avec ArcGIS Enterprise. Le stockage des données raster est utilisé par les services d’analyse raster pour stocker les images en sortie optimisées en vue d’être lues, écrites et stockées dans un format distribué, sur site ou dans le cloud.

La configuration des analyses raster avec trois serveurs aux rôles distincts permet d’optimiser l’efficacité et la productivité. En séparant les rôles de traitement distribué d’analyses raster et d’hébergement des services d’imagerie, vous permettez aux ressources de se consacrer à des tâches spécifiques sans interruption. Ainsi, plusieurs utilisateurs souhaitant accéder à divers services et produits raster ne sollicitent pas simultanément les ressources de traitement des images et analyses raster, lesquelles ne sont donc pas diminuées.

Vous devez configurer et fédérer un deuxième serveur ArcGIS Image Server en tant que serveur d’hébergement d’images, pour héberger les services d’imagerie distribués générés par le serveur d’analyse raster. Il inclut le stockage des données raster configuré avec ArcGIS Image Server Manager, qui gère le stockage de partages de fichiers distribués et le stockage cloud, comme Amazon Simple Storage Service (S3) ou le stockage d’objets blob Microsoft Azure de services d’imagerie. Le serveur d’hébergement d’images stocke et renvoie les résultats distribués demandés par les membres sur le portail Enterprise. Le serveur d’hébergement d’images exige une licence ArcGIS Image Server.

Vous trouverez ci-dessous les instructions de configuration du serveur d’hébergement d’images.

Les instructions suivantes peuvent entraîner la modification de votre déploiement ArcGIS dans votre organisation. Examinez-les attentivement avant de continuer. Pour configurer le portail afin qu’il exécute des services d’hébergement d’images, suivez les étapes ci-dessous.

1. Installez ArcGIS Server.
2. Autorisez ArcGIS Server avec une licence ArcGIS Image Server.
3. Connectez-vous à ArcGIS Server Manager et accédez à Site > Data Stores. Inscrivez un nouveau stockage raster.

   Le stockage raster est un emplacement destiné à la sortie de l’analyse raster qui ne doit pas être utilisé comme un répertoire de données en entrée. Vous pouvez inscrire les partages de fichiers en tant que stockage des données raster. Pour les stockages cloud, inscrivez d’abord un stockage cloud. Créez ensuite un stockage raster pour utiliser ce stockage cloud.

   Remarque :

   Si plusieurs stockages raster sont définis, le service d'analyse raster en choisit un de manière aléatoire comme emplacement en sortie.

4. Fédérez votre site ArcGIS Server avec votre portail.
5. Mettez à jour votre serveur d’imagerie fédéré pour qu’il serve de serveur d’hébergement d’images à votre portail :
   1. Connectez-vous au site web du portail en tant qu’administrateur et accédez à Organization (Organisation) > Settings (Paramètres) > Servers (Serveurs)
   2. Dans la section Image Hosting (Hébergement d’image) de la page, cliquez sur la liste déroulante et choisissez le site ArcGIS Image Server que vous avez fédéré avec le portail. Si vous avez ajouté plusieurs sites ArcGIS Image Server à votre portail, un seul peut être désigné comme serveur d’hébergement d’images.
   3. Cliquez sur Save (Enregistrer).
6. Assurez-vous d’avoir augmenté la taille heap maximum SOC à 128 Mo pour ArcGIS Image Server. Reportez-vous aux étapes 9a à 9f de la section Configurer un serveur d’analyse raster ArcGIS ci-dessus.

Remarque :

Si vous souhaitez déployer votre serveur d’hébergement d’images dans le cloud avec Amazon Web Services, reportez-vous à ArcGIS Enterprise Cloud Builder CLI for AWS. Si vous souhaitez déployer votre serveur d’analyse raster dans le cloud avec Microsoft Azure, reportez-vous à la rubrique Déployer ArcGIS Enterprise on Microsoft Azure.

Système minimum pour l’analyse raster

Si, dans une organisation, l’appropriation des ressources de distribution des services d’imagerie et de traitement des analyses raster entraîne des conflits mineurs et de ressources, les fonctionnalités du serveur d’analyse raster et du serveur d’hébergement d’images peuvent être combinées et hébergées sur un seul serveur. Dans cette implémentation, les opérations de traitement d’images et d’analyse raster sont exécutées sur un site ArcGIS Image Server configuré en tant que serveur d’analyse raster, alors que les résultats sont gérés et publiés via le même site ArcGIS Image Server. Le site ArcGIS Image Server traite les demandes d’analyse et stocke les résultats qu’il renvoie aux membres du site Portal for ArcGIS.

Vous trouverez ci-dessous un diagramme du système minimum pour l’analyse raster.

Le serveur d’hébergement d’images en sortie et d’analyse raster exige une licence ArcGIS Image Server.

Vous trouverez ci-dessous les instructions de configuration du système minimum pour l’analyse raster, dans la section Configuration minimum d’un système d’analyse raster.

Configuration minimum d’un système d’analyse raster

Les instructions suivantes peuvent entraîner la modification de votre déploiement ArcGIS dans votre organisation. Examinez-les attentivement avant de continuer. Pour configurer le portail afin qu’il exécute des services d’hébergement d’images, suivez les étapes ci-dessous.

1. Installez ArcGIS Server.
2. Autorisez ArcGIS Server avec une licence ArcGIS Image Server.
3. Connectez-vous à ArcGIS Server Manager et accédez à Site > Data Stores. Inscrivez un nouveau stockage raster.

   Le stockage raster est un emplacement destiné à la sortie de l'analyse raster qui ne doit pas être utilisé comme un répertoire de données en entrée.

   Remarque :

   Si plusieurs stockages raster sont définis, le service d'analyse raster en choisit un de manière aléatoire comme emplacement en sortie.

4. Fédérez votre site ArcGIS Server avec votre portail.
5. Choisissez votre serveur ArcGIS Image Server fédéré qui doit jouer le rôle de serveur d’analyse raster de votre portail.
   1. Connectez-vous portail en tant qu’administrateur et accédez à Organization (Organisation) > Settings (Paramètres) > Servers (Serveurs).
   2. Dans la section Analyse raster de la page, cliquez sur la liste déroulante et choisissez le site du serveur que vous avez fédéré avec le portail. Si vous avez ajouté plusieurs sites ArcGIS Image Server à votre portail, un seul peut être désigné comme serveur d’analyse raster.
   3. Cliquez sur Save (Enregistrer).
6. Affectez les autorisations minimum requises pour effectuer une analyse raster.
   1. En restant connecté au site web du portail en tant qu’administrateur, accédez à Organization (Organisation) > Role (Rôle).
   2. Cliquez sur Modifier à côté du rôle qui doit exécuter l’analyse raster.
   3. Cochez les cases correspondant aux privilèges minimum de publication sous Contenu, à savoir Créer, mettre à jour et supprimer et Publier des couches d'entités hébergées.

      

   4. Cochez la case du privilège Analyse raster sous Contenu et analyse.

      

7. Assurez-vous d’avoir augmenté la taille heap maximum SOC à 128 Mo pour ArcGIS Image Server. Reportez-vous aux étapes 9a à 9f de la section Configurer un serveur d’analyse raster ArcGIS ci-dessus.