Skip To Content

Déployer un cluster de stockage de Big Data spatio-temporelles ArcGIS Data Store avec des rôles distincts à l’aide de CloudFormation

Le modèle arcgis-datastore-cluster-enhanced.template.json Amazon Web Services (AWS) CloudFormation crée un cluster de stockage de Big Data spatio-temporelles ArcGIS Data Store sur des instances Amazon Elastic Compute Cloud (EC2) de coordinateur et de données dédiées.

Ce modèle crée toujours trois instances de coordinateur dans leur propre groupe de mise à l’échelle automatique AWS. Vous devez spécifier le nombre d’instances de données à inclure dans le cluster. Pour être hautement disponible, au moins deux instances de données doivent être présentes. Les instances de données sont placées dans un groupe de mise à l’échelle automatique AWS distinct.

Conseil :
Utilisez ce modèle dans le cadre de la création d’un déploiement ArcGIS Enterprise tel que décrit dans la rubrique Déployer des composants ArcGIS Enterprise sur des machines séparées à l’aide de CloudFormation.

L’utilisation de ce modèle s’accompagne des options de stockage de sauvegarde suivantes :

  • Stockez les fichiers de sauvegarde dans Amazon Simple Storage Service (S3).
  • Stockez les fichiers de sauvegarde sur un serveur de fichiers distinct (instance EC2).

Ce modèle crée l’architecture suivante dans Amazon Web Services:

Cluster de stockage de Big Data spatio-temporelles avec un ensemble de machines dans le rôle de coordinateur dans un groupe de mise à l’échelle automatique, et un autre ensemble de machines dans le rôle de données dans un autre groupe de mise à l’échelle automatique

Dans le diagramme ci-dessus, les sauvegardes figurent dans un paquet S3. Les sauvegardes automatiques peuvent être créées dans un paquet S3 ou sur un serveur de fichiers EC2.

Licence :

Certaines icônes du diagramme sont utilisées avec l’autorisation de Amazon Web Services.

Conditions requises

Les prérequis peuvent être regroupés en fonction des éléments (par exemple, fichiers et comptes) que vous devez vous procurer et des tâches que vous devez effectuer avant d’exécuter le modèle CloudFormation.

Éléments requis

Vous avez besoin des éléments suivants avant d’exécuter ce modèle :

  • Un compte Amazon Web Services.

    Le compte doit avoir accès aux services AWS de base tels que CloudFormation, Amazon Elastic Compute Cloud (EC2), Amazon Virtual Private Cloud (VPC), Amazon Simple Storage Service (S3), Systems Manager, Amazon CloudWatch, Lambda, AWS Identity and Access Management (IAM), Amazon DynamoDB, Secrets Manager, AWS Certificate Manager et Amazon Relational Database Service (RDS).

  • Si vous créez un déploiement sur des instances Ubuntu EC2 dans AWS GovCloud, il vous faut un ID AMI. Si vous souhaitez utiliser l’instance Ubuntu AMI canonique de base, suivez les instructions figurant dans Modèles Esri Amazon Web Services CloudFormation pour identifier l’ID.
  • Un Amazon Virtual Private Cloud (VPC) et des sous-réseaux.

    Vous pouvez utiliser l’un des modèles CloudFormation suivants pour créer un VPC : VPC avec deux sous-réseaux publics ou VPC avec deux sous-réseaux publics et privés avec une passerelle NAT.

  • Le modèle CloudFormation arcgis-datastore-cluster-enhanced.template.json.

Tâches requises

Effectuez les tâches suivantes avant d’exécuter ce modèle :

  • Vous devez disposer d’un site ArcGIS GIS Server allant servir de serveur d’hébergement pour un portail ArcGIS Enterprise. Vérifiez que le type de ArcGIS Data Store que vous créerez avec ce modèle n’est pas déjà inscrit auprès du site.

    Vous pouvez utiliser le modèle de site ArcGIS Server à une seule machine ou le modèle de site ArcGIS Server à plusieurs machines pour créer le site.

  • Configurez des mots de passe dans AWS Secrets Manager (facultatif mais recommandé).

    Vous pouvez configurer les mots de passe des comptes (par exemple, le nom d’utilisateur de l’administrateur du site et le mot de passe de l’utilisateur arcgis Windows) dans AWS Secrets Manager. Vous obtenez alors un nom de ressource Amazon (ARN) secret. Utilisez l’ARN à la place d’un mot de passe dans les paramètres de modèle lorsque vous lancez une pile. Si vous n’utilisez pas AWS Secrets Manager pour stocker des mots de passe, vous devez saisir les mots de passe en texte brut dans le paramètre de modèle au lancement de la pile.

    Remarque :

    Lorsque vous créez un ARN secret dans AWS Secrets Manager pour un mot de passe à utiliser avec des modèles Esri CloudFormation, vous devez utiliser le type de secret Other types of secrets (Autres types de secret) et l’option Plaintext (Texte brut). Pour plus d’informations sur la création d’un nom de ressource Amazon pour les mots de passe, voir AWS CloudFormation et ArcGIS.

Conseil :

Par défaut, CloudFormation supprime les ressources partiellement créées si la création de la pile échoue. Cela est utile car les déploiements inutilisables sont alors supprimés de votre déploiement, mais il peut être difficile d’en corriger les problèmes. Pour conserver la pile dans son état d’échec, désactivez l’option de création de pile CloudFormation Rollback on failure (Restauration en cas d’échec) avant de lancer la pile. Pour plus d’informations, reportez-vous à la rubrique Définition d’options AWS CloudFormation de l’aide AWS.

Paramètres

Reportez-vous aux tableaux ci-dessous pour obtenir la description des paramètres utilisés dans ce modèle CloudFormation. Les tableaux sont regroupés par type de paramètre.

Amazon EC2 Configuration

Nom de paramètreObligatoire ou nonDescription du paramètre

Platform Type

Requis

Sélectionnez la plate-forme du système d’exploitation. Les types pris en charge sont les suivants :

  • Windows
  • Linux

Dans le cas de versions de système d’exploitation spécifiques, reportez-vous à la rubrique Systèmes d’exploitation pris en charge lors de l’utilisation de CloudFormation pour le déploiement d’ArcGIS sur AWS.

EC2 Instance AMI ID

Facultatif

Vous pouvez laisser la valeur de ce paramètre vide. Dans ce cas, les modèles CloudFormation utiliseront l’ID Amazon Machine Image (AMI) le plus récent pour Microsoft Windows Server 2019 ou Ubuntu Server 22.04 LTS, selon le type de plateforme que vous avez sélectionné.

Remarque :

Vous ne pouvez pas laisser ce paramètre vide si vous effectuez le déploiement dans AWS GovCloud sur une plateforme Linux. Consultez les modèles Esri Amazon Web Services CloudFormation pour savoir comment vous procurer l’ID de l’image Ubuntu AMI de base auprès de Canonical. Si vous procédez au déploiement sur un système d’exploitation Linux pris en charge autre que Ubuntu, vous trouverez l’ID de l’image AMI avec AWS Management Console.

Pour utiliser votre propre image AMI personnalisée, saisissez l’ID de l’image AMI de l’une des manières suivantes :

  • Indiquez l’ID AMI au format 'ami-xxxxx'.
  • Si vous avez stocké l’ID AMI dans le magasin de paramètres SSM AWS, indiquez le nom du paramètre SSM au format AWS'{{resolve:ssm:[a-zA-Z0-9_.-/]+:\d+}}'.

Si vous utilisez une image AMI personnalisée, vérifiez qu’elle respecte les conditions suivantes :

  • Le service de métadonnées de l’instance EC2 (avec la version V2 ou V1) doit être activé.
  • La dernière version de l’agent SSM (AWS Systems Manager) doit être installée.
  • Si le système d’exploitation de l’image AMI personnalisée est Windows, les outils AWS pour PowerShell doivent être installés.

EC2 Instance Keypair Name

Requis

Sélectionnez un nom de paire de clés EC2 pour autoriser l’accès à distance aux instances EC2.

Amazon VPC Configuration

Nom de paramètreObligatoire ou nonDescription du paramètre

VPC ID

Requis

Sélectionnez un ID VPC.

Remarque :

Il doit s’agir du même site VPC que le site ArcGIS GIS Server auquel vous ajoutez ce répertoire de données.

Subnet ID 1

Requis

Sélectionnez un ID de sous-réseau. L’ID de sous-réseau choisi doit se trouver dans le VPC sélectionné ci-dessus.

Si vous avez utilisé un modèle CloudFormation Esri pour créer le VPC, vous pouvez obtenir l’ID du sous-réseau dans les paramètres en sortie du modèle.

Subnet ID 2

Requis

Sélectionnez un second ID de sous-réseau. Cet ID doit être différent du premier ID de sous-réseau. L’ID de sous-réseau choisi doit se trouver dans le VPC spécifié pour le déploiement.

Si vous avez utilisé un modèle CloudFormation Esri pour créer le VPC, vous pouvez obtenir l’ID du sous-réseau dans les paramètres en sortie du modèle.

ArcGIS Server Configuration

Nom de paramètreObligatoire ou nonDescription du paramètre

Site Administrator User Name

Requis

Indiquez un nom d’utilisateur pour l’administrateur de site principal ArcGIS Server du site ArcGIS GIS Server qui doit être utilisé comme serveur d’hébergement du portail.

Site Administrator User Password

Requis

Indiquez le mot de passe de l’administrateur principal du site ArcGIS Server. Vous pouvez entrer un mot de passe en texte simple ou l’ARN de votre ID secret AWS Secrets Manager. Pour plus d’informations sur la création d’un nom de ressource Amazon pour les mots de passe, voir AWS CloudFormation et ArcGIS.

Le mot de passe ou ID secret indiqué doit correspondre à celui de l’administrateur de site principal.

ArcGIS Server EC2 Instance ID

Requis

Sélectionnez un ID d’instance EC2 pour la configuration de votre site ArcGIS Server.

Remarque :
Si vous enregistrez la base de données auprès d’un site ArcGIS Server multimachine, vous pouvez indiquer tout ID d’instance EC2 du site ArcGIS Server. N’indiquez pas un serveur de fichiers EC2.

ArcGIS Data Store Configuration

Nom de paramètreObligatoire ou nonDescription du paramètre

Type d’instance EC2 de coordinateur

Requis

Choisissez le type d’instance EC2 à utiliser pour les machines de coordinateur dans le cluster de stockage de Big Data spatio-temporelles ArcGIS Data Store. La valeur par défaut est m5.2xlarge.

Trois instances EC2 de coordinateur sont configurées dans un groupe de mise à l’échelle automatique AWS.

Espace disque du lecteur racine de l’instance EC2 de coordinateur

Requis

Donne la taille du disque racine, en Go, pour les machines de coordinateur. La valeur par défaut est 200 Go. La valeur minimale est 100 Go. La valeur maximale est 4 096 Go.

Type d’instance EC2 de données

Requis

Choisissez le type d’instance EC2 à utiliser pour les machines de données dans le cluster de stockage de Big Data spatio-temporelles ArcGIS Data Store. La valeur par défaut est m5.2xlarge.

Les instances de données sont configurées dans un second groupe de mise à l’échelle automatique AWS.

Espace disque de lecteur racine de l’instance EC2 de données

Requis

Donne la taille du disque racine, en Go, pour les machines de données. La valeur par défaut est 200 Go. La valeur minimale est 100 Go. La valeur maximale est 4 096 Go.

Number of data EC2 Instances

Requis

Choisissez le nombre d’instances EC2 jouant le rôle de données dans le cluster de stockage de données. La valeur par défaut est 2.

Les valeurs valides sont 1, 2, 3, 4 ou 5.

Remarque :

Si vous avez besoin d’un plus grand nombre d’instances EC2, utilisez AWS Management Console pour modifier le groupe de mise à l’échelle automatique AWS de manière à inclure le nombre nécessaire d’instances après la création de ce déploiement.

EC2 Instance Root Drive Disk Space

Requis

Indiquez la taille du lecteur racine en Go. La valeur par défaut est 200 Go. La valeur minimale est 100 Go. La valeur maximale est 4096 Go.

Windows arcgis user password

Conditions

Indiquez un mot de passe pour l’utilisateur arcgis. L’utilisateur arcgis est un identifiant de connexion Windows local utiliser pour l’exécution des services logiciels ArcGIS ; ce mot de passe est donc uniquement requis si vous effectuez le déploiement sur Windows.

Vous pouvez entrer un mot de passe en texte simple ou l’ARN de votre ID secret AWS Secrets Manager.

Il est recommandé de gérer vos mots de passe dans AWS Secrets Manager. Pour plus d’informations sur la création d’un nom de ressource Amazon pour les mots de passe, voir AWS CloudFormation et ArcGIS.

Type de stockage d’emplacement de sauvegarde

Requis

Sélectionnez le type de magasin de sauvegarde de ArcGIS Data Store. Le type par défaut est CloudStore.

  • FileSystem : les sauvegardes ArcGIS Data Store sont stockées dans une instance EC2 du serveur de fichiers ArcGIS.
  • CloudStore : les sauvegardes ArcGIS Data Store sont stockées dans un paquet Amazon S3 créé par cette pile.
  • None (Aucune) : aucune sauvegarde automatique du stockage de Big Data spatio-temporelles n’est créée.

Backup Store EC2 Instance Type

Conditions

Sélectionnez un type d’instance EC2 pour la machine de sauvegarde ArcGIS Data Store. Le type d’instance par défaut est m5.2xlarge.

Remarque :

Ce paramètre n’est requis que si vous avez spécifié FileSystem comme type de magasin de sauvegarde.

Backup Store EC2 Instance Root Drive Disk Space

Conditions

Indiquez la taille du lecteur racine en Go. La valeur par défaut est 200 Go. La valeur minimale est 100 Go. La valeur maximale est 4096 Go.

Remarque :

Ce paramètre n’est requis que si vous avez spécifié FileSystem comme type de magasin de sauvegarde.

Sorties

Une fois votre pile créée, les paramètres en sortie ci-dessous s’affichent dans l’onglet Outputs (Sorties) de la pile CloudFormation dans AWS Management Console.

Nom en sortieDescription de la sortie

DeploymentLogsURL

URL où sont stockés les journaux de déploiement de Amazon CloudWatch. Consultez ces journaux à des fins de dépannage en cas d’échec du déploiement.

StopStackFunctionName

URL de la fonction Stop Stack Lambda. Vous pouvez utiliser cette fonction lambda pour arrêter toutes les instances EC2 de la pile.

StartStackFunctionName

URL de la fonction Start Stack Lambda. Vous pouvez utiliser cette fonction lambda pour démarrer toutes les instances EC2 de la pile que vous avez arrêtées précédemment.

Éléments à prendre en compte

Les aspects suivants sont des points importants à prendre en compte après la création d’une pile CloudFormation contenant des déploiements ArcGIS :

  • Lors du déploiement d’un stockage de Big Data spatio-temporelles ArcGIS Data Store sur AWS à l’aide de ce modèle, deux groupes de mise à l’échelle automatique AWS sont créés.
    • Groupe de mise à l’échelle automatique qui contient les trois instances EC2 de coordinateur. Ne modifiez pas la capacité du groupe de mise à l’échelle automatique de coordinateur.
    • Groupe de mise à l’échelle automatique qui contient les instances EC2 de données. Après que le modèle a créé le ArcGIS Data Store, vous pouvez ajuster la capacité du groupe de mise à l’échelle automatique de données à l’aide de AWS Management Console. Reportez-vous à la documentation de AWS pour savoir comment modifier les limites de capacité d’un groupe de mise à l’échelle automatique afin d’ajouter ou de supprimer des machines.

      Attention :

      Ajustez uniquement la capacité du groupe de mise à l’échelle automatique de données d’une machine à la fois. Attendez que la nouvelle instance soit en ligne ou que l’instance soit supprimée du groupe pour ajuster la capacité.

  • Ne supprimez aucune ressource AWS créée par ce modèle CloudFormation. Si vous souhaitez savoir quelles ressources AWS ont été créées par ce modèle, reportez-vous à l’onglet Resources (Ressources) de cette pile dans la AWS Management Console. Chaque ressource créée par un modèle Esri CloudFormation possède également des balises de métadonnées. Toutefois, certaines des ressources n’affichent pas de balises dans la AWS Management Console.
  • Vous pouvez utiliser les fonctions AWS Lambda figurant dans vos sorties de pile (répertoriées dans la section Sorties de cette page) pour arrêter les instances EC2 de cette pile qui ne sont pas utilisées et les redémarrer lorsque cela est nécessaire. Ces fonctions sont utiles pour gérer les coûts.

    Lorsque vous exécutez la fonction Lambda pour arrêter les instances EC2 dans le déploiement, ces dernières renvoient un message indiquant qu’elles sont arrêtées. Toutefois, si les instances participent à un groupe de mise à l’échelle automatique, la fonction doit également les détacher du groupe. Ce processus peut prendre jusqu’à 10 minutes. Attendez donc au moins 10 minutes avant d’exécuter la fonction de démarrage Lambda pour relancer le déploiement.

  • Si vous utilisez AWS Secrets Manager pour les mots de passe, comme le mot de passe de l’administrateur de site ou le mot de passe de l’utilisateur arcgis Windows et que vous modifiez ces mots de passe ultérieurement (après la création du déploiement), veillez à mettre à jour les valeurs ARN AWS Secrets Manager appropriées avec les mots de passe à jour.

Dépannage

Si des erreurs se produisent lors de la création de cette pile CloudFormation, reportez-vous à la rubrique Résoudre les problèmes de déploiement ArcGIS dans AWS.