Gérer les sauvegardes de stockage des données

Vous devez effectuer des sauvegardes pour récupérer vos données en cas de problème ; si les données sont corrompues ou si une panne du stockage des données se produit, par exemple. Si vous créez des sauvegardes de vos stockages des données et que vous les stockez dans un emplacement sûr, vous pouvez configurer un nouveau service ArcGIS Data Store, accéder à vos fichiers de sauvegarde et restaurer les données si, pour une raison quelconque, votre stockage des données ne peut plus redémarrer.

Lisez les remarques relatives aux sauvegardes ArcGIS Data Store, puis utilisez les informations des autres sections pour configurer et gérer les sauvegardes ArcGIS Data Store.

1. Définir un emplacement de sauvegarde.
2. Configurer des sauvegardes automatiques.
3. Créer manuellement des sauvegardes si nécessaire.

Remarques relatives aux sauvegardes ArcGIS Data Store

Gardez les points suivants à l’esprit lorsque vous implémentez une stratégie de sauvegarde et de récupération pour vos répertoires de données :

• Les sauvegardes vous permettent de récupérer vos données en cas d’incident, par exemple si un serveur présente des défaillances ou si une inondation détruit votre serveur. Si votre sauvegarde se trouve sur le serveur qui est détruit par une inondation, vous ne pouvez pas récupérer vos données. Vous devez par conséquent conserver vos fichiers de sauvegarde sur un serveur autre que le stockage de données.
• Les fichiers de sauvegarde ArcGIS Data Store contiennent uniquement les répertoires de données relationnelles, de cache de tuiles ou de Big Data spatio-temporelles. Les fichiers de sauvegarde ne conservent pas de sauvegarde du site GIS Server, de votre portail ou des répertoires de données que vous inscrivez auprès du site GIS Server dans ArcGIS Server Manager ou dans une application ArcGIS Desktop. Vous devez créer des sauvegardes de ces composants de manière distincte.

  Si vous utilisez un répertoire de données relationnelles ou de cache de tuiles (ou les deux), faites plutôt appel à l’outil webgisdr installé avec Portal for ArcGIS pour créer une sauvegarde. Lorsque vous utilisez l’outil webgisdr, une sauvegarde de votre portail, du serveur d’hébergement et des serveurs fédérés est également créée. Reportez-vous à la rubrique Sauvegardes ArcGIS Enterprise dans le guide d’administration de Portal for ArcGIS pour obtenir des informations supplémentaires sur cet outil. Vous devez toujours créer des sauvegardes distinctes des répertoires de données que vous inscrivez auprès du site GIS Server dans ArcGIS Server Manager ou dans une application ArcGIS Desktop.

• Les sauvegardes ArcGIS Data Store vous permettent de récupérer les données si la machine ArcGIS Data Store cesse de fonctionner ou si les données sont endommagées. Elles n’offrent pas la haute disponibilité. Si vos couches d’entités hébergées, spatio-temporelles et de scènes doivent rester disponibles même si une seule machine ArcGIS Data Store connaît un échec, ajoutez une machine de secours à vos répertoires de données relationnelles et de cache de tuiles afin de les rendre hautement disponibles. Vous pouvez ajouter plusieurs machines à votre répertoire de Big Data spatio-temporelles pour le rendre hautement disponible.
• En raison de changements apportés aux mécanismes de stockage sous-jacents et aux logiciels ArcGIS, les sauvegardes de répertoire de données que vous créez avec d’anciennes versions de ArcGIS Data Store ne peuvent pas être utilisées pour restaurer les données vers des versions de ArcGIS Data Store plus récentes. Il est donc conseillé de créer des sauvegardes complètes de chacun de vos répertoires de données après chaque mise à niveau de ArcGIS Data Store.

Définir un emplacement de sauvegarde

Les emplacements et le comportement de sauvegarde diffèrent selon les types de répertoires de données. Lisez les informations relatives au type de répertoire de données que vous gérez.

• Répertoires de données relationnelles

  Lorsque vous créez un répertoire de données relationnelles, un emplacement de sauvegarde est automatiquement configuré sur la même machine que le répertoire de données. Par défaut, ArcGIS Data Store crée des sauvegardes de stockages des données relationnelles dans /usr/arcgisdatastore/backups/relational. Si la machine du répertoire de données principale ne fonctionne pas correctement, vous ne pouvez pas accéder aux fichiers de sauvegarde et ne pouvez donc pas restaurer les données de vos couches d’entités hébergées.

  Une autre raison de ne pas laisser les fichiers de sauvegarde sur la même machine que le stockage des données est que l’espace disque de la machine risque d’être rapidement saturé par ces fichiers. Si l’espace disque devient insuffisant, le répertoire de données relationnelles passe en mode de lecture seule pour éviter toute corruption des données.

  Il convient donc de définir un répertoire de fichiers pour les sauvegardes automatiques dans un répertoire de fichiers partagé et sécurisé sur une autre machine plutôt qu’à l’emplacement par défaut. Ce répertoire de fichiers est considéré comme l’emplacement de sauvegarde par défaut. Les sauvegardes automatiquement créées par ArcGIS Data Store sont toujours stockées à l’emplacement de sauvegarde par défaut. Vous pouvez modifier l’emplacement des sauvegardes par défaut grâce à l’opération change à l’aide de l’utilitaire configurebackuplocation.

  Vous pouvez inscrire des emplacements de sauvegarde supplémentaires pour votre répertoire de données relationnelles, notamment d’autres partages de fichiers, des paquets Amazon Simple Storage Service (S3) et des conteneurs de stockage Blob Microsoft Azure. Ces emplacements supplémentaires peuvent être utilisés pour stocker les sauvegardes complètes que vous créez à l’aide de l’utilitaire backupdatastore.

• Répertoires de données du cache de tuiles

  Lorsque vous créez un répertoire de données du cache de tuiles, un emplacement de sauvegarde est automatiquement configuré, mais il se trouve sur la même machine que le répertoire de données. Par défaut, ArcGIS Data Store crée des sauvegardes des répertoires de données du cache de tuiles dans /usr/arcgisdatastore/backups/tilecache. Si la machine du répertoire de données principale ne fonctionne pas correctement, vous ne pouvez pas accéder aux fichiers de sauvegarde et ne pouvez donc pas restaurer les données de vos couches de scènes.

  Une autre raison de ne pas laisser les fichiers de sauvegarde sur la même machine que le stockage des données est que l’espace disque de la machine risque d’être rapidement saturé par ces fichiers. Si l’espace disque devient insuffisant, le répertoire de données du cache de tuiles s’arrête.

  Il convient donc d’inscrire un répertoire de fichiers partagé et sécurisé sur une autre machine pour vos sauvegardes plutôt qu’à l’emplacement par défaut. Définissez un répertoire de fichiers partagé pour vos sauvegardes automatiques avant de créer des sauvegardes à l’aide de l’utilitaire backupdatastore. Ce répertoire de fichiers est considéré comme l’emplacement de sauvegarde par défaut. Les sauvegardes de répertoire de données du cache de tuiles créées par ArcGIS Data Store sont toujours stockées à cet emplacement. Vous pouvez modifier l’emplacement des sauvegardes par défaut grâce à l’opération change à l’aide de l’utilitaire configurebackuplocation.

• Stockage de Big Data spatio-temporelles

  À leur création, les stockages de Big Data spatio-temporelles ne disposent pas d’un emplacement de sauvegarde par défaut. Vous devez inscrire au moins un emplacement de sauvegarde avant de créer des fichiers de sauvegarde des répertoires de Big Data spatio-temporelles. Vous pouvez inscrire un partage de fichiers, un paquet Amazon S3 ou un conteneur de stockage Microsoft Azure Blob. Vous pouvez également définir plusieurs emplacements de sauvegarde pour les stockages de Big Data spatio-temporelles en tant qu’emplacement par défaut. Les sauvegardes automatiquement créées par ArcGIS Data Store sont toujours stockées à l’emplacement de sauvegarde par défaut. Si l’espace disque devient insuffisant, le répertoire de Big Data spatio-temporelles s’arrête.

  Vous pouvez écrire des sauvegardes complètes manuelles dans les emplacements de sauvegarde supplémentaires que vous créez à l’aide de l’utilitaire backupdatastore. Pour ce faire, vous devez inscrire un autre emplacement de sauvegarde.

Inscrire un emplacement de sauvegarde par défaut

Inscrivez un emplacement de sauvegarde par défaut partagé et sécurisé ou ArcGIS Data Store peut placer les fichiers issus des sauvegardes planifiées (automatiques).

Procédez comme suit pour configurer un répertoire partagé afin de stocker les fichiers de sauvegarde du stockage des données :

1. Créez un répertoire partagé sur une autre machine pour stocker les fichiers de sauvegarde.

   Remarque :

   Vérifiez que vous disposez de suffisamment d'espace pour contenir tous les fichiers qui composent une sauvegarde de stockage de données. Le nombre et la taille des fichiers varient selon les données et le type de stockage des données que vous utilisez. Les stockages des données du cache de tuile peuvent être très volumineux et les stockages de Big Data spatio-temporelles ont même tendance à être encore plus volumineux. Les sauvegardes des stockages des données sont créées automatiquement et la fréquence à laquelle l’emplacement de sauvegarde se remplit dépend de votre calendrier de sauvegarde et du nombre de jours de conservation des sauvegardes. Surveillez la taille du répertoire de sauvegarde et ajustez ces paramètres et les tailles de stockage, le cas échéant.

   Notez également que toutes les machines de Big Data spatio-temporelles dans le même déploiement ArcGIS Data Store doivent avoir accès à ce répertoire partagé.

2. Accordez un accès en lecture et en écriture sur le répertoire réseau partagé au compte qui a installé ArcGIS Data Store.
3. Exécutez l’utilitaire configurebackuplocation pour désigner votre répertoire partagé comme emplacement en sortie par défaut des sauvegardes de stockage des données.

   À leur création, les stockages de Big Data spatio-temporelles ne disposent pas d’un emplacement de sauvegarde par défaut. Vous devez inscrire au moins un emplacement de sauvegarde avant de créer des fichiers de sauvegarde des stockages de Big Data spatio-temporelles. Vous pouvez inscrire un partage de fichiers, un paquet Amazon S3 ou un conteneur de stockage Microsoft Azure Blob.

   Si des utilisateurs ont publié des couches d’entités hébergées et qu’une sauvegarde automatique a eu lieu avant que vous ne configuriez le répertoire partagé recommandé pour les sauvegardes, l’utilitaire configurebackuplocation déplace les fichiers de sauvegarde de votre stockage des données relationnelles existant de l’emplacement de sauvegarde par défaut au répertoire partagé.

   En raison de la taille potentiellement importante des stockages des données du cache de tuiles, la configuration d’un nouvel emplacement pour les sauvegardes des stockages des données du cache de tuiles n’entraîne pas la copie des données existantes. Par conséquent, veillez à spécifier un emplacement de sauvegarde partagé avant que les utilisateurs ne publient des couches de scènes.

   Dans cet exemple, l'emplacement de sauvegarde d'un stockage des données relationnelles est défini sur un répertoire partagé nommé ds_backups sur un ordinateur nommé sysshare.

   ./configurebackuplocation.sh --operation change --store relational 
   --location /net/sysshare/ds_backups
   You are going to change the backup location of the data store. Existing backups will be copied to the new location and it could take a few moments. Please do not interrupt the process once it has started.
   Do you want to continue (Yes or No)? Yes

   Dans cet exemple, un emplacement de sauvegarde est inscrit pour un stockage de Big Data spatio-temporelles. L'emplacement est un répertoire partagé nommé bigdatabus sur sysshare.

   ./configurebackuplocation.sh --operation register --store spatiotemporal 
   --location /net/sysshare/bigdatabus

   Pour obtenir la syntaxe complète et des exemples supplémentaires, y compris des exemples de configuration d’emplacements de sauvegarde de stockage cloud, reportez-vous à la rubrique Référence des utilitaires ArcGIS Data Store.

Astuce:

Si votre répertoire de sauvegarde à distance demeure hors connexion pendant plusieurs minutes, effectue une sauvegarde manuelle complète du stockage des données dès que l'emplacement de sauvegarde partagé est accessible.

Inscrire des emplacements de sauvegarde supplémentaires

Pour les stockages de Big Data spatio-temporelles et les stockages de données relationnelles, vous avez la possibilité d’inscrire des emplacements de sauvegarde supplémentaires. Ces emplacements supplémentaires peuvent être utilisés pour stocker les sauvegardes que vous créez manuellement à l’aide de l’utilitaire backupdatastore.

Remarque :

Vous devez nettoyer les emplacements de stockage des sauvegardes manuellement ; ArcGIS Data Store ne supprime pas de fichiers pour vous.

Procédez comme suit afin d’ajouter un autre emplacement pour les fichiers de sauvegarde que vous créez pour un répertoire de Big Data spatio-temporelles ou de données relationnelles.

1. Créez un autre emplacement pour les fichiers de sauvegardes.
   • Pour inscrire un répertoire partagé, créez le répertoire sur une autre machine. Assurez-vous que l’espace de stockage est suffisant pour contenir tous les fichiers de sauvegarde et que l’identifiant que vous utilisez lorsque vous vous connectez à la machine ArcGIS Data Store pour exécuter l’utilitaire backupdatastore dispose d’un accès en écriture à ce répertoire. Si vous créez un second répertoire partagé pour un stockage de Big Data spatio-temporelles, toutes les machines de Big Data spatio-temporelles figurant dans le même déploiement ArcGIS Data Store doivent avoir accès à ce répertoire partagé.
   • Pour inscrire un paquet S3, créez le paquet sous votre compte Amazon Web Services. Choisissez une taille de paquet correspondant à vos fichiers de sauvegarde.
   • Pour inscrire un conteneur de stockage Azure Blob, créez le conteneur sous votre compte de stockage Azure Blob.
2. Exécutez l’utilitaire configurebackuplocation avec l’opération register pour inscrire cet emplacement de stockage supplémentaire.

Gérer des sauvegardes automatiques

Par défaut, ArcGIS Data Store crée une sauvegarde complète des stockages des données tous les quatre jours, mais vous pouvez modifier la fréquence de création d’une sauvegarde complète par le stockage des données en exécutant l’utilitaire updatebackupschedule.

Modifier la fréquence de sauvegarde

Si les membres de votre portail publient et mettent à jour de nombreuses couches hébergées ou si vous archivez d’importants volumes de données en mode continu, augmentez la fréquence des sauvegardes.

Remarque :

Par défaut, les sauvegardes incrémentielles sont désactivées pour les Data Stores relationnels. Si vous activez la récupération ponctuelle, des sauvegardes incrémentielles sont générées lorsque les fichiers journaux sont saturés ou toutes les cinq minutes, selon la première de ces deux éventualités. La base de données contrôle la création des sauvegardes incrémentielles. Vous ne pouvez pas contrôler la fréquence de création des sauvegardes incrémentielles.

L'emplacement cible des sauvegardes doit présenter suffisamment d'espace pour stocker tous les fichiers de sauvegarde. La taille de la sauvegarde varie selon la quantité de données que vous possédez mais, si vous utilisez les paramètres de sauvegarde par défaut, les sauvegardes contiennent deux sauvegardes complètes et l’équivalent de sept jours de fichiers de sauvegardes incrémentielles. La taille de ces fichiers dépend de la quantité et de la taille de vos données. Si vous réactivez la récupération ponctuelle pour les Data Store relationnels, les sauvegardes incluent également par défaut l’équivalent de sept jours de fichiers de sauvegardes incrémentielles.

Soyez conscient qu’il n’existe pas de nettoyage automatique des fichiers de sauvegarde de stockage des données du cache de tuiles ou de Big Data spatio-temporelles. Si vous augmentez la fréquence de sauvegarde de ces data stores, vous devrez probablement nettoyer l’emplacement de sauvegarde plus fréquemment également.

Si vous décidez de créer des sauvegardes manuelles et souhaitez désactiver les sauvegardes automatiques, définissez la fréquence de sauvegarde sur 0. Si vous désactivez les sauvegardes automatiques, vous devez créer les sauvegardes vous-même pour prévenir les pertes de données si une panne de machine ou autre catastrophe de données survient.

L'utilitaire updatebackupschedule est installé dans le répertoire <ArcGIS Data Store installation directory>/datastore/tools.

1. Ouvrez une commande shell.
2. Exécutez l'utilitaire updatebackupschedule pour indiquer la fréquence voulue des sauvegardes.

   La syntaxe permettant d'exécuter l'utilitaire est la suivante :

   updatebackupschedule [--store relational|tileCache|spatiotemporal] [--starttime <local server time>] --frequency <number of days>

   Par exemple, saisissez les informations suivantes pour programmer des sauvegardes complètes du stockage de données relationnelles à 03h00. (heure sur le serveur local) tous les jours :

   ./updatebackupschedule.sh --store relational --starttime 03:00:00 --frequency 1

   Dans cet exemple, une sauvegarde du stockage de Big Data spatio-temporelles est programmée pour 23h30 (heure sur le serveur local) tous les trois jours :

   ./updatebackupschedule.sh --store spatiotemporal --starttime 23:30:00 --frequency 3

Modifier la durée de conservation des fichiers de sauvegarde automatique du stockage des données relationnelles

Le répertoire de sauvegarde conserve les fichiers de sauvegarde du stockage des données relationnelles pendant sept jours. Cela signifie que si vous conservez la fréquence de sauvegarde par défaut (tous les quatre jours) et les plannings de rétention (sept jours), le répertoire de sauvegarde contient deux sauvegardes complètes. Si vous réactivez la récupération ponctuelle, le répertoire de sauvegarde contient également l’équivalent de sept jours de fichiers de sauvegardes incrémentielles. La taille de ces fichiers dépend de la quantité et de la taille de vos données. La machine qui stocke vos sauvegardes doit présenter suffisamment d'espace disque pour contenir tous ces fichiers. Si vous augmentez la fréquence de sauvegarde, vous pouvez envisager de diminuer la période de rétention des fichiers de sauvegarde. Dans la section précédente, la fréquence de sauvegarde a été augmentée et paramétrée sur Tous les jours. Pour empêcher que la taille de votre répertoire de sauvegarde ne devienne trop importante, diminuez la période de rétention des fichiers de sauvegarde.

La syntaxe permettant d'exécuter l'utilitaire updatebackupretaindays est la suivante :

updatebackupretaindays <number of days>

Dans l'exemple suivant, la durée de rétention des fichiers de sauvegarde est définie sur quatre jours :

./updatebackupretaindays.sh 4

Créer et supprimer manuellement des sauvegardes

Même si vous utilisez des sauvegardes automatiques, il peut arriver que vous souhaitiez créer une sauvegarde à des fins spécifiques en dehors du calendrier de sauvegarde habituel (par exemple, avant de mettre le système à niveau ou pour créer une sauvegarde complète secondaire à un emplacement différent).

Si vous désactivez les sauvegardes automatiques, vous devez créer des sauvegardes manuelles périodiquement.

Tous les fichiers de sauvegarde que vous créez manuellement, même pour les stockages des données relationnelles, doivent être supprimés manuellement.

Exécuter un utilitaire pour créer une sauvegarde de stockage de données

Vous pouvez utiliser l'utilitaire backupdatastore pour effectuer une sauvegarde complète des données des couches d'entités de votre stockage des données. Vous pouvez créer manuellement une sauvegarde complète avant d’apporter de nombreuses modifications au stockage des données ou avant de le mettre à niveau. Vous pouvez également créer une sauvegarde pour conserver un exemplaire des données à un stade spécifique, par exemple à la fin de la première phase d'un projet.

Lors de la première exécution de l'utilitaire backupdatastore pour un stockage des données du cache de tuiles, des copies de sauvegarde sont effectuées pour toutes les bases de données de stockages des données du cache de tuiles existantes. De même, lors de la première exécution de l'utilitaire backupdatastore pour un stockage de Big Data spatio-temporelles, une sauvegarde complète est créée. Comme ces deux types de stockages des données peuvent être très volumineux, chaque exécution suivante de l'utilitaire backupdatastore effectue des copies de sauvegarde uniquement des données créées depuis votre dernière exécution de l'utilitaire.

L'identifiant de connexion qui vous permet d'accéder à la machine du stockage des données pour exécuter l'utilitaire backupdatastore doit disposer d'un accès en lecture et en écriture à l'emplacement de sauvegarde du stockage des données.

La syntaxe permettant d'exécuter l'utilitaire backupdatastore est la suivante :

backupdatastore [<backup name>] [--store {relational|tileCache|spatiotemporal}] [--location <backup_arguments>] [--prompt <yes | no>]

Le paramètre --location est pris en charge pour les stockages de Big Data spatio-temporelles et les stockages des données relationnelles. Les arguments correspondant à ce paramètre sont les suivants et doivent être séparés par des points-virgules (;) :

• type= : les types valides sont fs (partage de fichiers), s3 (paquet Amazon Simple Storage Service (S3)) ou azure (conteneur de stockage blob Microsoft Azure).
• name= : si vous avez attribué des noms aux emplacements de sauvegarde que vous avez configurés pour votre stockage de Big Data spatio-temporelles, vous pouvez les utiliser pour indiquer où vous souhaitez que les fichiers de sauvegarde soient créés lorsque vous exécutez l’utilitaire backupdatastore.
• location= : si vous n’attribuez pas de nom d’emplacement de sauvegarde, vous devez indiquer le type et location de sauvegarde. Pour les partages de fichiers, fournissez le chemin de fichier. Pour les paquets S3, fournissez le nom du paquet. Pour les conteneurs de stockage blob Azure, fournissez le nom du conteneur.

Attribuez un nom de sauvegarde significatif au fichier pour le retrouver facilement si vous souhaitez restaurer les données. Si vous ne spécifiez aucun nom, l'utilitaire attribue un nom par défaut au fichier. Le nom par défaut présente le format nomstockagedonnées-horodatage. Par exemple, si votre stockage des données s'appelle corpds et que vous créez la sauvegarde le 10 juillet 2014 à 14:25:49:554 UTC, le nom du fichier de sauvegarde est corpds-20140710142549554.

Vous serez invité à confirmer la création d'une sauvegarde. Saisissez yes ou y pour créer la sauvegarde.

Astuce:

Pour rédiger un script de création de sauvegarde manuelle, incluez un indicateur pour supprimer l'invite de confirmation, comme l'indique l'exemple suivant :

backupdatastore --store tilecache --prompt no

Dans cet exemple, le stockage des données génère le nom du fichier de sauvegarde. Cette opération nécessaire dans un script permet de s'assurer que le nom du fichier de sauvegarde est unique.

Suppression manuelle des sauvegardes des stockages des données

Si vous ne devez plus conserver un fichier de sauvegarde du stockage des données relationnelles que vous avez créé à l'aide de l'utilitaire backupdatastore, vous pouvez exécuter l'utilitaire listbackups pour obtenir le nom du fichier de sauvegarde, puis exécuter l'utilitaire deletebackup pour le supprimer. Par exemple, lorsque vous avez mis à niveau votre stockage des données et confirmé que toutes les couches fonctionnent comme prévu, vous pouvez supprimer la sauvegarde du stockage des données que vous avez créée avant la mise à niveau.

Cet exemple illustre la suppression de la base de données preupgrade1104_bu :

./listbackups.sh --store relational
Backup_Name                      Status           Backup_Time         Mode
====================================================================================
phase1proj_bu                    BackupComplete   2014-03-08 14:12    manual phase2proj_bu                    BackupComplete   2014-06-21 11:43    manual preupgrade_bu                    BackupComplete   2014-10-04 09:30    manual ds_gdt1oomh-20141103160748082    BackupComplete   2014-11-01 03:00    scheduled
/deletebackup preupgrade1104_bu You are attempting to delete backup 'preupgrade1104_bu'. This operation is irreversible.
Do you wish to continue (Yes or No)?yes
Operation completed successfully