Управление архивами хранилища данных

Архивы необходимы для восстановления данных в случае таких аварий, как сбой хранилища или повреждение данных. Если вы создали архивы хранилищ данных и разместили их в защищенном местоположении, вы можете настроить новое ArcGIS Data Store, получить доступ к файлам резервных копий и восстановить данные, если по какой-либо причине произошел сбой в хранилище данных, и вы не можете его перезапустить.

Ознакомьтесь с дополнительными советами по созданию архивных копий ArcGIS Data Store и используйте информацию из последующих разделов для настройки и управления резервными копиями ArcGIS Data Store.

1. Задайте местоположение для резервных копий.
2. Настройте автоматическое создание резервных копий.
3. При необходимости создавайте резервные копии вручную.

О резервных копиях ArcGIS Data StoreArcGIS Data Store

При выполнении резервного копирования и восстановлении хранилищ данных учитывайте следующее:

• Резервные копии позволяют восстановить данные при аварии, например, при отказе сервера. Если архив находится на сервере, выведенном из строя, вы не сможете восстановить данные. Поэтому файлы резервных копий следует хранить на сервере, отличном от хранилища данных, и, если возможно, в другом физическом местоположении, чем хранилище данных.
• Файлы архивов ArcGIS Data Store содержат только реляционные хранилища данных, хранилище больших пространственно-временных данных и хранилища данных листов кэша. Файлы резервных копий не поддерживают архивы сайта GIS Server, портала, а также управляемых пользователями хранилищ данных, зарегистрированных на сайте GIS Server. Резервные копии этих компонентов необходимо создавать отдельно.

  Если у вас есть реляционное хранилище данных или хранилище данных листов кэша (или оба), вы можете использовать инструмент webgisdr, установленный вместе Portal for ArcGIS, для создания резервной копии. При использовании вами инструмента webgisdr архив создаётся для вашего портала, хост-сервера и интегрированных серверов. См. Резервное копирование в ArcGIS Enterprise для получения более подробной информации об использовании этого инструмента. Вам все равно будет необходимо создавать отдельные резервные копии управляемых пользователями хранилищ данных, которые регистрируются на сайте GIS Server и в хранилище больших пространственно-временных данных.

• Архивы ArcGIS Data Store помогают восстановить данные, потерянные в результате сбоя компьютера ArcGIS Data Store или повреждения данных. Они не обеспечивают высокого уровня отказоустойчивости. Если вам необходимо, чтобы размещенные векторные и пространственно-временные слои, а также слои сцен были доступны даже в случае выхода из строя одного из компьютеров ArcGIS Data Store, добавьте компьютер во все хранилища данных, чтобы обеспечить высокий уровень отказоустойчивости. Вы можете добавить несколько компьютеров в хранилища данных кэша листов и пространственно-временных данных.
• Из-за изменений во внутренних механизмах хранения данных и в программном обеспечении ArcGIS резервные копии хранилищ данных, которые вы создавали в предыдущих версиях ArcGIS Data Store, не могут быть использованы для восстановления данных в более новых версиях ArcGIS Data Store. Поэтому всегда создавайте полную резервную копию всех ваших хранилищ данных после обновления ArcGIS Data Store.
• Когда вы разворачиваете ArcGIS Enterprise локально, но файлы резервных копий хранилища данных находятся в облачном хранилище, создание резервных копий и восстановление из этих резервных копий займёт больше времени, чем если файлы резервных копий хранятся в локальных общих папках.

Определение местоположения для резервных копий

Местоположения архивов и их поведение в разных типах хранилищ данных могут быть разными. Ознакомьтесь с информацией, относящейся к тому типу хранилища данных (или хранилищ), с которым вы работаете.

• Реляционные хранилища данных

  Когда вы создаете реляционное хранилище данных, местоположение резервной копии автоматически настраивается на том же компьютере, что и хранилище данных. По умолчанию ArcGIS Data Store создаёт резервные копии реляционных хранилищ данных в /usr/arcgisdatastore/backup/relational. В случае выхода из строя хранилища данных на основном компьютере вы не сможете получить доступ к файлам архива и, следовательно, не сможете восстановить данные размещенных векторных слоев.

  Другая причина хранения резервных копий на другом компьютере заключается в том, что хранение архивных файлов на том же компьютере, на котором располагается хранилище данных, может быстро привести к исчерпанию на нем свободного места. Если вы работаете в условиях дефицита дискового пространства, хранилище данных будет работать в режиме "только для чтения" для предотвращения повреждения данных.

  Поэтому, следует задать файловую директорию для автоматического резервного копирования в защищенном, совместно используемом каталоге файлов на другом компьютере, а не в расположении по умолчанию. Эта файловая директория считается местом, куда по умолчанию будут помещаться резервные копии. Резервные копии, автоматически созданные ArcGIS Data Store, всегда размещаются в местоположении по умолчанию. Изменить расположение резервных копий по умолчанию можно с помощью операции change с утилитой configurebackuplocation.

  Вы можете зарегистрировать дополнительные места резервного копирования для хранилища реляционных данных, включая другие каталоги файлов, бакеты Amazon Simple Storage Service (S3) и контейнеры хранения BlobMicrosoft Azure. Эти дополнительные местоположения могут использоваться для хранения полных резервных копий, созданных с помощью утилиты backupdatastore.

• Хранилища данных кэша листов

  При создании хранилища данных кэша листов не существует расположения, в котором по умолчанию хранились бы резервные копии. Вы должны зарегистрировать хотя бы одно местоположение резервного копирования, прежде чем сможете создавать файлы х резервных копий хранилища данных кэша листов. Вы можете зарегистрировать контейнер хранилища в файлообменнике, в бакете Amazon S3 или в контейнере хранилища Microsoft Azure. Вы также можете указать несколько резервных местоположений для хранилищ данных кэша листов и установить одно из них в качестве расположения по умолчанию. Резервные копии, автоматически созданные ArcGIS Data Store, всегда размещаются в местоположении по умолчанию.

  Вы можете записать полные резервные копии вручную для дополнительных мест резервного копирования, созданных с помощью утилиты backupdatastore. Для этого вы должны зарегистрировать другое местоположение резервного копирования.

  В ArcGIS Data Store 10.7.1 и более ранних версиях у хранилища данных кэша листов были сконфигурированы местоположения резервных копий по умолчанию. Если вы не изменяли местоположение резервного копирования по умолчанию и добавили резервное хранилище данных кэша листов, перед обновлением ArcGIS Data Store убедитесь, что эти резервные копии находятся в расположении, которое доступно для резервного компьютера. Если этого не сделать, придется регистрировать местоположение резервного копирования по умолчанию после обновления.

• Хранилища пространственно-временных больших данных

  После создания больших хранилищ пространственно-временных данных отсутствует местоположение резервных копий по умолчанию. Вы должны зарегистрировать хотя бы одно местоположение резервного копирования, прежде чем сможете создавать файлы резервных копий хранилищ пространственно-временных больших данных. Вы можете зарегистрировать контейнер хранилища в файлообменнике, в бакете Amazon S3 или в контейнере хранилища Microsoft Azure. Вы также можете указать несколько резервных местоположений для хранилищ пространственно-временных больших данных и установить одно из них по умолчанию. Резервные копии, автоматически созданные ArcGIS Data Store, всегда размещаются в местоположении по умолчанию.

  Вы можете записать полные резервные копии вручную для дополнительных мест резервного копирования, созданных с помощью утилиты backupdatastore. Для этого вы должны зарегистрировать другое местоположение резервного копирования.

Регистрация местоположения резервного копирования по умолчанию

Регистрация безопасного общедоступного местоположения резервных копий по умолчанию, где ArcGIS Data Store может размещать файлы из автоматических резервных копий, созданных по расписанию.

Для настройки общей директории, в которой будут храниться файлы резервной копии хранилища данных, выполните следующие действия:

1. Создайте общую директорию на другом компьютере, предназначенном для хранения файлов архива.

   Примечание:

   Убедитесь, что имеется достаточно свободного места для всех файлов, входящих в архив хранилища данных. Количество файлов и их размер могут различаться, в зависимости от данных и типа используемого вами хранилища данных. Данные полистного кэша могут занимать довольно много места, а пространственно-временные данные – ещё больше. Архивы хранилищ данных создаются автоматически, и скорость их заполнения зависит от расписания архивирования и числа дней хранения резервных копий. Не забывайте следить за директорией архивов и при необходимости менять эти значения, а также размеры хранилища.

   Также помните, что у всех компьютеров с большими пространственно-временными данными и всех машин в одном развертывании ArcGIS Data Store должен быть доступ к этой общей директории.

2. Предоставьте права на чтение и запись для общей сетевой папки той учетной записи, под которой выполнялась установка ArcGIS Data Store.
3. Запустите утилиту configurebackuplocation для задания вашей общей директории в качестве выходного местоположения по умолчанию резервных копий хранилищ данных.

   После создания у хранилищ пространственно-временных больших данных и кэша листов не будет местоположения резервных копий по умолчанию. Вы должны зарегистрировать хотя бы одно местоположение резервного копирования, прежде чем сможете создавать файлы резервных копий хранилищ данных такого типа. В качестве местоположения по умолчанию для резервных копий вы можете зарегистрировать каталог файлов, бакет Amazon S3 или контейнер хранилища Blob Microsoft Azure.

   Если пользователи опубликовали размещенные векторные слои и автоматическое резервное копирование до настройки вами рекомендуемого общего каталога для резервных копий, утилита configurebackuplocation переместит ваши существующие резервные копии файлов реляционных хранилищ данных из резервной копии по умолчанию в общую директорию.

   В этом примере местоположение резервной копии реляционного хранилища данных изменено на общую директорию ds_backups, расположенную на компьютере sysshare.

   ./configurebackuplocation.sh --operation change --store relational 
   --location /net/sysshare/ds_backups
   
   You are going to change the backup location of the data store. Existing backups will be copied to the new location and it could take a few moments.
   Please do not interrupt the process once it has started.
   
   Do you want to continue (Yes or No)? Yes

   В данном примере местоположение архива зарегистрировано для большого хранилища пространственно-временных данных. Местоположение – общая директория bigdatabus на sysshare.

   ./configurebackuplocation.sh --operation register --store spatiotemporal 
   --location /net/sysshare/bigdatabus

   Полный синтаксис и дополнительные пример, включая примеры настройки резервных копий облачного хранилища, см. справочник по утилитам ArcGIS Data Store.

Подсказка:

Если удалённая директория архивов была недоступна дольше нескольких минут, вручную выполните полное архивирование хранилища данных, как только директория снова станет доступной.

Регистрация дополнительных местоположений резервного копирования

У вас есть возможность зарегистрировать дополнительные резервные хранилища. Они могут использоваться для хранения резервных копий, которые вы создаете с помощью утилиты backupdatastore.

Примечание:

Вам необходимо очистить местоположения резервного копирования для копирования вручную; ArcGIS Data Store не будет выполнять удаление файлов за вас.

Выполните следующие шаги, чтобы добавить новое местоположение для файлов архива:

1. Создайте ещё одно местоположение для файлов резервных копий.
   • Чтобы зарегистрировать общую директорию, создайте директорию на другом компьютере. Не забудьте убедиться, что там достаточно места для хранения всех резервных файлов и не забудьте войти под тем пользователем, который будет использован для подключения к компьютеру ArcGIS Data Store для запуска утилиты backupdatastore – чтобы было право записи в эту директорию. При создании дополнительной общей директории для хранилища данных кэша листов или больших пространственно-временных данных все компьютеры кэша листов или пространственно-временных больших данных одного развертывания ArcGIS Data Store должны иметь доступ к этой общей директории. При создании дополнительной общей директории для резервных копий реляционного хранилища данных у резервного компьютера должен быть доступ к этой общей директории.
   • Чтобы зарегистрировать бакет S3, создайте бакет Amazon Web Services под своей учётной записью . Выберите размер корзины для размещения своих файлов резервных копий.
   • Чтобы зарегистрировать контейнер хранилища BlobAzure, создайте контейнер под своей учётной записью хранилища Blob Azure.
2. Запустите утилиту configurebackuplocation с операцией register, чтобы зарегистрировать дополнительное местоположение резервной копии.

Управление автоматическим резервным копированием

По умолчанию, ArcGIS Data Store создает полную резервную копию хранилищ данных каждые четыре дня, но вы можете изменить частоту, с которой хранилище данных создает полную резервную копию, запустив утилиту updatebackupschedule.

Изменение частоты архивации

Если участники организации публикуют и работают с большим количеством размещенных слоев, или если вы архивируете большие объемы потоковых данных, то частоту резервного копирования следует увеличить.

Примечание:

По умолчанию инкрементные резервные копии отключены для хранилищ реляционных данных. Если вы активируете восстановление на определённый момент времени, то накопительные резервные копии будут создаваться или при полном заполнении файлов журнала, или каждые 5 минут, в зависимости от того, что произойдёт ранее. Создание накопительной резервной копии управляется базой данных; вы не можете управлять частотой создания накопительных резервных копий.

Ваше местоположение резервной копии должно иметь достаточно места для хранения всех файлов архивов. Размер резервной копии зависит от объёма архивируемых данных, но, если вы используете настройки архивирования по умолчанию, резервная копия будет содержать две полные резервные копии и файлы накопительных резервных копий за последние 7 дней. Размер этих файлов зависит от количества данных. Если вы заново активировали восстановление реляционных хранилищ данных на определённый момент времени, резервные копии будут также включать файлы накопительных резервных копий за последние 7 дней по умолчанию.

Имейте в виду, что очистка полистного кэша или резервных копий хранилища пространственно-временных больших данных не выполняется автоматически. Если вы увеличите частоту создания резервных копий этих хранилищ данных, вероятно вам надо будет чаще очищать хранилища резервных копий.

Если вы хотите отключить автоматическое создание архивов и создавать резервные копии вручную, задайте частоту создания равной 0. Если вы отключите автоматическое резервное копирование, вы должны будете сами создать резервные копии для защиты от потери данных в случае сбоя машины или других неполадок.

Утилита updatebackupschedule установлена в папке <ArcGIS Data Store installation directory>/datastore/tools.

1. Запустите оболочку командной строки.
2. Запустите утилиту updatebackupschedule, чтобы задать требуемую частоту архивации.

   Для запуска утилиты используется следующий синтаксис:

   updatebackupschedule [--store relational|tileCache|spatiotemporal] [--starttime <local server time>] --frequency <number of days>

   Например, чтобы создавать полные резервные копии реляционного хранилища данных по расписанию каждый день в 3:00 утра (локального времени сервера), введите следующее.

   ./updatebackupschedule.sh --store relational --starttime 03:00:00 --frequency 1

   В данном примере резервное копирование хранилища больших пространственно-временных данных назначено на 11:30 вечера (локального времени сервера) каждые три дня:

   ./updatebackupschedule.sh --store spatiotemporal --starttime 23:30:00 --frequency 3

Изменение времени автоматического хранения файлов архивов реляционного хранилища данных

Директория архива по умолчанию хранит архивные файлы реляционного хранилища данных в течение 7 дней. Это означает, что при сохранении стандартной частоты архивации (каждые 4 дня) и времени хранения (7 дней), в папке резервного копирования будут храниться 2 полные резервные копии. Если вы заново активировали восстановление на определённый момент времени, папка резервного копирования будет также содержать файлы накопительных резервных копий за последние 7 дней. Размер этих файлов зависит от количества данных. На компьютере для хранения архивов должно быть достаточно дискового пространства для хранения всех этих файлов. Если вы увеличите частоту архивации, рассмотрите возможность уменьшения времени хранения архивных файлов. В предыдущем разделе частота архивации была увеличена до каждодневной. Чтобы предотвратить чрезмерное увеличение объема архивной папки, уменьшите время хранения архивных файлов.

Для запуска утилиты updatebackupretaindays используется следующий синтаксис:

updatebackupretaindays <number of days>

В примере ниже время хранения архивных файлов было снижено до 4 дней:

./updatebackupretaindays.sh 4

Создание и удаление файлов резервного копирования вручную

Даже если вы используете автоматическое резервное копирование, могут возникнуть ситуации, когда вы хотите создать резервную копию для определенной цели вне обычного расписания резервного копирования, например, перед обновлением системы или для создания дополнительной полной резервной копии в другом месте.

Если вы отключили автоматическое резервное копирование, вы должны периодически создавать резервные копии вручную.

Все резервные файлы, созданные вручную, даже для реляционных хранилищ данных, должны удаляться вручную.

Запуск утилиты для создания резервной копии хранилища данных

Вы можете использовать утилиту backupdatastore, чтобы создать полный архив данных векторного слоя. Вы можете вручную создать полную резервную копию перед тем, как вносить множество изменений в хранилище данных, или перед его обновлением. Или вы можете создать резервную копию, чтобы сохранить копию определенного состояния данных, например, в конце первой фазы проекта.

Во время первого запуска утилиты backupdatastore для резервного копирования хранилища данных полистного кэша в резервную копию копируются все существующие базы данных хранилищ данных полистного кэша. Подобным образом во время первого запуска утилиты backupdatastore для хранилища пространственно-временных данных создается полный архив. Поскольку оба этих типа хранилищ данных могут быть очень большими, во время каждого следующего запуска утилиты backupdatastore создаются резервные копии только данных, которые были созданы с момента последнего запуска утилиты.

Учетная запись, с которой вы подключаетесь к компьютеру с хранилищем данных, чтобы запустить утилиту backupdatastore, должна иметь права на чтение и запись в местоположение резервной копии хранилища данных.

Для запуска утилиты backupdatastore используется следующий синтаксис:

backupdatastore [<backup file name>] [--store {relational | tileCache | spatiotemporal}] [--location <backup_arguments>] [--prompt {yes | no}]

Аргументы для параметра --location следующие и должны разделяться точкой с запятой (;):

• type=: Корректные типы: fs (файловое хранилище), s3 (бакет Amazon Simple Storage Service (S3)) или azure (контейнер Microsoft Azure Blob).
• name= - Если вы назначили имена расположениям резервных копий, настроенным для вашего хранилища данных, вы можете использовать эти имена расположений, чтобы указать, где хотите создавать файлы резервных копий при запуске утилиты backupdatastore.
• location= - Если вы не укажете имя места резервного копирования для своего хранилища, вы должны указать резервную копию type и location. Для общего доступа к файлам предоставьте путь к этим файлам. Для бакета S3 введите его имя. Для контейнеров хранилищ Azure Blob введите имя контейнера.

Введите запоминающееся имя файла, чтобы вы могли легко найти его, когда захотите восстановить данные. Если имя не задано, утилита присвоит файлу имя по умолчанию. Имя по умолчанию дается в формате datastorename-timestamp. Например, если хранилище данных называется corpds и архив создается 10 июля 2014 г. в 14:25:49:554 UTC, именем файла резервной копии будет corpds-20140710142549554.

Вам будет предложено подтвердить создание архива. Введите yes или y, чтобы продолжить.

Подсказка:

Если вы хотите создать резервную копию вручную с помощью скрипта, следует вставить флаг для отмены подтверждения, как в следующем примере:

backupdatastore --store tilecache --prompt no

В этом примере имя файла генерируется хранилищем данных. В скрипте это необходимо чтобы архив получил уникальное имя.

Удаление хранилищ данных вручную

Если вам больше не нужен файл архива реляционного хранилища данных, созданный с помощью утилиты backupdatastore (архивирование вручную), вы можете запустить утилиту listbackups, чтобы получить имя определенного файла архива, а затем запустить утилиту deletebackup, чтобы удалить ненужный файл. Например, после обновления хранилища данных вы убедились, что все слои работают, как ожидается, и теперь можно удалить архив, созданный перед обновлением.

В этом примере удаляется база данных preupgrade1104_bu:

./listbackups.sh --store relational

Backup_Name                      Status           Backup_Time         Mode
====================================================================================
phase1proj_bu                    BackupComplete   2014-03-08 14:12    manual
phase2proj_bu                    BackupComplete   2014-06-21 11:43    manual
preupgrade_bu                    BackupComplete   2014-10-04 09:30    manual
ds_gdt1oomh-20141103160748082    BackupComplete   2014-11-01 03:00    scheduled


/deletebackup preupgrade1104_bu
You are attempting to delete backup 'preupgrade1104_bu'. This operation is irreversible.

Do you wish to continue (Yes or No)?yes

Operation completed successfully