Управление архивами хранилища данных

Архивы необходимы для восстановления данных в случае таких аварий, как сбой хранилища или повреждение данных. Если вы создали архивы хранилищ данных и разместили их в защищенном местоположении, вы можете настроить новое ArcGIS Data Store, получить доступ к файлам резервных копий и восстановить данные, если по какой-либо причине произошел сбой в хранилище данных, и вы не можете его перезапустить.

Примечание:

Помните, что эти файлы резервных копий содержат только хранилища данных. В архивные файлы не записываются данные сайта GIS Server или портала. Вместо этого архивы помогают восстановить данные, потерянные в результате сбоя компьютера хранилища данных или повреждения данных. Если вам требуется, чтобы ваши размещенные векторные слои и слои сцен работали даже в случае, если возникнет сбой компьютера, на котором хранятся данные, настройте дополнительный компьютер – хранилище данных, чтобы сделать хранилище данных высокой доступности.

Если у вас есть реляционное хранилище данных или хранилище данных листов кэша (или оба), вы можете использовать инструмент webgisdr, установленный вместе с Portal for ArcGIS, для создания резервной копии. При использовании вами инструмента webgisdr архив создаётся для вашего портала, хост-сервера и интегрированных серверов. Для подробной информации о применении инструмента см. раздел Резервные копии ArcGIS Enterprise в Руководстве администратора Portal for ArcGIS.

Резервные копии позволяют восстановить данные при аварии, например, при отказе сервера. Если архив находится на сервере, выведенном из строя, вы не сможете восстановить данные. Поэтому файлы архивов следует хранить на другом сервере, отдельно от хранилища данных.

Задание местоположения архивов

Когда вы создаете реляционное хранилище данных или хранилище данных полистного кэша, местоположение резервного копирования настраивается автоматически, но оно находится на том же компьютере, что и хранилище данных. Вам необходимо настроить безопасную общедоступную файловую директорию на другом компьютере для каждого из этих типов хранилищ данных. По умолчанию ArcGIS Data Store создаёт резервные копии реляционных хранилищ данных в /usr/arcgisdatastore/backups. Это означает, что файлы архивов хранятся на том же компьютере, где установлено реляционное хранилище данных или хранилище данных полистного кэша. Если в хранилище данных или на первичном компьютере произойдет сбой, вы не сможете получить доступ к файлам архива, следовательно, не сможете восстановить данные размещенных векторных слоев или слоёв сцен. Поэтому следует хранить данные резервных копий в каком-либо другом месте.

Другая причина хранения резервных копий на другом компьютере заключается в том, что хранение архивных файлов на том же компьютере, на котором располагается хранилище данных, может быстро привести к исчерпанию на нем свободного места. Если вы работаете в условиях дефицита дискового пространства, хранилище данных будет работать в режиме "только для чтения" для предотвращения повреждения данных. Для компьютеров с хранилищами данных листов кэша и хранилищами больших пространственно-временных данных, хранилище данных будет отключено, когда свободный объем памяти компьютера начнет заканчиваться.

Для хранилищ реляционных данных и полистного кеша вы должны определить файловую директорию для автоматического резервного копирования. Эта файловая директория будет считаться местом резервного копирования по умолчанию для этих хранилищ данных. Резервные копии, автоматически создаваемые ArcGIS Data Store, всегда отправляются в местоположение резервных копий по умолчанию.

Начиная с версии 10.6.1, вы можете задать дополнительные места резервного копирования для вашего хранилища реляционных данных, включая другие файлообменники, корзины Amazon Simple Storage Service (S3) и контейнеры хранения Microsoft Azure Blob. Эти дополнительные местоположения могут использоваться для хранения полных резервных копий, созданных с помощью утилиты backupdatastore.

После создания больших хранилищ пространственно-временных данных отсутствует местоположение резервных копий по умолчанию. Вы должны зарегистрировать хотя бы местоположение резервных копий перед созданием файлов архивов больших хранилищ пространственно-временных данных. Вы можете зарегистрировать контейнер хранилища в файлообменнике, в корзине Amazon S3 или в контейнере хранилища Microsoft Azure Blob. Вы также можете указать несколько резервных местоположений для хранилищ пространственно-временных больших данных и установить одно из них по умолчанию. Резервные копии, автоматически создаваемые ArcGIS Data Store, всегда отправляются в местоположение резервных копий по умолчанию. Вы можете записать полные резервные копии вручную для дополнительных мест резервного копирования, созданных с помощью утилиты backupdatastore.

Вы можете вручную создавать резервные копии реляционных хранилищ данных, хранилищ полистного кэша и пространственно-временных хранилищ данных. Для создания резервной копии хранилища больших пространственно-временных данных вам нужно зарегистрировать общее сетевое местоположение. Вам также необходимо зарегистрировать местоположение архивов полистного кэша перед их созданием. Регистрация общего сетевого местоположения для хранилищ полистного кэша необязательна, но мы рекомендуем ее сделать.

Регистрация местоположения резервного копирования по умолчанию

Регистрация безопасного общедоступного местоположения резервных копий по умолчанию, где ArcGIS Data Store может размещать файлы из автоматических резервных копий, созданных по расписанию.

Для настройки общей директории, в которой будут храниться файлы резервной копии хранилища данных, выполните следующие действия:

1. Создайте общую директорию на другом компьютере, предназначенном для хранения файлов архива.

   Примечание:

   Убедитесь, что имеется достаточно свободного места для всех файлов, входящих в архив хранилища данных. Количество файлов и их размер могут различаться, в зависимости от данных и типа используемого вами хранилища данных. Данные полистного кэша могут занимать довольно много места, а пространственно-временные данные – ещё больше. Архивы хранилищ данных создаются автоматически, и скорость их заполнения зависит от расписания архивирования и числа дней хранения резервных копий. Не забывайте следить за директорией архивов и при необходимости менять эти значения, а также размеры хранилища.

   Также помните, что у всех компьютеров с большими пространственно-временными данными в одном развертывании ArcGIS Data Store должен быть доступ к этой общей директории.

2. Предоставьте права на чтение и запись для общей сетевой папки той учетной записи, под которой выполнялась установка ArcGIS Data Store.
3. Запустите утилиту configurebackuplocation для задания вашей общей директории в качестве выходного местоположения по умолчанию резервных копий хранилищ данных.

   После создания больших хранилищ пространственно-временных данных отсутствует местоположение резервных копий по умолчанию. Вы должны зарегистрировать хотя бы местоположение архива перед созданием файлов архивов больших хранилищ пространственно-временных данных. Вы можете зарегистрировать контейнер хранилища в файлообменнике, в корзине Amazon S3 или в контейнере хранилища Microsoft Azure Blob.

   Если пользователи опубликовали размещенные векторные слои и автоматическое резервное копирование до настройки вами рекомендуемого общего каталога для резервных копий, утилита configurebackuplocation переместит ваши существующие резервные копии файлов реляционных хранилищ данных из резервной копии по умолчанию в общую директорию.

   Из-за потенциально очень большого объема хранилищ полистного кэша при задании нового местоположения для хранилища резервных копий полистного кэша существующие данные не копируются. Поэтому убедитесь, что вы задали общее местоположение архива перед тем, как пользователи начнут публиковать слои сцены.

   В этом примере местоположение резервной копии реляционного хранилища данных изменено на общую директорию ds_backups, расположенную на компьютере sysshare.

   ./configurebackuplocation.sh --operation change --store relational 
   --location /net/sysshare/ds_backups
   You are going to change the backup location of the data store. Existing backups will be copied to the new location and it could take a few moments. Please do not interrupt the process once it has started.
   Do you want to continue (Yes or No)? Yes

   В данном примере местоположение архива зарегистрировано для большого хранилища пространственно-временных данных. Местоположение – общая директория bigdatabus на sysshare.

   ./configurebackuplocation.sh --operation register --store spatiotemporal 
   --location /net/sysshare/bigdatabus

   Полный синтаксис и дополнительные пример, включая примеры настройки резервных копий облачного хранилища, см. ArcGIS Data Store справочник по утилитам.

Подсказка:

Если удалённая директория архивов была недоступна дольше нескольких минут, вручную выполните полное архивирование хранилища данных, как только директория снова станет доступной.

Регистрация дополнительных мест резервного копирования для резервных копий вручную

Для пространственно-временных больших хранилищ данных у вас есть возможность регистрировать дополнительные места резервного копирования. Начиная с версии 10.6.1, у вас также есть возможность регистрировать дополнительные местоположения резервных копий для реляционных хранилищ данных. Они могут использоваться для хранения резервных копий, созданных вами вручную с помощью утилиты backupdatastore.

Помните, что вы должны очищать хранилища резервных копий вручную; ArcGIS Data Store не будет сам удалять файлы.

Выполните следующие шаги, чтобы добавить другое место для файлов резервных копий, созданных вручную для пространственно-временного большого хранилища данных или хранилища реляционных данных.

1. Создайте ещё одно местоположение для файлов резервных копий.
   • Чтобы зарегистрировать общую директорию, создайте директорию на другом компьютере. Не забудьте убедиться, что там достаточно места для хранения всех резервных файлов и не забудьте войти под тем пользователем, который будет использован для подключения к компьютеру ArcGIS Data Store для запуска утилиты backupdatastore – чтобы было право записи в эту директорию. Если вы создаёте вторую общую директорию для пространственно-временного хранилища больших данных, все компьютеры с пространственно-временными большими данными в одном развёртывании ArcGIS Data Store должны иметь доступ к этой общей директории.
   • Чтобы зарегистрировать корзину S3, создайте корзину под своей учётной записью AWS. Выберите размер корзины для размещения своих файлов резервных копий.
   • Чтобы зарегистрировать контейнер хранилища Azure Blob, создайте контейнер под своей учётной записью хранилища Azure Blob.
2. Запустите утилиту configurebackuplocation с операцией register, чтобы зарегистрировать дополнительное местоположение резервной копии.

Автоматическое резервное копирование

По умолчанию, ArcGIS Data Store создает полную резервную копию хранилищ данных каждые четыре дня, но вы можете изменить частоту, с которой хранилище данных создает полную резервную копию, запустив утилиту updatebackupschedule.

Изменение частоты архивации

Если ваши пользователи будут публиковать и редактировать большое количество размещённых векторных слоёв, следует увеличить частоту создания полных резервных копий хранилища данных. Если ваши пользователи будут создавать большое количество слоёв сцен, увеличьте частоту создания резервных копий хранилища полистного кэша. Если сайт ArcGIS GeoEvent Server архивирует большие объёмы потоковых данных или много пользователей часто запускают инструменты Инструменты геоаналитики, увеличьте частоту создания резервных копий хранилища пространственно-временных больших данных.

Примечание:

По умолчанию инкрементные резервные копии отключены для хранилищ реляционных данных. Если вы активируете восстановление на определённый момент времени, то накопительные резервные копии будут создаваться или при полном заполнении файлов журнала, или каждые 5 минут, в зависимости от того, что произойдёт ранее. Создание накопительной резервной копии управляется базой данных; вы не можете управлять частотой создания накопительных резервных копий.

Ваше местоположение резервной копии должно иметь достаточно места для хранения всех файлов архивов. Размер резервной копии зависит от объёма архивируемых данных, но, если вы используете настройки архивирования по умолчанию, резервная копия будет содержать две полные резервные копии и файлы накопительных резервных копий за последние 7 дней. Размер этих файлов зависит от количества данных. Если вы заново активировали восстановление реляционных хранилищ данных на определённый момент времени, резервные копии будут также включать файлы накопительных резервных копий за последние 7 дней по умолчанию.

Имейте в виду, что очистка полистного кеша или резервных копий хранилища пространственно-временных больших данных не выполняется автоматически. Если вы увеличите частоту создания резервных копий этих хранилищ данных, вероятно вам надо будет чаще очищать хранилища резервных копий.

Если вы хотите отключить автоматическое создание архивов и создавать резервные копии вручную, задайте частоту создания равной 0. Если вы отключите автоматическое резервное копирование, вы должны сами создать резервные копии для защиты от потери данных в случае сбоя машины или других неполадок.

Утилита updatebackupschedule установлена в папке <ArcGIS Data Store installation directory>/datastore/tools.

1. Запустите оболочку командной строки.
2. Запустите утилиту updatebackupschedule, чтобы задать требуемую частоту архивации.

   Для запуска утилиты используется следующий синтаксис:

   updatebackupschedule [--store relational|tileCache|spatiotemporal] [--starttime <local server time>] --frequency <number of days>

   Например, чтобы создавать полные резервные копии реляционного хранилища данных по расписанию в 3:00 утра, введите следующее. (время локального сервера) каждый день:

   ./updatebackupschedule.sh --store relational --starttime 03:00:00 --frequency 1

   В данном примере, резервное копирование хранилища больших пространственно-временных данных назначено на 11:30 вечера (локальное время сервера) через каждые 3 дня:

   ./updatebackupschedule.sh --store spatiotemporal --starttime 23:30:00 --frequency 3

Изменение времени автоматического хранения файлов архивов реляционного хранилища данных

Директория архива по умолчанию хранит архивные файлы реляционного хранилища данных в течение 7 дней. Это означает, что при сохранении стандартной частоты архивации (каждые 4 дня) и времени хранения (7 дней), в папке резервного копирования будут храниться 2 полные резервные копии. Если вы заново активировали восстановление на определённый момент времени, папка резервного копирования будет также содержать файлы накопительных резервных копий за последние 7 дней. Размер этих файлов зависит от количества данных. На компьютере для хранения архивов должно быть достаточно дискового пространства для хранения всех этих файлов. Если вы увеличите частоту архивации, рассмотрите возможность уменьшения времени хранения архивных файлов. В предыдущем разделе частота архивации была увеличена до каждодневной. Чтобы предотвратить чрезмерное увеличение объема архивной папки, уменьшите время хранения архивных файлов.

Для запуска утилиты updatebackupretaindays используется следующий синтаксис:

updatebackupretaindays <number of days>

В примере ниже время хранения архивных файлов было снижено до 4 дней:

./updatebackupretaindays.sh 4

Резервное копирование вручную

Даже если вы используете автоматическое резервное копирование, могут возникнуть ситуации, когда вы хотите создать резервную копию для определенной цели вне обычного расписания резервного копирования, например, перед обновлением системы или для создания дополнительной полной резервной копии в другом месте.

Если вы отключили автоматическое резервное копирование, вы должны периодически создавать резервные копии вручную.

Все резервные файлы, созданные вручную, даже для реляционных хранилищ данных, должны удаляться вручную.

Запуск утилиты для создания резервной копии хранилища данных

Вы можете использовать утилиту backupdatastore, чтобы создать полный архив данных векторного слоя. Вы можете вручную создать полную резервную копию перед тем, как вносить множество изменений в хранилище данных, или перед его обновлением. Или вы можете создать резервную копию, чтобы сохранить копию определенного состояния данных, например, в конце первой фазы проекта.

Во время первого запуска утилиты backupdatastore для резервного копирования хранилища данных полистного кэша в резервную копию копируются все существующие базы данных хранилищ данных полистного кэша. Подобным образом во время первого запуска утилиты backupdatastore для хранилища пространственно-временных данных создается полный архив. Поскольку оба этих типа хранилищ данных могут быть очень большими, во время каждого следующего запуска утилиты backupdatastore создаются резервные копии только данных, которые были созданы с момента последнего запуска утилиты.

Учетная запись, с которой вы подключаетесь к компьютеру с хранилищем данных, чтобы запустить утилиту backupdatastore, должна иметь права на чтение и запись в местоположение резервной копии хранилища данных.

Для запуска утилиты backupdatastore используется следующий синтаксис:

backupdatastore [<backup name>] [--store {relational|tileCache|spatiotemporal}] [--location <backup_arguments>] [--prompt <yes | no>]

Параметр --location поддерживается для больших хранилищ пространственно-временных данных и реляционных хранилищ данных. Аргументы для этого параметра следующие, и должны разделяться точкой с запятой (;):

• type=: Корректные типы fs (файлообменник), s3 (AWS S3-корзина) или azure (контейнер хранилища Azure blob).
• name=: Если вы назначили имена мест резервного копирования, настроенных для вашего хранилища пространственно-временных больших данных, вы можете использовать имя местоположения, чтобы указать, где вы хотите создавать резервные файлы при запуске утилиты backupdatastore.
• location=: Если вы не укажете имя места резервного копирования для своего хранилища, вы должны указать резервную копию type и location. Для общего доступа к файлам предоставьте путь к этим файлам. Для S3-корзин предоставьте имя корзины. Для контейнеров хранилищ Azure blob предоставьте имя контейнера.

Введите запоминающееся имя файла, чтобы вы могли найти его, когда захотите восстановить данные. Если имя не задано, утилита присвоит файлу имя по умолчанию. Имя по умолчанию дается в формате datastorename-timestamp. Например, если хранилище данных называется corpds и архив создается 10 июля 2014 в 14:25:49:554 UTC, именем файла резервной копии будет corpds-20140710142549554.

Вам будет предложено подтвердить создание архива. Введите yes или y, чтобы продолжить.

Подсказка:

Если вы хотите создать резервную копию вручную с помощью скрипта, следует вставить флаг для отмены подтверждения, как в следующем примере:

backupdatastore --store tilecache --prompt no

В этом примере имя файла генерируется хранилищем данных. В скрипте это необходимо чтобы архив получил уникальное имя.

Ручное удаление хранилищ данных

Если вам больше не нужен файл архива реляционного хранилища данных, созданный с помощью утилиты backupdatastore (архивирование вручную), вы можете запустить утилиту listbackups, чтобы получить имя определенного файла архива, а затем запустить утилиту deletebackup, чтобы удалить ненужный файл. Например, после обновления хранилища данных вы убедились, что все слои работают, как ожидается, и теперь можно удалить архив, созданный перед обновлением.

В этом примере удаляется база данных preupgrade1104_bu:

./listbackups.sh --store relational
Backup_Name                      Status           Backup_Time         Mode
====================================================================================
phase1proj_bu                    BackupComplete   2014-03-08 14:12    manual phase2proj_bu                    BackupComplete   2014-06-21 11:43    manual preupgrade_bu                    BackupComplete   2014-10-04 09:30    manual ds_gdt1oomh-20141103160748082    BackupComplete   2014-11-01 03:00    scheduled
/deletebackup preupgrade1104_bu You are attempting to delete backup 'preupgrade1104_bu'. This operation is irreversible.
Do you wish to continue (Yes or No)?yes
Operation completed successfully