Skip To Content

Стратегии переноса данных в Amazon Web Services

Развертывание ArcGIS Server или ArcGIS Enterprise на Amazon Web Services (AWS) позволяет вам воспользоваться преимуществами удобства и масштабируемости, которые предоставляет облачная среда для размещения ваших веб-сервисов. Конечные пользователи веб-сервисов обычно не нуждаются во входе в экземпляры в AWS для выполнения работы. Они используют локальные приложения для работы с данными посредством сервисов.

Как администратор развертывания ArcGIS на AWS, вы должны убедиться в том, что публикаторы смогут создавать сервисы, нужные конечным пользователям. Некоторые сервисы можно опубликовать из локальных или веб-клиентов, копируя данные в любой момент публикации. В ряде случаев, однако, вам может понадобиться передать ГИС-данные по интернету в облачные хранилища. В этом разделе описаны некоторые опции публикации и копирования данных, порядок передачи данных на AWS и места для хранения данных на AWS. Здесь также содержится анализ факторов, влияющих на время передачи данных.

Использование преимуществ веб-интерфейсов

ArcGIS Server Manager и портал ArcGIS Enterprise доступны через веб-браузер. То есть вы можете зайти в эти приложения со своего локального компьютера, не выполняя вход в экземпляры Amazon Elastic Compute Cloud (EC2) на AWS.

Вы можете создать файл определения сервиса в своей локальной установке ArcMap, которая включает нужные вам данные сервиса. После того как у вас появится файл, войдите в свой автономный или интегрированный сайт ArcGIS Server на AWS посредством Manager и выполните публикацию из файла определения сервиса.

При развертывании ArcGIS Enterprise на AWS можно войти на веб-сайт портала под пользователем с правами создания ресурсов и публикации размещенных сервисов объектов, загрузки на портал таких данных, как сжатые шейп-файлы и файловые базы геоданных или файлы разделенных запятыми значений (CSV) и публикации размещенных сервисов объектов, которыми вы сможете поделиться с другими пользователями организации портала.

Если вы настроили ArcGIS GeoEvent Server на вашем экземпляре EC2, вы сможете передавать данные в реальном времени. Подробнее см. Справочную системуArcGIS GeoEvent Server.

Репликация данных через сервис геоданных

Вы можете подключиться к сайту ArcGIS Server на AWS изArcMap, установленном на локальном компьютере, и зарегистрировать и локальную многопользовательскую базу геоданных, и многопользовательскую базу геоданных на AWS, опубликовать сервис геоданных вашей базы геоданных на AWS и реплицировать данные локальной базы геоданных в базу геоданных на AWS посредством этого сервиса.

Дополнительные сведения см. в разделе Предложения по настройке сервисов геоданных в справке ArcGIS Server.

Перемещение данных в AWS

В некоторых случаях вам может понадобиться переместить данные на AWS, а также чтобы публикаторы вошли на один из экземпляров AWS, созданных вами из образа компьютера Amazon от Esri и включающих лицензионную копию ArcGIS Pro, и чтобы публикаторы могли создавать и публиковать там данные. Вам потребуется выполнить это в следующих случаях:

  • Вы сохранили свои исходные данные на AWS.
  • Вы переместили набор исходных данных на AWS для публикации, поскольку публикация данных из локальных источников на сайте ArcGIS Server в облаке может быть очень медленной и потому во многих случаях не может быть рекомендована.

Места для хранения данных на AWS

Есть несколько мест для хранения ГИС-данных при необходимости перемещения данных на AWS. Все следующие опции Amazon в являются платными, причем стоимость может меняться, что необходимо учитывать, прежде чем сделать окончательный выбор. Сохраните свои данные в той же области AWS, что и ваш сайт ArcGIS Server.

  • Amazon EBS – тома Elastic Block Store (EBS), являющиеся виртуальными дисками, которые можно прикрепить к вашему экземпляру EC2 чтобы увеличить возможный объем хранения данных. Экземпляры, запускаемые из Esri AMI, содержат корневой том. Вы можете добавить свой, заранее заданный том EBS в AWS Management Console.

    Изучите обзор EBS в документации AWS.

  • Amazon Simple Storage Service (S3)Amazon S3 сервис Amazon, разработанный специально для хранения данных в облаке. Этот способ хранения имеет наименьший потенциальный риск потери или повреждения данных. Можно использовать S3 для резервного копирования данных, как нечто среднее между локальным развертыванием и дисками EBS или как местоположения файловых данных, регистрируемых вами на сайте ArcGIS Server на AWS.

    Изучите обзор S3 в документации AWS.

  • Экземпляр EC2 - можно переносить данные прямо в корневой диск вашего экземпляра EC2.

Опции передачи данных в облако

Перенос локально размещенных данных в облако занимает длительное время и иногда требует от вас координации действий с вашим персоналом по IT-безопасности. Экспорт данных в местоположение в облаке обычно происходит не так быстро и безопасно, как обычная передача данных по локальной сети.

Есть ряд способов, которые можно использовать для передачи данных в облако, но если вы работаете с конфиденциальными данными, вам нужно скоординировать свои действия с вашим персоналом по IT-безопасности, чтобы удостовериться в безопасности применяемого вами метода, и в том, что он одобрен вашей организацией. Есть следующие варианты:

  • Копирование данных при публикации сервиса.

    При публикации сервиса можно скопировать данные для этого сервиса на сайт ArcGIS Server. Данные упаковываются в файл определения сервиса (.sd), передаются в директорию загрузок ArcGIS Server и распаковываются во входную директорию ArcGIS Server. Имейте в виду, что это может занять много времени и привести к передаче больших объемов данных, если вы не ограничите экстенты и наборы данных, используемые для вашей карты или другого ресурса.

    Эта опция не допускает совместного использования данных несколькими сервисами, а также синхронизации данных между облаком и вашей локальной средой.

  • Создание базы геоданных в AWS и ее регистрация в качестве управляемой базы данных для автономного или интегрированного сайта ArcGIS Server.

    При публикации сервисов объектов на сайте ArcGIS Server данные копируются в управляемую базу данных.

    Как и в предыдущем случае, эта опция не допускает совместного использования данных несколькими сервисами, а также синхронизации данных между облаком и вашей локальной средой.

  • Использование Подключения к удаленному рабочему столу и последующее копирование и вставка данных.

    Подключение к удаленному рабочему столу Microsoft Windows поддерживает перенаправления файловой системы, когда ваши локальные диски могут использоваться на удаленном компьютере. Войдя в свой экземпляр EC2 в Windows через удаленный рабочий стол, вы можете открыть Проводник Windows и скопировать данные с ваших локальных дисков на диски EBS.

    Если вам нужно передавать конфиденциальные данные с помощью подключения к удаленному рабочему столу, убедитесь в наличии дополнительных уровней безопасности. Предыдущие версии подключения к удаленному рабочему столу были с точки зрения безопасности уязвимы, в том смысле, что компьютер под видом сервера мог получить доступ к вашим данным (так называемое «нападение человека посередине»).

    Примечание:

    Копирование и вставка занимает некоторое время при передаче данных. Не копируйте новые файлы, пока не закончится процедура вставки. Иначе процедура вставки будет прекращена, и вам придется осуществлять ее заново.

  • Использование утилит клиента S3.

    Amazon S3 может использоваться в качестве варианта перемещения размещенных локально данных в тома EBS. Для передачи данных в S3 можно воспользоваться AWS Management Console либо одним из многочисленных приложений сторонних разработчиков, предназначенных для простого перемещения файлов между S3 и своими компьютерами. Если ваши данные находятся в S3, можно воспользоваться той же утилитой на экземпляре EC2 для перемещения данных из S3 в экземпляр.

  • Доступ к данным вашего веб-сервера.

    Любые данные, доступные в сети по протоколу HTTP, подходят для вашего экземпляра EC2. Если в вашей организации есть веб-сервер, можно разместить на нем данные, а затем загрузить данные из экземпляра EC2. Преимущество этого подхода заключается в том, что вы можете настроить параметры безопасности на веб-сервере, чтобы ограничить круг лиц, которые смогут скачивать данные, а также зашифровать транзакции через SSL.

  • Включение HTTPS.

    Вы можете включить протокол передачи файлов (FTP), чтобы загрузить файлы непосредственно на экземпляр EC2. Помните, что стандарт FTP не поддерживает шифрование информации и посылает пароли в открытом виде. Для безопасного использования FTP вам придется принять дополнительные меры безопасности, такие как шифрование сессии FTP с помощью SSL, ограничение круга пользователей, которые смогут передавать данные на ваш экземпляр посредством FTP, а также отключение FTP после передачи данных. Есть ряд сторонних продуктов, поддерживающих настройку безопасных FTP-соединений.

  • Использование инструментов AWS.

    Если вам необходимо передать большое количество данных в среду Amazon, может быть быстрее и выгоднее отправить данные в Amazon на портативном носителе и заплатить Amazon для загрузки данных в среду S3.Amazon Предоставляет этот сервис, как AWS Snowball.

Amazon Работает со многими поставщиками решений, обеспечивающими передачу, хранение данных и безопасность используемых решений. См. раздел справочной системы Поиск поставщиков AWS, чтобы определить, какая из этих организации может помочь вам с поиском подходящей стратегии использования облачных данных. Esri – один из поставщиков, предлагающих услуги проектирования и внедрения для развертывания ArcGIS в облаке Amazon.

Факторы, влияющие на длительность передачи данных

Скорость различных видов передачи данных, описанных выше, различается в зависимости от физической близости к региону AWS, времени суток и качества вашего Интернет-соединения.

Наборы данных ГИС, особенно растровые изображения и кэш карт, могут занимать много места и должны быть упакованы для передачи – в целях уменьшения либо размера файла, либо общего числа файлов для более эффективного переноса данных (особенно в случае с кэш карт). Некоторые утилиты S3-клиента могут устанавливать ограничения на размер переносимого файла или число файлов, которое можно хранить. Кроме того, некоторые архиваторы имеют ограничения на объем упаковываемых данных. При передаче данных необходимо принять во внимание время архивирования и дополнительные затраты.

Наконец, при использовании S3 необходимо знать об ограничениях количества сегментов, которое вы можете создавать, и других ограничениях сегментов S3.Amazon перечисляет такие ограничения в разделе Ограничения сегментов.

Поддержание целостности путей к данным

Каждый раз при перемещении данных на новое место вы должны знать все варианты хранения ссылок на данные, которые, возможно, придется обновить. Это актуально для документов карты, ссылающихся на множество слоев данных, расположенных в различных местах.

Регистрация местоположения ваших данных в среде Amazon Elastic Compute Cloud с помощью сайта ArcGIS Server поможет вам упростить решение проблемы восстановления потерянных путей к данным после публикации. Для получения подробной информации см. раздел Регистрация ваших данных в ArcGIS Server с помощью Server Manager, который находится в справочной системе ArcGIS Server.

Другим способом избавления от необходимости исправления подключений к данным является использование в ваших документах карт относительных путей и хранение карт и данных в одной папке.