Skip To Content

Стратегии переноса данных в Amazon Web Services

Развертывание ArcGIS Enterprise на Amazon Web Services (AWS) позволяет вам воспользоваться преимуществами удобства и масштабируемости, которые предоставляет облачная среда для размещения ваших веб-сервисов. Конечные пользователи могут использовать эти веб-сервисы в приложениях на своих локальных устройствах или в других приложениях в облаке.

Как администратор развертывания ArcGIS на AWS, вы должны убедиться в том, что публикаторы смогут создавать сервисы, нужные конечным пользователям. Некоторые сервисы можно опубликовать из локальных или веб-клиентов, копируя данные в любой момент публикации. В большинстве случаев, однако, вам может понадобиться передать ГИС-данные по интернету в облачные хранилища. На этой странице перечислены некоторые опции публикации и копирования данных, порядок передачи данных на AWS и места для хранения данных на AWS. Здесь также содержится анализ факторов, влияющих на время передачи данных.

Использование преимуществ веб-интерфейсов

ArcGIS Server Manager и портал ArcGIS Enterprise доступны через веб-браузер. То есть вы можете зайти в эти приложения со своего локального компьютера, не выполняя вход в экземпляры Amazon Elastic Compute Cloud (EC2) на AWS.

Вы можете создать файл определения сервиса в своей локальной установке ArcGIS Pro, которая включает нужные вам данные сервиса. После получения файла, войдите на автономный или интегрированный сайт ArcGIS Server на AWS посредством Server Manager и выполните публикацию из файла определения сервиса.

При развертывании ArcGIS Enterprise на AWS можно войти на веб-сайт портала под учетной записью пользователя с правами создания ресурсов и публикации размещенных векторных слоев, загрузки на портал таких данных, как сжатые шейп-файлы и файловые базы геоданных или файлы разделенных запятыми значений (CSV) и публикации размещенных векторных слоев, которыми вы сможете поделиться с другими пользователями организации.

Если вы настроили ArcGIS GeoEvent Server на своем экземпляре EC2, вы можете транслировать потоки данных в реальном времени. Дополнительные сведения см. в Справке ArcGIS GeoEvent Server.

Репликация данных через сервис геоданных

Вы можете подключиться к сайту ArcGIS Server на AWS, установленном на локальном компьютере ArcMap, и зарегистрировать и локальную многопользовательскую базу геоданных, и многопользовательскую базу геоданных на AWS, опубликовать сервис геоданных вашей базы геоданных на AWS и реплицировать данные локальной базы геоданных в базу геоданных на AWS посредством этого сервиса.

Дополнительные сведения см. в разделе Предложения по настройке сервисов геоданных в справке ArcGIS Server.

Перемещение данных в AWS

В некоторых случаях вам может понадобиться переместить данные на AWS, а также чтобы публикаторы вошли на один из экземпляров AWS, созданных вами и включающих лицензионную копию ArcGIS Pro, и чтобы публикаторы могли создавать и публиковать там данные. Вам потребуется выполнить это в следующих случаях:

  • Вы сохранили свои исходные данные на AWS.
  • Вы переместили набор исходных данных на AWS для публикации, поскольку публикация данных из локальных источников на сайте ArcGIS Server в облаке может быть очень медленной и потому во многих случаях не может быть рекомендована.

Места для хранения данных на AWS

Есть несколько способов хранения ГИС данных в AWS. Все следующие опции в Amazon являются платными, причем стоимость может меняться, что необходимо учитывать, прежде чем сделать окончательный выбор. Сохраните свои данные в той же области в AWS, что и ваш сайт ArcGIS Server и установка ArcGIS Pro.

  • Тома Amazon Elastic Block Store (EBS) – тома EBS, являющиеся виртуальными дисками, которые можно прикрепить к вашему экземпляру EC2 чтобы увеличить возможный объем хранения данных. Экземпляры, запускаемые с помощью инструментов развертывания ArcGIS Enterprise on Amazon Web Services, содержат корневой том. Вы можете добавить свой заранее заданный том EBS с помощью AWS Management Console. Тома могут содержать файлы источников данных, такие как файловые базы геоданных, и здесь вы можете хранить кэши карт и изображений.

    Изучите обзор EBS в документации AWS.

  • Amazon Simple Storage Service (S3)Amazon S3 сервис Amazon, разработанный специально для хранения данных в облаке. Этот способ хранения имеет наименьший потенциальный риск потери или повреждения данных. Можно использовать S3 для резервного копирования данных, как нечто среднее между локальным развертыванием и дисками EBS или как местоположения файловых данных, регистрируемых вами на сайте ArcGIS Server на AWS.

    Изучите обзор S3 в документации AWS.

  • Экземпляр EC2 - можно переносить данные прямо в корневой диск вашего экземпляра EC2.
  • Сервис баз данных - при использовании инструментов развертывания ArcGIS Enterprise on Amazon Web Services вы можете включить многопользовательскую базу геоданных, хранящуюся в Amazon Relational Database Service (RDS). Вы можете загружать данные в эти базы геоданных или создавать в них ресурсы для использования в качестве исходных данных для ваших веб-сервисов. Для получения более подробной информации см. Базы геоданных в Amazon Web Services.
  • ArcGIS Data Store - Одним из компонентов развертывания ArcGIS Enterprise является ArcGIS Data Store, который хранит данные, используемые различными размещенными векторными слоями. Когда вы развертываете ArcGIS Enterprise в AWS и публикуете размещенные веб-слои, данные можно копировать в одно из хранилищ данных, созданных с помощью ArcGIS Data Store. Дополнительную информацию см. в разделе Что такое ArcGIS Data Store.

Опции передачи данных в облако

Перенос локально размещенных данных в облако занимает длительное время и иногда требует от вас координации действий с вашим персоналом по IT-безопасности. Экспорт данных в местоположение в облаке обычно происходит не так быстро и безопасно, как обычная передача данных по локальной сети.

Есть ряд способов, которые можно использовать для передачи данных в облако, но если вы работаете с конфиденциальными данными, вам нужно скоординировать свои действия с вашим персоналом по IT-безопасности, чтобы удостовериться в безопасности применяемого вами метода, и в том, что он одобрен вашей организацией. Есть следующие варианты:

  • Копирование данных при публикации сервиса.

    При публикации сервиса можно скопировать данные для этого сервиса на сайт ArcGIS Server или ArcGIS Data Store. В зависимости от типа опубликованного вами сервиса, данные упаковываются в файл определения сервиса (.sd), передаются в директорию загрузок сайта ArcGIS Server и распаковываются во входную директорию ArcGIS Server или данные копируются в один из типов ArcGIS Data Store, которые есть в вашем развертывании. Имейте в виду, что это может занять много времени и привести к передаче больших объемов данных, если вы не ограничите экстенты и наборы данных, используемые для вашей карты или другого ресурса.

    Эта опция не допускает совместного использования данных несколькими сервисами, а также синхронизации данных между облаком и вашей локальной средой.

  • Создание многопользовательской базы геоданных в AWS и ее регистрация в качестве управляемой базы данных для автономного или интегрированного сайта ArcGIS Server.

    При публикации сервисов объектов на сайте ArcGIS Server данные копируются в управляемую базу данных.

    Как и в предыдущем случае, эта опция не допускает совместного использования данных несколькими сервисами, а также синхронизации данных между облаком и вашей локальной средой.

    Для получения дополнительной информации о заполнении базы геоданных на AWS, см. Подходы к загрузке данных в базу геоданных на Amazon Web Services.

  • Использование Подключения к удаленному рабочему столу и последующее копирование и вставка данных.

    Подключение Microsoft Windows к удаленному рабочему столу поддерживает перенаправления файловой системы, когда ваши локальные диски могут использоваться на удаленном компьютере. Войдя в свой экземпляр EC2 в Windows через удаленный рабочий стол, вы можете открыть Проводник Windows и скопировать данные с ваших локальных дисков на диски EBS.

    Если вам нужно передавать конфиденциальные данные с помощью подключения к удаленному рабочему столу, убедитесь в наличии дополнительных уровней безопасности. Предыдущие версии подключения к удаленному рабочему столу были с точки зрения безопасности уязвимы, в том смысле, что компьютер под видом сервера мог получить доступ к вашим данным (так называемое «нападение человека посередине»).

    Примечание:

    Копирование и вставка занимает некоторое время при передаче данных. Не копируйте новые файлы, пока не закончится процедура вставки. Иначе процедура вставки будет прекращена, и вам придется осуществлять ее заново.

  • Использование утилит клиента S3.

    Amazon S3 может использоваться в качестве варианта перемещения размещенных локально данных в тома EBS. Для передачи данных в S3 можно воспользоваться AWS Management Console либо одним из многочисленных приложений сторонних разработчиков, предназначенных для простого перемещения файлов между S3 и своими компьютерами. Если ваши данные находятся в S3, можно воспользоваться той же утилитой на экземпляре EC2 для перемещения данных из S3 в экземпляр.

  • Доступ к данным вашего веб-сервера.

    Любые данные, доступные в сети по протоколу HTTP, подходят для вашего экземпляра EC2. Если в вашей организации есть веб-сервер, можно разместить на нем данные, а затем загрузить данные из экземпляра EC2. Преимущество этого подхода заключается в том, что вы можете настроить параметры безопасности на веб-сервере, чтобы ограничить круг лиц, которые смогут скачивать данные, а также зашифровать транзакции через SSL.

  • Включение HTTPS.

    Вы можете включить протокол передачи файлов (FTP), чтобы загрузить файлы непосредственно на экземпляр EC2. Помните, что стандарт FTP не поддерживает шифрование информации и посылает пароли в открытом виде. Для безопасного использования FTP вам придется принять дополнительные меры безопасности, такие как шифрование сессии FTP с помощью SSL, ограничение круга пользователей, которые смогут передавать данные на ваш экземпляр посредством FTP, а также отключение FTP после передачи данных. Есть ряд сторонних продуктов, поддерживающих настройку безопасных FTP-соединений.

  • Использование инструментов AWS.

    Если вам нужно передать огромный объем данных в AWS, может быть быстрее или экономичнее отправить данные в Amazon на портативном носителе и заплатить Amazon за загрузку данных непосредственно в S3. Amazon предлагает эту услугу как AWS Snowball.

Amazon работает со многими поставщиками решений, обеспечивающими передачу, хранение данных и безопасность используемых решений. См. раздел Поиск партнерских решений AWS, чтобы определить, какая из этих компаний может вам в реализации вашей облачной стратегии. Esri является таким поставщиком и предлагает различные сервисы по проектам и внедрению для развертывания ArcGIS в облаке Amazon.

Факторы, влияющие на длительность передачи данных

Скорость различных видов передачи данных, описанных выше, различается в зависимости от физической близости к региону AWS, времени суток и качества вашего Интернет-соединения.

Если клиент, источник данных и ArcGIS Enterprise не развернуты в одном местоположении, скорее всего, вы испытаете снижение производительности при передаче данных между локальным компонентом и облаком.

Наборы данных ГИС, особенно растровые изображения и кэш карт, могут занимать много места и должны быть упакованы для передачи – в целях уменьшения либо размера файла, либо общего числа файлов для более эффективного переноса данных (особенно в случае с кэш карт). Некоторые утилиты клиента S3 могут устанавливать ограничения на размер переносимого файла или число файлов, которое можно хранить. Кроме того, некоторые архиваторы имеют ограничения на объем упаковываемых данных. При передаче данных необходимо принять во внимание время архивирования и дополнительные затраты.

Наконец, при использовании S3 необходимо знать об ограничениях количества бакетов, которое вы можете создавать, и других ограничениях бакетов S3. Amazon перечисляет такие ограничения в разделе Ограничения бакетов.

Поддержание целостности путей к данным

Каждый раз при перемещении данных на новое место вы должны знать все варианты хранения ссылок на данные, которые, возможно, придется обновить. Это актуально для документов карты, ссылающихся на множество слоев данных, расположенных в различных местах.

Регистрация местоположения данных Amazon Elastic Compute Cloud на вашем сайте ArcGIS Server может помочь уменьшить усилия по исправлению поврежденных путей к данным после публикации. Для получения подробной информации см. раздел Регистрация ваших данных в ArcGIS Server с помощью Server Manager, который находится в справочной системе ArcGIS Server.

Другим способом избавления от необходимости исправления подключений к данным является использование в ваших документах карт относительных путей и хранение карт и данных в одной папке.