Skip To Content

Способы передачи данных в Amazon Web Services

Развертывание ArcGIS Server или ArcGIS Enterprise на Amazon Web Services (AWS) позволяет вам воспользоваться преимуществами удобства и масштабируемости, которые предоставляет облачная среда для размещения ваших сервисов. Конечные пользователи веб-сервисов обычно не нуждаются во входе в экземпляры в AWS для выполнения работы. Они используют локальные приложения для работы с данными посредством сервисов.

Как администратор развертывания ArcGIS на AWS, вы должны убедиться в том, что издатели смогут создавать сервисы, нужные конечным пользователям.Некоторые сервисы можно опубликовать из локальных или веб-клиентов, копируя данные в любой момент публикации. В ряде случаев, однако, вам может понадобиться передать ГИС-данные по интернету в облачные хранилища. В этом разделе описаны некоторые опции публикации и копирования данных, порядок передачи данных на AWS и места для хранения данных на AWS. Здесь также содержится анализ факторов, влияющих на время передачи данных.

Использование преимуществ веб-интерфейсов

ArcGIS Server Manager и веб-сайт Portal for ArcGIS доступны через веб-браузер. То есть вы можете зайти в эти приложения со своего локального компьютера, не выполняя вход в экземпляры EC2 на AWS.

Вы можете создать файл определения сервиса в своей локальной установке ArcMap, которая включает нужные вам данные сервиса. После того как у вас появится файл, войдите в свой автономный или интегрированный сайт ArcGIS Server на AWS посредством Manager и выполните публикацию из файла определения сервиса.

При развертывании ArcGIS Enterprise на AWS можно войти на веб-сайт портала под пользователем с правами создания ресурсов и публикации размещенных сервисов объектов, загрузки на портал таких данных, как сжатые шейп-файлы и файловые базы геоданных или файлы разделенных запятыми значений (CSV) и публикации размещенных сервисов объектов, которыми вы сможете поделиться с другими пользователями организации портала.

Если вы настроили ArcGIS GeoEvent Server на вашем экземпляре EC2, вы сможете передавать данные в реальном времени. Подробнее см. Справочную системуArcGIS GeoEvent Server.

Репликация данных через сервис геоданных

Вы можете подключиться к сайту ArcGIS Server на AWS из ArcMap, установленном на локальном компьютере, и зарегистрировать и локальную многопользовательскую базу геоданных, и многопользовательскую базу геоданных на AWS, опубликовать сервис геоданных вашей базы геоданных на AWS и реплицировать данные локальной базы геоданных в базу геоданных на AWS посредством этого сервиса. Начиная с 10.6.1, Esri AMI не содержат готовой базы геоданных для данного рабочего процесса.

Инструкции по работе в версии 10.6, см. в Использование сервиса геоданных и подключенной реплики. Инструкции по работе в версиях после 10.6, см. в разделе Советы по настройке сервисов геоданных в Справке ArcGIS Server.

Перемещение данных на AWS

В некоторых случаях вам может понадобиться переместить данные на AWS, а также чтобы издатели вошли на один из экземпляров AWS, созданных вами из Esri AMI и настроенных в ArcGIS Desktop, и чтобы издатели могли создавать и публиковать там данные.Вам потребуется выполнить это в следующих случаях:

  • Вы сохранили свои исходные данные на AWS.
  • Вы переместили набор исходных данных на AWS для публикации, поскольку публикация данных из локальных источников на сайте ArcGIS Server в облаке может быть очень медленной и потому во многих случаях не может быть рекомендована.

Примечание:

Когда вы перезапускаете экземпляры AWS instances, могут измениться имена компьютеров, что может вызвать прекращение работы менеджера лицензий ArcGIS Desktop. Применения такого механизма лицензирования в облаке следует по возможности избегать.

Способы хранения данных на AWS

Есть ряд способов хранения ГИС-данных при необходимости перемещения данных на AWS. Все следующие опции хранения данных в Amazon являются платными, причем стоимость может меняться, что необходимо учитывать, прежде чем сделать окончательный выбор. Сохраните свои данные в той же области AWS, что и ваш сайт ArcGIS Server.

  • EBS – тома Amazon Elastic Block Store (EBS), являющиеся виртуальными дисками, которые можно прикрепить к вашему экземпляру EC2, чтобы увеличить возможный объем хранения данных. Том EBS всегда присоединен, как часть экземпляров, запускаемых вами из Esri Amazon Machine Images (AMIs). Вы можете настроить размер такого подключенного тома при создании сайта. При использовании CloudFormation или ArcGIS Server на данном диске настроены директории ArcGIS Server Cloud Builder on Amazon Web Services, поэтому при публикации сервисов с опцией копирования данных на сайт ArcGIS Server данные будут размещены на этом диске EBS. Вы также можете создавать другие директории для хранения данных на этом диске.

    Читать раздел с обзором дисков EBS в Amazon

  • Amazon S3 – Amazon Simple Storage Service (S3) – сервис Amazon, разработанный специально для хранения данных в облаке. Этот способ хранения имеет наименьший потенциальный риск потери или повреждения данных. Можно использовать S3 для резервного копирования данных, как нечто среднее между локальным развертыванием и дисками EBS или как местоположения файловых данных, регистрируемых вами на сайте ArcGIS Server на AWS.

    Читать раздел с обзором дисков S3 в Amazon

  • Экземпляр EC2 – Существует возможность прямой передачи данных в экземпляр EC2. Однако в случае, если экземпляр прекратит работу, ваши данные с диска C: в Windows или с корневого диска в Linux будут тотчас же потеряны. Экземпляры, созданные из Esri AMI, выделяют сравнительно небольшой объем данных на диске C:, чтобы препятствовать хранению данных на этом диске. Напротив, прикрепленные диски EBS, например, диск D: на экземплярах Windows, сохранятся в случае прекращения работы экземпляра. Поэтому они являются более надежным способом хранения данных.
    Внимание:

    Не храните ГИС-данные или кэш карт на диске C: или корневом диске вашего экземпляра EC2 в рабочей конфигурации при размещении в боевой среде.

Опции передачи данных в облако

Передача локально размещенных данных в облако занимает длительное время и иногда требует от вас координации действий с вашим персоналом по IT-безопасности. Экспорт данных в местоположение в сети Интернет (другими словами, в облако) обычно происходит не так быстро и безопасно, как обычная передача данных по локальной сети.

Есть ряд способов, которые можно использовать для передачи данных в облако, но если вы работаете с конфиденциальными данными, вам нужно скоординировать свои действия с вашим персоналом по IT-безопасности, чтобы удостовериться в безопасности применяемого вами метода, и в том, что он одобрен вашей организацией. Вот эти опции:

  • Копировать данные при публикации сервиса – При публикации вами сервиса можно скопировать данные этого сервиса на сайт ArcGIS Server. Данные упаковываются в файл определения сервиса (.sd), который переносится в каталог загрузок сайта ArcGIS Server, а затем распаковывается в каталоге входных данных ArcGIS Server или, при публикации сервисов объектов, данные размещаются в базе данных, управляемой сайтом GIS Server. Имейте в виду, что это может занять много времени и привести к передаче больших объемов данных, если вы не ограничите экстенты и наборы данных, используемые для вашей карты или другого ресурса.

    Эта опция не допускает совместного использования данных несколькими сервисами, а также синхронизации данных между облаком и вашей локальной средой.

  • Копирование и вставка с использованием подключения к удаленному рабочему столу – подключение к удаленному рабочему столу поддерживает перенаправления файловой системы, когда ваши локальные диски могут использоваться на удаленном компьютере. Войдя в свой экземпляр EC2 в Windows через удаленный рабочий стол, вы можете открыть Проводник Windows и скопировать данные с ваших локальных дисков на диски EBS.

    Чтобы включить перенаправление файловой системы, перейдите в окне Подключение к удаленному рабочему столу на вкладку Локальные ресурсы и выберите опцию, чтобы сделать ваши диски доступными. Названия опций и меню может несколько меняться в зависимости от используемой вами версии Windows.

    Если вам нужно передавать конфиденциальные данные с помощью подключения к удаленному рабочему столу, убедитесь в наличии дополнительных уровней безопасности. Предыдущие версии подключения к удаленному рабочему столу были с точки зрения безопасности уязвимы, в том смысле, что компьютер под видом сервера мог получить доступ к вашим данным (так называемое «нападение человека посередине»).

    Примечание:

    Копирование и вставка занимает некоторое время при передаче данных. Не копируйте новые файлы, пока не закончится процедура вставки. Иначе процедура вставки будет прекращена, и вам придется осуществлять ее заново.

  • Утилиты клиента S3 – Amazon S3 может использоваться в качестве варианта перемещения размещенных локально данных в тома EBS. Для передачи данных в S3 можно воспользоваться консолью управления AWS либо одним из многочисленных приложений сторонних разработчиков, предназначенных для простого перемещения файлов между S3 и собственными компьютерами. Когда ваши данные находятся в S3, можно воспользоваться той же утилитой на экземпляре EC2 для перемещения данных S3 в экземпляр. Либо можно загрузить файловые данные на S3 и зарегистрировать контейнер S3 на сайте ArcGIS Server на AWS.
  • Ваш собственный веб-сервер – любые данные, доступные в сети по протоколу HTTP, подходят для вашего экземпляра EC2. Если в вашей организации есть веб-сервер, можно разместить на нем данные, а затем загрузить данные из экземпляра EC2. Преимущество этого подхода заключается в том, что вы можете настроить параметры безопасности на веб-сервере, чтобы ограничить круг лиц, которые смогут скачивать данные, а также зашифровать транзакции через SSL.
  • FTP – вы можете включить протокол передачи файлов (FTP), чтобы загрузить файлы непосредственно на экземпляр EC2. Помните, что стандарт FTP не поддерживает шифрование информации и посылает пароли в открытом виде. Для безопасного использования FTP вам придется принять дополнительные меры безопасности, такие как шифрование сессии FTP с помощью SSL, ограничение круга пользователей, которые смогут передавать данные на ваш экземпляр посредством FTP, а также отключение FTP после передачи данных. Есть ряд сторонних продуктов, поддерживающих настройку безопасных FTP-соединений.
  • Импорт/Экспорт AWS – если вам необходимо передать большое количество данных в среду Amazon, может быть быстрее и выгоднее отправить данные в Amazon на портативном носителе и заплатить Amazon для загрузки данных в среду S3. Amazon предоставляет такую возможность в виде сервиса Import/Export AWS.

    Прежде, чем решить использовать Import/Export AWS, определитесь, подходит ли такой способ для вашей организации с точки зрения конфиденциальности. Ведь при отправке устройства по почте вы рискуете, хоть и не слишком сильно, тем, что ваши данные будут физически уничтожены или перехвачены. Вы можете уменьшить эти риски за счет резервного копирования и шифрования данных. Если вы все еще не уверены в том, что сервис Import/Export AWS является подходящим вариантом для ваших данных, свяжитесь с Amazon.

Amazon работает со многими поставщиками решений, обеспечивающими передачу, хранение данных и безопасность используемых решений. См. раздел справочной системы AWS Поиск поставщиков AWS, чтобы определить, какая из этих организации может помочь вам с поиском подходящей стратегии использовании облачных данных. Esri – один из поставщиков, предлагающих услуги проектирования и внедрения для развертывания ArcGIS в облаке Amazon.

Факторы, влияющие на длительность передачи данных

Скорость различных видов передачи данных, описанных выше, различается в зависимости от физической близости облаков Amazon, времени суток и качества вашего Интернет-соединения.

Наборы данных ГИС, особенно растровые изображения и кэш карт, могут занимать много места и должны быть упакованы для передачи – в целях уменьшения либо размера файла, либо общего числа файлов для более эффективного переноса данных (особенно в случае с кэш карт). Некоторые утилиты S3-клиента могут устанавливать ограничения на размер переносимого файла или число файлов, которое можно хранить. Кроме того, некоторые архиваторы имеют ограничения на объем упаковываемых данных. При передаче данных необходимо принять во внимание время архивирования и дополнительные затраты.

Наконец, при использовании S3 необходимо знать об ограничениях количества сегментов, которое вы можете создавать, и других ограничениях сегментов S3. Amazon перечисляет такие ограничения в разделе Bucket Restrictions and Limitations.

Поддержание целостности путей к данным

Каждый раз при перемещении данных на новое место вы должны знать все варианты хранения ссылок на данные, которые, возможно, придется обновить. Это актуально для документов карты, ссылающихся на множество слоев данных, расположенных в различных местах.

Регистрация местоположения ваших данных в среде Amazon EC2 с помощью сайта ArcGIS Server поможет вам упростить решение проблемы восстановления потерянных путей к данным после регистрации. Для получения подробной информации см. раздел Регистрация ваших данных в ArcGIS Server с помощью Manager, который находится в справочной системе ArcGIS Server.

Другим способом избавления от необходимости исправления подключений к данным является использование в ваших документах карт относительных путей и хранение карт и данных в одной папке.