Хранение и управление данными является важнейшей частью вашего развертывания ArcGIS Enterprise. От этого зависит способ доступа, управления, распределения и редактирования данных организации, кроме того это обеспечивает базу для работы с данными. ArcGIS Enterprise позволяет хранить исходные данные для веб-сервисов и слоев в управляемых пользователем местоположениях хранения данных, или в хранилищах, управляемых ArcGIS.
Управляемые пользователем местоположения хранения данных - это источники данных, которые могут управляться вами или другими пользователями организации, например, база данных, папка или облачное хранилище. Напротив, при использовании хранилищ данных, управляемых ArcGIS, таких как ArcGIS Data Store, вы не влияете и не обращаетесь к их исходным базам данных. В развертывании с одним ArcGIS Enterprise, вы скорее всего будете использовать оба типа хранилищ; вам не нужно выбирать одно из них.
Подсказка:
Дополнительные сведения об этих терминах и принципах см. в технической документации Данные в ArcGIS: под управлением пользователей и ArcGIS.
Когда вы публикуете веб-карту, слой или сервис на ArcGIS Enterprise, вы определяете способ управления данными. На первом шаге этого процесса необходимо решить, будете ли вы копировать данные или зарегистрируете их на одном (или нескольких) из интегрированных серверов, из которых состоит ваш портал ArcGIS Enterprise.
Регистрация или копирование данных
Когда вы публикуете из ArcGIS Pro, вы определяете расположение данных, использующихся веб-слоями. Для большинства источников данных вы можете либо зарегистрировать свой источник данных - в этом случае веб-слои имеют доступ к данным в источнике данных, - либо заставить ArcGIS скопировать данные в место, управляемое ArcGIS, которое может быть ArcGIS Data Store, интегрированным сервером или хостинг-сервер. Если вашим источником данных является облачное хранилище данных, вы всегда регистрируете источник данных, но вы можете создать моментальный снимок данных при публикации. Это создает копию подмножества данных, включенных в слой запроса, который обращается к облачному хранилищу данных, и помещает его в реляционное хранилище данных ArcGIS Data Store для доступа веб-сервиса. Вы можете обновить содержание этого снимка на странице элемента веб-слоя на портале. При этом данные в реляционном хранилище данных перезаписываются данными из зарегистрированного источника данных.
Вы также можете добавлять файлы в организацию для публикации их на портале ArcGIS Enterprise. В этом случае данные всегда будут копироваться в одно из хранилищ данных, предоставляемых через ArcGIS Data Store или хост-сервер, в зависимости от типа публикуемого слоя.
Примечание:
Хостинг-сервер - это интегрированный сайт ArcGIS Server, который администратор организации назначил для запуска сервисов, которые используют большинство размещенных веб-слоев. Этот сайт может запускать другие сервисы, но его целью является запуск размещённых сервисов. В одной организации ArcGIS Enterprise может быть только один хост-сервер.
Регистрация хранилищ данных
Когда вы добавляете управляемое пользователем хранилище данных и публикуете веб-слои, веб-слои ссылаются на данные в источнике данных. Если данные в зарегистрированном источнике данных изменятся, вы увидите эти изменения в веб-слое. Единственное исключение из этого правила - создание моментального снимка данных, опубликованных из облачного хранилища данных.
Регистрация данных рекомендуется или требуется в следующих случаях:
- У вас есть несколько клиентов, получающих доступ и обновляющих исходные данные.
Если у вас есть приложения, непосредственно редактирующие исходные данные, приложения, редактирующие исходные данные через сервисы, или процессы конвертации, или ETL, которые загружают данные контракторов в ваш источник, опубликуйте карты или векторные слои, которые ссылаются на источник данных. Таким образом, пользователи, использующие слои, смогут видеть изменения данных по мере их появления в источнике.
- У вас есть версионные данные из многопользовательской базы геоданных.
Если вы публикуете из карты, содержащей данные многопользовательской базы геоданных и копируете данные, скопированные данные больше не участвуют в версии. Изменения, внесенные в опубликованный векторный слой, не работают с функциями многопользовательского редактирования.
- Вы используете данные с включенным архивированием из многопользовательской базы геоданных.
Владельцы данных включают архивирование, чтобы вы могли видеть изменения данных со временем. Если вы копируете данные из источника при публикации векторного слоя, это больше не часть архива и вы не можете видеть изменения, которые внесены в данные после копирования.
- У вас есть большие классы объектов или классы объектов со сложной геометрией.
Чем больше число пространственных объектов и сложнее их форма, тем больше времени требуется для копирования данных. Примеры сложной формы – полигоны или линии с тысячами вершин, например береговые линии или извилистые реки.
- Вы публикуете данные изображений.
Изображения обычно занимают много места, а копирование данных с машины на машину может занять много времени. Из-за их потенциального размера, файлы изображений, на которые ссылаются наборы данных мозаики, никогда не копируются, даже если вы решили копировать данные при публикации.
- Чтобы сэкономить ресурсы на хост-сервере, вы создали кэши растровых листов, векторных листов или сцен для хранения в папках или облачных хранилищах данных, которыми вы управляете, и вы опубликуете один из следующих элементов для ссылки на соответствующий кэш: слой листов, слой векторных листов или слой сцены.
- Вы работаете с типами данных или файлов, которые могут быть опубликованы только из зарегистрированного источника данных.
Если вы публикуете следующие типы данных из ArcGIS Pro, необходимо зарегистрировать источник данных на сайте ArcGIS Server и опубликовать данные на нем:
- Инженерные сети
- Скрипты или модели геообработки
- Динамические карты
- Базы геоданных
- Потоковые данные (требуется сайт ArcGIS GeoEvent Server)
- KML
- Вам не нужно, чтобы ArcGIS очищал данные при удалении веб-слоя.
Данные, скопированные на ArcGIS Enterprise, автоматически удаляются системой при удалении сервиса или элемента портала, связанного с этими данными. Если пользователи работают с данными только через веб-слой (другими словами, веб-слой сам является данными), желательно, чтобы веб-слой удалялся одновременно. Однако если сервис или элемент портала является единственным способом доступа к данным, необходимо, чтобы данные оставались в источнике. В этом случае зарегистрируйте источник данных на интегрированном сервере и опубликуйте их.
Подсказка:
Если при публикации векторного слоя вы скопируете эти данные, а позже решите их сохранить, экспортируйте данные из размещенного векторного слоя на портале, переместите данные в базу данных или многопользовательскую базу геоданных, зарегистрированную на ArcGIS Server, а затем опубликуйте.
- Ваше соединение с базой данных ссылается на облачное хранилище данных.
Сведения о регистрации данных см. в разделе Как регистрировать данные на ArcGIS Server.
Копирование данных
Копирование данных напоминает создание снимка данных источника на момент публикации. В отличие от элементов, созданных по зарегистрированным данным, элементы, созданные по копии данных, не получают динамических обновлений из источника данных при их изменении. Если вам не требуется веб-слой для доступа к данным источника, копирование данных при публикации является подходящим способом.
В следующих случаях копирование данных может оказаться предпочтительнее:
- Вы загружаете файл на портал и хотите опубликовать его с портала.
- Пользователям, находящимся за пределами вашего брандмауэра, необходим доступ к данным.
- Вы и другие пользователи будут использовать данные только через веб-слой.
- Вы используете приложение или функцию, которым требуется хранение данных в ArcGIS Data Store.
- Вы работаете с типом данных, которым требуется копия данных при публикации.
При публикации 3D-данных мультипатч или векторных листов из ArcGIS Pro необходимо скопировать данные кэша. Однако, хотя кэш мультипатч и кэш векторных листов всегда копируются, у вас есть возможность оставить связанные векторные данные в зарегистрированном хранилище данных или скопировать его.
- Вы публикуете данные из облачного хранилища данных, но ваш портал ArcGIS Enterprise не находится в облаке. В этом случае создание моментального снимка данных может повысить производительность при запросе веб-слоя.
Скопированные данные могут управляться пользователем или ArcGIS.
Данные, управляемые ArcGIS
Данные, управляемые ArcGIS, являются данными, размещенными на портале ArcGIS Enterprise. Сервисы, созданные из размещенных данных, находятся на хост-сервере* портала, а данные всегда хранятся в ArcGIS Data Store или на хост-сервере.
* Сервисы графа знаний, которые создают пользователи в ArcGIS Pro, работают на сайте портала ArcGIS Knowledge Server, а не на сервере хостинга.
Многие рабочие процессы и последующие за ними операции в ArcGIS Enterprise зависят от возможности создания размещенных слоев. Размещенные слои создаются не только при загрузке набора данных и его публикации как нового слоя. Размещенные слои также создаются как выходные данные многих операций в ArcGIS Enterprise, например, при запуске инструментов анализа или как часть рабочих процессов распределенного сотрудничества, где происходит копирование слоев.
Где опубликовать
Участники вашей организации могут публиковать данные из файлов с портала, из ArcGIS Pro, из элементов хранилища данных или используя ArcGIS API for Python.
Публикация из файлов на портале
Вы можете публиковать размещенные веб-слои из определенных файлов, которые вы добавляете в свою организацию.
Когда вы публикуете из файлов на портале, сервисы для создаваемых слоев всегда работают на хост-сервере.
В следующей таблице перечислены файлы, которые вы можете загрузить, размещенные веб-слои, которые вы публикуете из них, и где находятся данные слоя:
| Файлы | Тип слоя | Местоположение хранилища данных для слоёв |
|---|---|---|
Файлы CSV, файлы Microsoft Excel, GeoJSON, сжатые шейп-файлы, сжатая файловая база геоданных | ArcGIS Data Store (реляционное хранилище данных) | |
Пакет листов (.tpk или .tpkx), файл определения сервиса (.sd) или пакет векторных листов (.vtpk) | Файлы на хост-сервере | |
Пакет слоя сцены (.slpk) | ArcGIS Data Store (хранилище данных кэша листов) | |
Коллекция изображений (файл .zip с файлами изображений) | Файлы изображений, преобразованные в мозаичное изображение и помещенные в хранилище растровых данных, зарегистрированное на интегрированном сайте ArcGIS Image Server |
Сведения о публикации каждого типа слоев см. в разделах Публикация размещённых векторных слоёв, Публикация размещённых слоёв листов, Публикация размещённых векторных слоёв листов, Публикация размещённых слоёв сцен и Публикация размещённых слоёв изображений.
Публикация из ArcGIS Pro
Когда вы добавляете слои на карты и сцены в ArcGIS Pro, вы можете опубликовать эти слои как веб-слои. В зависимости от типа создаваемого слоя, данные слоя копируются на ArcGIS Data Store, интегрированный сервер либо хост-сервер или остаются в вашем зарегистрированном источнике данных. Когда вы решите сохранить данные в своем зарегистрированном источнике данных, вы также выбираете интегрированый сайт ArcGIS Server, на котором будет запущен сервис.
Копирование всех данных
Когда вы выбираете опцию в разделе Копировать все данные при публикации из ArcGIS Pro, это означает, что данные, используемые результирующим веб-слоем, не будут такими же, как исходные данные на вашей карте или сцене. Существуют определенные веб-слои, требующие копирования всех данных. А именно:
- Слои векторных листов
Слои векторных листов могут быть опубликованы из точечных, линейных, полигональных слоев и слоев мультиточек на вашей карте. Данные слоев кэшируются, а листы сохраняются на хост-сервере портала так же, как при загрузке пакета векторных листов и публикации на портале. Сервис запускается на хост-сервере, и в вашем портале создается слой листов. При публикации из ArcGIS Pro версии 2.8 или более поздней у вас также есть возможность создать векторный слой со слоем векторных листов. Этот векторный слой можно скопировать в реляционное хранилище данных или оставить в зарегистрированном хранилище данных.
См. Подготовка карты для создания векторных листов в справке ArcGIS Pro для получения информации о том, как создать карту, которая соответствует требованиям для публикации слоя векторных листов.
- Слои листов
Слои листов публикуются из карт в ArcGIS Pro. Публикация слоя листов создает кэшированный картографический сервис на хост-сервере портала и элемент слоя листов в организации. Кэш листов сохраняется на хост-сервере так же, как и при публикации пакета листов или файла определения сервиса на портале. См. Подготовка веб-карты в справочной системе ArcGIS Pro для получения информации о публикации карт и слоев в качестве слоев листов.
- Слои сцены
При публикации слоя сцены из ArcGIS Pro, в вашей организации создаются векторный слой и размещённый слой сцены. Сервис сцены всегда находится на хост-сервере, а кэш сцены сохраняется в хранилище данных кэша листов так же, как при публикации пакета слоев сцены на портале. Тем не менее, вы должны решить, будет ли связанный с ним векторный слой ссылаться на зарегистрированные данные, или же эти данные будут копироваться в реляционное ArcGIS Data Store.
Когда вы публикуете слой объектов в ArcGIS Pro, вы можете выбрать место хранения данных. Если вы выбираете Копировать все данные при публикации, данные копируются в реляционное ArcGIS Data Store.
Когда вы публикуете набор данных мозаики или набор растровых данных в качестве слоя изображений из ArcGIS Pro, вы должны в большинстве случаев ссылаться на исходные данные. Сведения о публикации слоев изображений см. в разделе Веб-слой изображений в справке ArcGIS Pro.
Копирование данных при публикации веб-инструментов
Вы можете опубликовать скрипт или модель геообработки из ArcGIS Pro в вашей организации. Когда вы это делаете, вы решаете, скопировать ли данные при помощи скрипта или модели на сервер, создавая статичную копию данных для использования сервисом, или создавать ли ссылку, по которой сервис будет получать данные.
Вы можете опубликовать веб-инструмент на хост-сервере, скопировав данные, если размер данных небольшой. В случае большого размера данных копирование данных может занять много времени, это не рекомендуется.
Если вы публикуете веб-инструмент с сервисом геообработки на интегрированном сервере, данные сохраняются на интегрированном сервере, если вы решите скопировать данные. Это создает сервис геообработки на выбранном интегрированном сервере и элемент веб-инструмента в вашей организации.
Публикация размещенного слоя изображения карты из размещенного векторного слоя
Начиная с ArcGIS Pro 2.5, вы можете публиковать размещенный слой изображения карты из размещенного векторного слоя или собственного пространственно-временного векторного слоя. Данные остаются в реляционном хранилище данных или хранилище пространственно-временных больших данных, и размещенный слой изображения карты отображает эти данные.
Вы можете сделать это, если хотите сделать данные векторного слоя доступными в формате только для чтения. Вы можете оставить свой размещенный векторный слой доступным для редактирования, чтобы обновлять данные и делиться размещенным слоем изображения карты с более широкой аудиторией. Размещенные слои изображения карты могут работать лучше при отображении больших объемов данных, и они поддерживают более широкий диапазон символов, чем размещенные слои объектов. Поэтому вы можете опубликовать размещенный слой изображения карты из размещенного векторного слоя, чтобы использовать слой изображения карты в качестве базовых данных в публикуемых картах.
См. ArcGIS Pro справку для получения дополнительной информации о публикации размещенных слоев изображения карты из размещенных векторных слоев.
Ссылаться на зарегистрированные данные
Если вы хотите, чтобы ваши веб-слои ссылались на ваши исходные данные, вы должны зарегистрировать свой источник данных на сайте ArcGIS Server, где вы хотите, чтобы работал сервис. Это гарантирует, что сервис может получить доступ к данным. См. Управление зарегистрированными хранилищами данных в справке ArcGIS Pro для получения более подробной информации. Начиная с ArcGIS Pro 2.5 элемент хранилища данных создается на активном портале для зарегистрированной папки или источника данных базы данных. Начиная с ArcGIS Pro 3.0 вы можете зарегистрировать местоположение облачного хранилища.
Когда вы публикуете слои объектов из зарегистрированной базы данных, данные остаются в исходной базе данных или многопользовательской базе, а в вашей организации создается элемент слоя объектов. Картографический сервис с активированным доступом к объектам также создается на интегрированном сервере, который вы выбрали при публикации. Если подключение базы данных обращается к облачному хранилищу данных, данные остаются в источнике, а в вашей организации создается только элемент векторного слоя.
Для слоев изображений данные сохраняются в исходной базе геоданных или папке, на интегрированном сайте ArcGIS Image Server создается сервис изображений, а в вашей организации создается элемент слоя изображений.
Для публикации слоя изображений карты из карты в ArcGIS Pro вы должны зарегистрировать источник (или источники) данных на интегрированном сервере, на котором будет производиться публикация. Все данные на карте хранятся в вашем зарегистрированном источнике данных, на интегрированном сервере создается картографический сервис, а в вашей организации создается слой изображений карты.
Более подробную информацию о публикации карт, пространственных объектов и изображений на интегрированных серверах см. в разделе Слои, опубликованные на интегрированных серверах портала.
Публикация веб-инструментов с использованием базовых данных
Когда вы публикуете скрипты или модели геообработки из ArcGIS Pro, вы можете выбрать использование ссылки на базовые данные вместо копирования всех данных. Если вы хотите, чтобы инструмент создал ссылку на данные, это должна быть многопользовательская база геоданных, зарегистрированная на интегрированном сервере.
Публикация из элементов хранилища данных на портале
Когда вы или другие участники организации добавляете элементы хранилища данных на портал, типы доступных для публикации слоев зависят от типа хранилища данных.
- Элементы хранилища данных баз данных - Вы, владелец элемента хранилища данных, можете пакетно публиковать векторные слои и слои изображений карт, ссылающиеся на данные, доступ к которым осуществляется через элемент этого хранилища данных, если источником данных является база данных или многопользовательская база геоданных.
- Элементы файлового и облачного хранилищ данных - Вы и все, с кем вы совместно используете элемент хранилища данных, можете создавать слои изображений из элементов файлового и облачного хранилищ данных. Слои изображений ссылаются на файлы изображений, доступные через хранилище данных. Вы также можете загрузить предварительно созданные кэши в папку или местоположения облачного хранилища данных и опубликовать слой листов, векторных листов или слой сцены, который ссылается на кэш в соответствующих местоположениях.
Публикация с помощью ArcGIS API for Python
Вы можете использовать класс Item в ГИС-модуле ArcGIS API for Python для публикации элементов на портале ArcGIS Enterprise с помощью скриптов Python и блокнотов. Конкретные примеры со сценариями см. в блокнотах ArcGIS API for Python для издателей ресурсов.