Примечание:
В версии ArcGIS Enterprise 10.9.1 или выше рекомендуется добавлять или изменять файловое хранилище больших данных через страницу ресурсов вашего портала вместо ArcGIS Server Manager.
Узнайте больше о добавлении файловых хранилищ больших данных на портале
Рекомендуется регистрирова и изменять файловое хранилище больших данных на странице ресурсов вашего портала. Используйте ArcGIS Server Manager, если выполняется любое из этих условий:
- Вы хотите зарегистрировать Azure Data Lake, который можно зарегистрировать только через ArcGIS Server Manager.
- Вы редактируете или просматриваете файловое хранилище больших данных, созданное с помощью ArcGIS Server Manager в предыдущей версии.
Если вы не удовлетворяете ни одному из этих условий, зарегистрируйте файловое хранилище больших данных на странице ресурсов портала и изменяйте, редактируйте и просматривайте его с помощью элемента общий файлового хранилища больших данных.
При регистрации файлового хранилища больших данных в ArcGIS Server Manager используйте свой ArcGIS GeoAnalytics Server. Для файловых ресурсов больших данных необходим манифест, в котором содержится описание схемы входных данных, а также поля и форматы, которые представляют геометрию и время в наборе данных. Манифест создается автоматически при регистрации вами файлового ресурса больших данных. Вам может потребоваться внести некоторые изменения, если что-то поменялось в данных, или если создание манифеста было невозможно, т.к. не удалось получить всю нужную информацию, например, при автоматическом создании манифеста было выбрано некорректное поле хранения геометрии или времени. Файловые хранилища больших данных могут дополнительно иметь шаблоны выходных данных, которые используются для определения формата результатов, которые записываются в файловое хранилище больших данных. Шаблоны выходных данных создаются при регистрации файлового хранилища больших данных и выборе его использования в качестве расположения выходных данных. Возможно, потребуется изменить один или несколько шаблонов, например формат полей времени и геометрии, или добавить или удалить шаблон.
Вы можете просматривать и редактировать наборы данных и информацию манифеста, а также шаблоны выходных данных в ArcGIS Server Manager вашей установки ArcGIS GeoAnalytics Server.
Редактирование файлового хранилища больших данных
После регистрации файлового хранилища больших данных в ArcGIS Server Manager вы сможете просматривать и редактировать атрибуты и настройки зарегистрированных наборов данных этого элемента, открыв редактор манифеста файлового хранилища больших данных в ArcGIS Server Manager. Можно также изменить атрибуты и параметры для дополнительных шаблонов выходных данных, которые описывают, как выходные результаты будут записываться в файловое хранилище больших данных.
Примечание:
Если вы зарегистрировали общее файловое хранилище больших данных через портал, отредактируйте файловое хранилище больших данных на странице элемента портала.
Узнайте больше о добавлении файловых хранилищ больших данных на портале
Например, для входных данных вам может понадобиться проверить количество наборов данных в зарегистрированном файловом хранилище. Если вы не увидели в зарегистрированном файловом хранилище ожидаемого количества наборов данных, убедитесь, что зарегистрированное местоположение содержит допустимые наборы данных.
Для шаблона выходных данных может потребоваться отформатировать выходные данные файла с разделителями для записи файла с использованием табуляции в качестве разделителя и применить WKT для хранения геометрии.
Вы также можете просмотреть схемы наборов данных для зарегистрированного файлового хранилища больших данных. Можно изменить схему выбранного набора данных, обновив его геометрию, определение времени и имена полей в соответствующем ресурсе манифеста.
На вкладке дополнительной информации редактора манифеста файлового хранилища больших данных можно загрузить файл указаний, содержащий такую информацию о наборе данных, как: наличие или отсутствие строки заголовка; кодировка; разделитель полей; знак конца записи. При создании заново манифеста после загрузки файла указаний будет использоваться информация, введенная для создания манифеста.
Кроме того, вы можете загрузить манифест, редактировать его и выгрузить отредактированный файл .
Редактирование входных наборов данных файлового хранилища больших данных
В редакторе манифеста файлового хранилища больших данных можно просматривать выбранное хранилище и успешно зарегистрированные в нем наборы данных. При выборе набора данных в ниспадающем меню редактора заполняются соответствующие параметры О доступных в этом диалоговом окне опциях см. раздел Редактирование параметров файлового хранилища больших данных. Для редактирования параметров набора данных выполните следующее:
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите отредактировать.
- Щелкните кнопку Редактировать, чтобы просмотреть детали и опции для соответствующих наборов данных.
- Щелкните вкладку Наборы данных для просмотра зарегистрированных наборов данных и их соответствующих параметров.
- Выберите в ниспадающем меню набор данных, чтобы просмотреть информацию, находящуюся в манифесте. В случае необходимости внесите изменения в свой набор данных.
- По окончании редактирования свойств набора данных щелкните Сохранить.
Редактирование манифеста или файла указаний файлового хранилища больших данных
На вкладке Расширенные редактора файлового хранилища больших данных можно редактировать связанный манифест или файл указаний, выбрав соответствующую вкладку. Если вы загрузите манифест, будут перезаписаны все изменения, внесенные вами в манифест хранилища больших данных в текстовом редакторе, и текущий манифест будет перезаписан. Дополнительные сведения о манифесте файлового хранилища больших данных см. в разделе Манифест файлового хранилища больших данных. Чтобы узнать больше об использовании файла подсказок, см. Файл подсказок. Для редактирования манифеста или файла указаний файлового хранилища больших данных выполните следующее:
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите изменить.
- Щелкните значок Редактировать, чтобы просмотреть опции и изменить ресурсы манифеста.
- Перейдите на вкладку Дополнительно.
- На вкладке Расширенные выберите вкладку Манифест или Указания в зависимости от того, что вы изменяете.
- Для загрузки файла манифеста щелкните Манифест, а затем - Загрузить.
- Для загрузки файла подсказок щелкните Указания > Загрузить.
- Воспользуйтесь текстовым редактором для изменения и локального сохранения загруженного файла манифеста .json или файла подсказок .dat.
Подсказка:
Формат файла по умолчанию для файла указаний – .dat. После загрузки файла можно изменить его расширение на .txt и выполнить редактирование. - Чтобы выгрузить отредактированный файл, щелкните Редактирование для файлового хранилища больших данных, которое вы хотите изменить.
- Для редактирования манифеста щелкните Расширенные > Манифест > Выгрузить и выберите обновленный файл .json.
- Для редактирования файла подсказок щелкните Расширенные > Подсказки > Выгрузить и выберите обновленный файл .txt.
- Щелкните Загрузить.
Если вы будете загружать файл указаний, убедитесь, что вы заново сформировали манифест. При обновлении манифеста обновляются только наборы данных с готовыми подсказками или новые наборы данных; изменения любых других наборов данных, внесенные не в файл подсказок, останутся без изменений.
Повторно создайте манифест файлового хранилища больших данных
После создания файлового хранилища больших данных и манифеста для каждой записи в диалоговом окне Зарегистрированные хранилища данных появится кнопка создания нового манифеста.
Можно заново создать манифест, если вы добавили новые данные либо выгрузили файл подсказок после его редактирования. Файл указаний содержит спецификации, которые используются при повторном формировании манифеста.
Примечание:
При новом создании манифеста будет обновлен манифест для имеющихся наборов данных с файлом указаний или для новых наборов данных. Все внесенные вами в манифест изменения будут перезаписаны с использованием правил, определенных в файле подсказок.Параметры редактирования файлового хранилища больших данных
Файловое хранилище больших данных содержит следующие пять разделов:
- Выбор набора данных
- Поля
- Геометрия
- Время
- Формат набора данных
Рекомендуется использовать файл подсказок перед редактированием данных, если при создании манифеста не были корректно заданы имена полей, кодировка, разделители полей и кавычки.
Выбор набора данных
Манифест состоит из одного или нескольких наборов данных. Количество наборов данных зависит от количества папок, из которого состоит файловое хранилище больших данных. Когда вы открываете менеджер манифестов, вы можете просматривать наборы данных, успешно зарегистрированные в вашем хранилище больших данных. Когда вы выбираете в ниспадающем меню набор данных, параметры набора данных заполняются информацией об этом наборе.
Если вы планируете найти больше наборов данных в вашем манифесте или не можете какие-то найти, выполните следующее:
- Убедитесь, что вы корректно зарегистрировали папку верхнего уровня. Дополнительные сведения см. в разделе Регистрация ваших данных в ArcGIS Server Manager.
- Убедитесь, что входные данные представлены в допустимом формате, например, что это файлы с разделителями, шейп-файлы, parquet или ORC.
- Убедитесь, что схема входного набора данных соответствует набору файлов (все файлы отдельного набора данных должны иметь одинаковые поля).
Поля
В разделе "поля" перечислены все поля набора данных. Когда вы выбираете набор данных, вы можете видеть следующее для каждого поля:
- Название поля
- Тип поля
Имя поля и тип поля для файлов с разделителями могут изменяться. Если вы изменяете более одного имени поля, рекомендуется использовать файл подсказок.
Если входным набором данных является файл с разделителями, будет несколько параметров, которые можно изменить в манифесте в ArcGIS Server Manager.
Геометрия
В разделе геометрии указан тип геометрии и то, как он представлен. В следующей таблице содержится описание доступных опций с примечаниями, касающимися изменений, которые вы можете вносить в зависимости от типа входного набора данных:
Параметры геометрии
| Параметр | Описание | Файлы с разделителями | Шейп-файлы | Файлы ORC | Файлы Parquet |
|---|---|---|---|---|---|
Геометрия | Тип геометрии. Вариантами являются Точка, Полилиния, Полигон или None. Если геометрия отсутствует, входными данными служит таблица. | Доступно для редактирования | Изменение невозможно | Доступно для редактирования | Доступно для редактирования |
Пространственная привязка (WKID/WKT) | Пространственная привязка набора данных. Эта опция отображается, только если набор данных не является таблицей. | Возможно изменение. По умолчанию будет задано 4326, WGS 1984. | Изменение невозможно | Доступно для редактирования | Доступно для редактирования |
Тип форматирования геометрии | Как форматируется геометрия для каждого объекта. Доступными вариантами являются XYZ (поля, которые представлены значениями X, Y и (не обязательно) Z – XYZ , применяются только для точек), WKT (well known text), GeoJson, EsriJson и шейп (shape). Эта опция доступна, только если набор данных не является таблицей или шейп-файлом. | Доступно для редактирования | Не доступно | Доступно для редактирования | Доступно для редактирования |
Время
Раздел Время содержит описание способа представления времени. В следующей таблице содержится описание доступных опций с примечаниями, касающимися изменений, которые вы можете вносить в зависимости от типа входного набора данных. Опции времени одинаковы для всех типов данных, кроме особо оговоренных случаев.
Параметры времени
| Параметр | Описание | Пример |
|---|---|---|
Тип времени | Тип входного набора данных времени. Доступными опциями являются Момент времени (один момент времени), Интервал (промежуток времени с начальным и конечным временем) и None. | Текущий |
Часовой пояс | Часовой пояс входного набора данных. Данная опция доступна, только если Тип времени не является None. | UTC |
Имя и таблица форматирования для времени | Эта таблица выбирает поле или поля времени и содержит описание того, как задано время. Для определения времени может использоваться одно или несколько полей, а также один или несколько форматов для одного отдельного поля. По умолчанию первое поле с именем time будет использоваться как поле времени с оценкой формата времени. Если имеется шейп-файл, будет использовано первое поле типа date. Если тип времени Интервал, то должно быть указано начальное и конечное время. Таблица форматирования времени доступна, только если Тип времени не является None. | Пример с одним полем, которое используется для представления времени в двух разных форматах
Пример с двумя полями, которые используются для представления времени
|
Форматы времени
В следующей таблице описывается, как представляется время при редактировании хранилища больших данных в ArcGIS Server Manager или непосредственно в манифесте. В примере показано, как представляется следующий момент времени: 2 января 2016 года, 21:45:02.05.
Форматы времени в файловых хранилищах больших данных
| Символ | Значение | Пример |
|---|---|---|
yy | Год выражается двумя цифрами. | 16 |
yyyy | Год выражается четырьмя цифрами. | 2016 |
MM | Месяц выражается числом. | 01 или 1 |
MMM | Месяц выражается трехбуквенным обозначением. | Jan |
MMMM | Месяц выражается полным названием. | January |
dd | Дата | 02 или 2 |
HH | Час в 24-часовой системе (значения от 0 до 23). | 21 |
hh | Час в 12-часовой системе (значения от 1 до 12). | 9 |
mm | Минута (значения в диапазоне от 0 до 59). | 45 |
ss | Секунда (значения в диапазоне от 0 до 59). | 02 |
SSS | Миллисекунда (значения в диапазоне от 0 до 999). | 50 |
a | Маркер AM/PM. | PM |
epoch_millis | Время в миллисекундах с epoch. | 1509581781000 |
epoch_seconds | Время в секундах с epoch. | 1509747601 |
Z | Смещение часового пояса, выраженное в часах. | -0100 или -01:00 |
ZZZ | Смещение часового пояса, выраженное с помощью ID. | America/Los_Angeles |
'' | Используйте одинарные кавычки для добавления текста, который не представляет значение, описанное в этой таблице. | 'T' |
В следующей таблице содержатся примеры различных форматов представления одной и той же даты: 2 января 2016 года, 21:45:02.05:
Примеры формата времени
| Входная дата | Формат даты |
|---|---|
01/02/2016 9:45:02PM | ММ/дд/гггг чч:мм:ссa |
Jan02-16 21:45:02 | ММММдд-гг ЧЧ:мм:сс |
January 02 2016 9:45:02.050PM | ММММ дд гггг чч:мм:сс.СССa |
01/02/2017T9:45:14:05-0000 | ММ/дд/гггг чч:мм:ссa |
Формат набора данных
В разделе формата набора данных описывается формат, в котором выражены эти данные. Данные могут быть в одном из следующих форматов:
- Шейп-файл (.shp)
- Файл с разделителями (например, ..csv)
- Файл Parquet
- Файл ORC
Доступные параметры различаются в зависимости от набора данных. Для шейп-файлов, а также файлов ORC и parquet единственный параметр – это тип файла, изменить который нельзя. Если входным набором данных является файл с разделителями, изменить можно будет несколько параметров. Чтобы изменить значения для файла с разделителями, используйте файл подсказок и повторно создайте манифест. Эти параметры показаны в следующей таблице:
Форматы наборов данных
| Параметр | Описание |
|---|---|
Расширение файла | Показывает расширение входного набора данных. Стандартными форматами являются .csv и .txt. Измените эту информацию для файла с разделителями, используя файл подсказок. |
Разделитель полей | Определяет разделитель для каждого поля. Стандартными форматами являются , и ;. Измените эту информацию для файла с разделителями, используя файл подсказок. |
Ограничитель записи | Определяет ограничитель для каждой строки данных. Стандартными форматами являются \n и \t. Измените эту информацию для файла с разделителями, используя файл подсказок. |
Символ кавычки | Определяет символ, используемый для кавычек. Измените эту информацию для файла с разделителями, используя файл подсказок. |
Содержит строку заголовка | Значение Boolean, определяющее наличие во входной таблице строки заголовка. Если есть строка заголовка, для имен полей будут использоваться заголовки. Информация об имени полей геометрии и времени. Задает строки заголовков , используя файл подсказок. |
Кодировка | Тип кодировки, используемый на данном файле. По умолчанию это UTF-8. Он задается в файле подсказок. |
Редактирование параметров шаблона выходных данных файлового хранилища больших данных
Редактор шаблона выходных данных для файлового хранилища больших данных содержит следующие четыре раздела:
- Выбор шаблона выходных данных
- Геометрия
- Время
- Формат набора данных
Выбор шаблона выходных данных
Файловое хранилище больших данных дополнительно содержит один или несколько шаблонов. Число шаблонов определяется различными форматами, в которых вы хотите записывать результаты. Когда вы открываете менеджер шаблонов выходных данных, вы можете просматривать шаблоны, успешно зарегистрированные в вашем файловом хранилище больших данных. Когда вы выбираете в ниспадающем меню шаблон, параметры шаблона заполняются информацией о нем. Если вам необходимо добавить новый шаблон, щелкните Добавить шаблон и выберите тип и имя для нового шаблона. Если вы хотите удалить шаблон, выберите его из списка шаблонов нажмите Удалить шаблон. Существующий шаблон можно изменить, выбрав его и изменив при необходимости любой из приведенных ниже разделов.
Примечание:
В файловых хранилищах больших данных есть раздел Поля. Шаблоны выходных данных не имеют раздела Поля, так как полученные в результате поля задаются GeoAnalytics Tools. ORC поддерживает только имена полей, использующие буквы латинского алфавита и числовые символы. Все остальные символы в имени поля заменяются подчеркиванием.
Геометрия
В разделе геометрии указано, как вы хотите форматировать выходную геометрию для каждого типа геометрии (точка, линия, полигон). Существует два аспекта определения выходной геометрии:
- Пространственная привязка – вы можете оставить ее пустой, и она будет использовать ту, что по умолчанию применяется для инструмента. При необходимости укажите строку WKID или WKT, и все результаты будут проецироваться в эту систему координат. Это значение является общим для всей выходной геометрии.
- Тип и поля форматирования геометрии - это более подробно описано ниже.
Форматы выходной геометрии
| Тип геометрии | Выходные поля | Файлы с разделителями | Шейп-файлы | Файлы ORC | Файлы Parquet |
|---|---|---|---|---|---|
XYZ – X, Y и дополнительно поле Z. Эта опция доступна только для точек. | По умолчанию, будут созданы три новых поля с именами X, Y и Z. По желанию вы можете изменить имена этих полей. |  | | | |
WKT | По умолчанию создается одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | | |
GeoJSON | По умолчанию создается одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | | |
EsriJSON | По умолчанию создается одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | | |
SHP | По умолчанию создается одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | |||
WKB | По умолчанию создается одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | ||
Буфер геометрии | По умолчанию создается одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | |
Время
В разделе время описывается, как представлено выходное время. Для форматирования времени требуется следующая информация:
- Форматирование для мгновений и интервалов.
- Имена полей, в которые записывается время.
- Формат (текстовый или дата), в котором записывается время. Обратите внимание, что файлы с разделителями могут иметь формат только string.
- Для интервалов необходимы поля, которые представляют начальное и конечное время.
Форматирование времени является тем же, что и во входных файлах больших данных. См. Форматы времени в файловых хранилищах больших данных.
Формат набора данных
В разделе формат набора данных описывается формат выходных данных, в котором записываются данные. Данные могут быть в одном из следующих форматов:
- Шейп-файл (.shp)
- Файл с разделителями (например, ..csv)
- Файл Parquet
- Файл ORC
Доступные параметры различаются в зависимости от набора данных. Для шейп-файлов, а также файлов ORC и parquet единственный параметр – это тип файла, изменить который нельзя. Если входным набором данных является файл с разделителями, в ArcGIS Server Manager изменить можно будет несколько параметров. Эти параметры показаны в следующей таблице:
Форматы наборов данных
| Параметр | Описание |
|---|---|
Расширение файла | Расширения не применяются в выходных данных. |
Разделитель полей | Определяет разделитель для каждого поля. Стандартными форматами являются , и ;. |
Ограничитель записи | Признак конца для каждой строки данных не может быть установлен. Для Windows конец строки – \r\n, для Linux – \n. |
Символ кавычки | Определяет символ, используемый для кавычек. |
Содержит строку заголовка | Значение Boolean, определяющее, включает ли выходная таблица строку заголовка, представляющую имена полей. По умолчанию – true. |
Кодировка | Это всегда UTF-8. |