Файловые ресурсы больших данных зарегистрируются в качестве хранилища данных через ArcGIS Server Manager на ArcGIS GeoAnalytics Server. Для файловых ресурсов больших данных необходим манифест, в котором содержится описание схемы данных, а также поля и форматы, которые представляют геометрию и время в наборе данных. Манифест создается автоматически при регистрации вами файлового ресурса больших данных. Вам может потребоваться внести некоторые изменения, если что-то поменялось в данных или создание манифеста было невозможно, т.к. не удалось получить всю нужную информацию (например, при автоматическом создании манифеста было выбрано некорректное поле хранения геометрии или времени).
Наборы данных и информацию манифеста можно просматривать и редактировать в ArcGIS Server Manager на вашем ArcGIS GeoAnalytics Server.
Редактирование файлового хранилища больших данных
После регистрации файлового хранилища больших данных вы сможете просматривать и редактировать атрибуты и настройки зарегистрированных наборов данных этого элемента, открыв редактор манифеста файлового хранилища больших данных.
К примеру, вам может понадобиться проверить количество наборов данных в зарегистрированном файловом хранилище. Если вы не увидели в зарегистрированном файловом хранилище ожидаемого количества наборов данных, убедитесь, что зарегистрированное местоположение содержит допустимые наборы данных.
Вы также можете просмотреть схемы наборов данных для зарегистрированного файлового хранилища больших данных. Можно изменить схему выбранного набора данных, обновив его геометрию, определение времени и имена полей в соответствующем ресурсе манифеста.
На вкладке дополнительной информации редактора манифеста файлового хранилища больших данных можно загрузить файл указаний, содержащий такую информацию о наборе данных, как: наличие или отсутствие строки заголовка; кодировка; разделитель полей; знак конца записи. При создании заново манифеста после загрузки файла указаний будет использоваться информация, введенная для создания манифеста.
Кроме того, вы можете загрузить манифест, редактировать его и выгрузить файл отредактированного манифеста.
Редактирование наборов данных файлового хранилища больших данных
В редакторе манифеста файлового хранилища больших данных можно просматривать выбранное хранилище и успешно зарегистрированные в нем наборы данных. При выборе набора данных в ниспадающем меню редактора заполняются соответствующие параметры Об доступны в этом диалоговом окне опциях см. раздел Редактирование параметров файлового хранилища больших данных. Для редактирования параметров набора данных выполните следующее:
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите отредактировать.
- Щелкните Карандаш редактирования для просмотра деталей и опций для соответствующих наборов данных.
- Щелкните вкладку Наборы данных для просмотра зарегистрированных наборов данных и их соответствующих параметров.
- Выберите в ниспадающем меню набор данных, чтобы просмотреть информацию, находящуюся в манифесте. В случае необходимости внесите изменения в свой набор данных.
- По окончании редактирования свойств набора данных щелкните Сохранить.
Редактирование манифеста или файла указаний файлового хранилища больших данных
На вкладке Расширенные редактора файлового хранилища больших данных можно редактировать связанный манифест или файл указаний, выбрав соответствующую вкладку. Если вы загрузите манифест, то все изменения, внесенные вами в манифест хранилища больших данных в текстовом редакторе, будут стерты, и текущий манифест будет заменен. Дополнительные сведения о манифестах файлового хранилища больших данных см. в разделе Знакомство с манифестом файлового хранилища больших данных. Для получения подробной информации о файлах подсказок см. раздел О файлах подсказок. Для редактирования манифеста или файла указаний файлового хранилища больших данных выполните следующее:
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите изменить.
- Щелкните Карандаш редактирования для просмотра опций изменения ресурсов манифеста.
- Перейдите на вкладку Дополнительно.
- На вкладке Расширенные выберите вкладку Манифест или Указания в зависимости от того, что вы изменяете.
- Для загрузки файла манифеста щелкните Манифест > Загрузить.
- Для загрузки файла указаний щелкните Указания > Загрузить.
- Воспользуйтесь текстовым редактором для изменения и локального сохранения загруженного .json файла манифеста или .dat файла указаний.
Подсказка:
Формат файла по умолчанию для файла указаний - .dat. После загрузки файла можно изменить его расширение на .txt и выполнить редактирование. - Чтобы выгрузить отредактированный файл, щелкните Карандаш редактирования для файлового хранилища больших данных, которое вы хотите изменить.
- Для редактирования манифеста щелкните Расширенные > Манифест > Выгрузить и выберите обновленный файл .json.
- Для редактирования файла указаний щелкните Расширенные > Указания > Выгрузить и выберите обновленный файл .txt.
- Щелкните Выгрузить, чтобы загрузить сертификат.
Если вы будете загружать файл указаний, убедитесь, что вы заново сформировали манифест. При обновлении манифеста обновляются только наборы данных с готовыми подсказками или новые наборы данных; изменения любых других наборов данных, внесенные не в файл указаний, останутся без изменений.
Повторно создайте манифест файлового хранилища больших данных
После создания файлового хранилища больших данных и манифеста для каждой записи в диалоговом окне Зарегистрированные хранилища данных появится кнопка создания нового манифеста.
Можно заново создать манифест, если вы добавили новые данные либо выгрузили файл указаний после его редактирования. Файл указаний содержит спецификации, которые используются при повторном формировании манифеста.
Примечание:
При новом создании манифеста будет обновлен манифест для имеющихся наборов данных с файлом указаний или для новых наборов данных. Все внесенные вами в манифест изменения будут перезаписаны с использованием правил, определенных в файле указаний.Параметры редактирования файлового хранилища больших данных
Файловое хранилище больших данных содержит следующие пять разделов:
- Инструмент выбора набора данных
- Fields
- Geometry
- Время
- Формат набора данных
Рекомендуется использовать файл подсказок перед редактированием данных, если при создании манифеста не были корректно заданы имена полей, кодировка, разделители полей и кавычки.
Инструмент выбора набора данных
Манифест состоит из одного или нескольких наборов данных. Количество наборов данных зависит от количества папок, из которого состоит файловое хранилище больших данных. Когда вы открываете менеджер манифестов, вы можете просматривать наборы данных, успешно зарегистрированные в вашем хранилище больших данных. Когда вы выбираете в ниспадающем меню набор данных, параметры набора данных заполняются информацией о наборе данных.
Если вы планируете найти больше наборов данных в вашем манифесте или не можете какие-то найти, выполните следующее:
- Убедитесь, что вы корректно зарегистрировали папку верхнего уровня. Более подробно см. в разделе Регистрация хранилища данных с помощью ArcGIS Server Manager.
- Убедитесь, что входные данные представлены в допустимом формате, например, что это файлы с разделителями, шейп-файлы, parquet или ORC.
- Убедитесь, что схема входного набора данных соответствует набору файлов (все файлы отдельного набора данных должны иметь одинаковые поля).
Fields
В разделе "поля" перечислены все поля набора данных. При выборе набора данных вы сможете увидеть для каждого поля следующее:
- Имя поля.
- Тип поля.
Имя поля и тип поля для файлов с разделителями могут изменяться. Если вы изменяете более одного имени поля, рекомендуется использовать файл подсказок.
Если входным набором данных является файл с разделителями, будет несколько параметров, которые можно изменить в манифесте в Manager.
Geometry
В разделе геометрии указан тип геометрии и как он представлен. В следующей таблице содержатся доступные опции, с примечаниями, касающимися изменений, которые вы можете вносить – в зависимости от типа входного набора данных:
Параметры геометрии
| Parameter | Описание | Файлы с разделителями | Шейп-файлы | Файлы ORC | Файлы Parquet |
|---|---|---|---|---|---|
Geometry | Тип геометрии Вариантами являются Точка, Полилиния, Полигон или None. Если геометрия отсутствует, входными данными служит таблица. | Доступно для редактирования | Изменение невозможно | Доступно для редактирования | Доступно для редактирования |
Пространственная привязка (WKID/WKT) | Пространственная привязка набора данных. Эта опция отображается, только если набор данных не является таблицей. | Возможно изменение. По умолчанию будет задано 4326, WGS 1984. | Изменение невозможно | Доступно для редактирования | Доступно для редактирования |
Тип форматирования геометрии | Как форматируется геометрия для каждого объекта. Доступными вариантами являются XYZ (поля, которые представлены значениями X, Y и (не обязательно) Z – XYZ , применяются только для точек), WKT (well known text), GeoJson, EsriJson и шейп (shape). Эта опция доступна, только если набор данных не является таблицей или шейп-файлом. | Доступно для редактирования | Недоступно | Доступно для редактирования | Доступно для редактирования |
Время
Раздел Время содержит описание способа представления времени. В следующей таблице содержится описание доступных опций с примечаниями, касающимися изменений, которые вы можете вносить в зависимости от типа входного набора данных. Опции времени одинаковы для всех типов данных, кроме особо оговоренных случаев.
Параметры времени
| Parameter | Описание | Пример: |
|---|---|---|
Тип времени | Тип входного набора данных времени. Доступными опциями являются Момент времени (один момент времени), Интервал (промежуток времени с начальным и конечным временем) и None. | Момент |
Часовой пояс | Часовой пояс входного набора данных. Данная опция доступна, только если Тип времени не является None. | UTC |
Имя и таблица форматирования для времени | Эта таблица выбирает поле или поля времени и содержит описание того, как задано время. Для определения времени может использоваться одно или несколько полей, а также один или несколько форматов для одного отдельного поля. По умолчанию первое поле с именем «время» будет использоваться как поле времени с оценкой формата времени. Если имеется шейп-файл, будет использовано первое поле типа «дата». Если тип времени Интервал, то должно быть указано начальное и конечное время. Таблица форматирования времени доступна, только если Тип времени не является None. | Пример с одним полем, которое используется для представления времени в двух разных форматах:
Пример с двумя полями, которые используются для представления времени :
|
Форматы времени
В следующей таблице описывается, как представляется время при редактировании хранилища больших данных в ArcGIS Server Manager или непосредственно в манифесте. В примере показано, как представляется следующий момент времени: 2 января 2016 года в 21:45:02.05.
Форматы времени в файловых хранилищах больших данных
| Символ | Описание | Пример: |
|---|---|---|
yy | Год выражается двумя цифрами. | 16 |
yyyy | Год выражается четырьмя цифрами. | 2016 |
MM | Месяц выражается числом. | 01 или 1 |
MMM | Месяц выражается трехбуквенным обозначением. | Jan |
MMMM | Месяц выражается полным названием. | January |
дг | День. | 02 или 2 |
HH | Час в 24-часовой системе (значения от 0 до 23). | 21 |
hh | Час; в 12-часовой системе (значения от 1 до 12). | 9 |
мм | Минута; значения в диапазоне от 0 до 59. | 45 |
ss | Секунда; значения в диапазоне от 0 до 59. | 02 |
SSS | Миллисекунда; значения в диапазоне от 0 до 999. | 50 |
a | Маркер AM/PM. | PM |
epoch_millis | Время в миллисекундах с epoch. | 1509581781000 |
epoch_seconds | Время в секундах с epoch. | 1509747601 |
Z | Смещение часового пояса, выраженное в часах. | -0100 или -01:00 |
ZZZ | Смещение часового пояса, выраженное с помощью ID. | America/Los_Angeles |
В следующей таблице содержатся примеры различных форматов представления одной и той же даты: 2 января 2016 года в 21:45:02.05:
Примеры формата времени
| Входная дата | Формат даты |
|---|---|
01/02/2016 9:45:02PM | ММ/дд/гггг чч:мм:ссa |
Jan02-16 21:45:02 | ММММдд-гг ЧЧ:мм:сс |
January 02 2016 9:45:02.050PM | ММММ дд гггг чч:мм:сс.СССa |
01/02/2017T9:45:14:05-0000 | ММ/дд/гггг чч:мм:ссa |
Формат набора данных
В разделе формата набора данных описывается формат, в котором выражены эти данные. Данные могут быть в одном из следующих форматов:
- Шейп-файлы (.SHP)
- Файл с разделителями (например, .csv)
- Файл Parquet
- Файл ORC
Доступные параметры различаются в зависимости от набора данных. Для шейп-файлов, а также файлов ORC и parquet единственный параметр – это тип файла, изменить который нельзя. Если входным набором данных является файл с разделителями, будет несколько параметров, которые можно изменить в манифесте в Manager. Они показаны в следующей таблице:
Форматы наборов данных
| Parameter | Описание |
|---|---|
Расширение файла | Показывает расширение входного набора данных. Стандартными форматами являются .csv и .txt. Эта информация может быть включена в файл подсказок. |
Разделитель полей | Определяет разделитель для каждого поля. Стандартными форматами являются , и ;. Эта информация может быть включена в файл подсказок. |
Ограничитель записи | Определяет ограничитель для каждой строки данных. Стандартными форматами являются \n и \t. Эта информация может быть включена в файл подсказок. |
Символ кавычки | Определяет символ, используемый для кавычек. Эта информация может быть включена в файл подсказок. |
Содержит строку заголовка | Значение Boolean, определяющее наличие во входной таблице строки заголовка. Если есть строка заголовка, для имен полей будут использоваться заголовки. Информация об имени полей геометрии и времени. Заголовки можно задавать с помощью файла подсказок. |
Кодировка | Тип кодировки, используемый на данном файле. По умолчанию это будет UTF-8. Это можно задать в файле подсказок. |