Файловые ресурсы больших данных регистрируются в качестве хранилища данных через ArcGIS Server Manager и требуют манифеста для описания схема данных и полей, в которых хранится информация о геометрии и времени. Манифест создается автоматически при регистрации вами файлового ресурса больших данных. Вам может потребоваться внести некоторые изменения, если что-то поменялось в данных или создание манифеста было невозможно, т.к. не удалось получить всю нужную информацию (например при автоматическом создании манифеста было выбрано некорректное поле хранения геометрии или времени).
Можно просматривать и редактировать наборы данных и информацию манифеста в ArcGIS Server Manager. Вьюер манифестов включает три следующих компонента:
- Инструмент выбора набора данных
- Информацию о выбранном наборе данных
- Информацию о поле выбранного набора данных
У редактора манифестов файлового ресурса больших данных есть также дополнительные опции. Они обсуждаются в расположенном ниже разделе Расширенный. Рекомендуем использовать файл подсказок перед редактированием данных, если при создании манифеста не были корректно заданы имена полей, кодировка, разделители полей и кавычки.
Инструмент выбора набора данных
Манифест состоит из одного или нескольких наборов данных. Количество наборов данных зависит от количества папок, из которого состоит файловое хранилище больших данных. Когда вы открываете менеджер манифестов, вы можете просматривать наборы данных, успешно зарегистрированные в вашем хранилище больших данных. Когда вы выбираете в ниспадающем меню набор данных, параметры набора данных заполняются информацией о наборе данных.
Если вы планируете найти больше наборов данных в вашем манифесте или не можете какие-то найти, выполните следующее:
- Убедитесь, что вы корректно зарегистрировали папку верхнего уровня. Более подробно см. в разделе Регистрация хранилища данных с помощью ArcGIS Server Manager.
- Проверьте, что ваши входные данные находятся в подходящем формате, например, что это набор файлов с разделителями или шейп-файлов.
- Убедитесь, что схема вашего входного набора данных соответствует набору файлов (у всех находящихся в папке файлов должны быть одинаковые поля).
Набор данных
Поле набора данных описывает формат выбранного набора данных. В зависимости от источника набора данных, определяющегося расширением, изменяемые опции будут различными. Разрешение может быть .shp у шейп-файла или, например, .csv или .tsv, – у файла с разделителями. Если входными файлами набора данных являются шейп-файлы, доступны следующие опции:
| Параметр | Описание |
|---|---|
Расширение файла | Показывает расширение входного набора данных. Для шейп-файла это всегда shp, и оно не может быть изменено. |
Geometry | Задает тип геометрии шейп-файла. Его нельзя изменить для шейп-файла. |
Пространственная привязка (WKID/WKT) | Определяет пространственную привязку шейп-файла. Его нельзя изменить для шейп-файла. |
Время | Тип времени входного набора данных шейп-файла. Можно выбрать следующие опции:
|
Часовой пояс | Задает часовой пояс полей времени. Если тип времени Instant или Interval, вы сможете задать часовой пояс. |
Если входным набором данных является файл с разделителями, будет несколько параметров, которые можно изменить в манифесте в Manager. Они показаны в следующей таблице:
| Параметр | Описание |
|---|---|
Расширение файла | Показывает расширение входного набора данных. Стандартными форматами являются .csv и .txt. Эта информация может быть включена в файл подсказок. |
Разделитель полей | Определяет разделитель для каждого поля. Стандартными форматами являются , и ;. Эта информация может быть включена в файл подсказок. |
Ограничитель записи | Определяет ограничитель для каждой строки данных. Стандартными форматами являются \n и \t. Эта информация может быть включена в файл подсказок. |
Содержит строку заголовка | Значение Boolean, определяющее наличие во входной таблице строки заголовка. Если есть строка заголовка, для имен полей будут использоваться заголовки. Информация об имени полей геометрии и времени. Заголовки можно задавать с помощью файла подсказок. |
Геометрия | Определяет тип геометрии входного набора данных. Можно выбрать следующие опции:
Тип геометрии можно изменить, а ее поля и форматирование задается в разделе поля. |
Пространственная привязка (WKID/WKT) | Определяет пространственную привязку набора данных. Это можно изменить на строку WKID или WKT. |
Время | Тип времени входного набора данных. Можно выбрать следующие опции:
|
Часовой пояс | Задает часовой пояс полей времени. Если тип времени Instant или Interval, вы сможете задать часовой пояс. |
Поля
В разделе "поля" перечислены все поля набора данных. При выборе поля вы увидите следующее:
- Имя поля.
- Тип поля.
- Если в поле содержатся временные или связанные с геометрией атрибуты. Если в поле содержатся эти атрибуты, вы можете задать формат.
| Параметр | Описание |
|---|---|
Название | Имя поля. Это можно изменить для файлов с разделителями. Рекомендуется изменять их с использованием файла подсказок для наборов данных с разделителями без имен заголовков. Имя поля шейп-файла изменить нельзя. |
Тип | Тип поля. Это можно изменить для файлов с разделителями. Тип поля для шейп-файла изменить нельзя. |
Геометрически связанные атрибуты | Значение Boolean, определяющее, содержит ли поле информацию о геометрии. Это применяется только к файлам с разделителями, для которых задана геометрия. Если это выбрано, для задания формата геометрии появится дополнительный параметр. |
Формат (геометрия) | Формат поля геометрии. |
Атрибуты, связанные со временем | Значение Boolean, определяющее, содержит ли поле информацию о времени. Это применяется только к файлам с разделителями, для которых задано время. Если это выбрано, для задания формата времени появится дополнительный параметр. |
Формат (время) | Формат поля времени. Формат времени описывается ниже. |
Роль | Чтобы задать роль вовремя требуются интервалы времени. Роль может быть Start или End. Эта опция не доступна для моментальных объектов. |
Форматы времени
В следующей таблице описывается, как представляется время при редактировании хранилища больших данных в ArcGIS Server Manager или непосредственно в манифесте. В примере показано, как представляется следующий момент времени: 2 января 2016 года в 21:45:02.05.
| Символ | Описание | Пример: |
|---|---|---|
yy | Год выражается двумя цифрами. | 16 |
yyyy | Год выражается четырьмя цифрами. | 2016 |
MM | Месяц выражается числом. | 01 или 1 |
MMM | Месяц выражается трехбуквенным обозначением. | Jan |
MMMM | Месяц выражается полным названием. | January |
дг | День. | 02 или 2 |
HH | Час, в 24-часовой системе (значения от 0 до 23). | 21 |
hh | Час, в 12-часовой системе (значения от 1 до 12). | 9 |
мм | Минута, значения в диапазоне от 0 до 59. | 45 |
ss | Секунда, значения в диапазоне от 0 до 59. | 02 |
SSS | Миллисекунда, значения в диапазоне от 0 до 999. | 50 |
a | Маркер AM/PM. | PM |
В следующей таблице содержатся примеры других форматов представления одного и того же момента: 2 января 2016 года в 21:45:02.05:
| Входная дата | Формат даты |
|---|---|
01/02/2016 9:45:02PM | ММ/дд/гггг чч:мм:ссa |
Jan02-16 21:45:02 | ММММдд-гг ЧЧ:мм:сс |
January 02 2016 9:45:02.050PM | ММММ дд гггг чч:мм:сс.СССa |
Расширенные
В редакторе хранилища больших данных доступны две следующие дополнительные опции:
- Манифест – Скачать и загрузить манифест хранилища больших данных.
- Подсказки – Сказать и загрузить файл подсказок, который поможет вам создать манифест хранилища больших данных.
Подсказки помогают при формировании манифеста с параметрами файла с разделителями, такими как имена полей, кодирование, разделитель полей и кавычки. Рекомендуется загружать файл подсказок перед изменением отдельных наборов данных, если:
- У вас есть файл CSV без заголовков, и вы хотели бы применить имена полей к своим данным.
- кавычки и разделительные символы не были признаны при формировании манифеста в первый раз;
- не распознана кодировка набора данных;
Если вы будете загружать файл указаний, необходимо заново сформировать манифест. Обновлены будут только наборы данных с готовыми подсказками или новые наборы данных; изменения любых других наборов данных, внесенные не в файл указаний, останутся без изменений. Для получения подробной информации о файлах подсказок см. раздел О файлах подсказок. Вы также можете скачать и изменить свой манифест в текстовом редакторе. Если вы загрузите манифест, будут перезаписаны все изменения, внесенные вами в манифест хранилища больших данных в текстовом редакторе, и текущий манифест будет перезаписан. Дополнительные сведения о манифестах файлового хранилища больших данных см. в разделе Знакомство с манифестом файлового хранилища больших данных.
Редактирование файлового хранилища больших данных
После регистрации файлового хранилища больших данных вы сможете просматривать и редактировать атрибуты и настройки зарегистрированных наборов данных этого элемента, открыв редактор манифеста файлового хранилища больших данных.
К примеру, вам может понадобиться проверить количество наборов данных в зарегистрированном файловом хранилище. Если вы не увидели в зарегистрированном файловом хранилище ожидаемого количества наборов данных, убедитесь, что зарегистрированное местоположение содержит допустимые наборы данных.
Вы также можете просмотреть схемы наборов данных для зарегистрированного файлового хранилища больших данных. Можно изменить схему выбранного набора данных, обновив его геометрию, определение времени и имена полей в соответствующем ресурсе манифеста.
На вкладке дополнительной информации редактора манифеста файлового хранилища больших данных можно загрузить файл указаний, содержащий такую информацию о наборе данных, как: наличие или отсутствие строки заголовка; кодировка; разделитель полей; знак конца записи. При создании заново манифеста после загрузки файла указаний будет использоваться информация, введенная для создания манифеста.
Кроме того, вы можете загрузить манифест, редактировать его и выгрузить файл отредактированного манифеста.
Редактирование наборов данных файлового хранилища больших данных
В редакторе манифеста файлового хранилища больших данных можно просматривать выбранное хранилище и успешно зарегистрированные в нем наборы данных. При выборе набора данных в ниспадающем меню редактора заполняются соответствующие параметры О каждой опции этого диалогового окна см. раздел, посвященный манифесту файлового хранилища больших данных. Для редактирования параметров набора данных выполните следующее:
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите отредактировать.
- Щелкните карандаш Редактирования, чтобы указать детали и опции для соответствующих наборов.
- Щелкните вкладку Наборы данных для выбора зарегистрированных наборов данных и соответствующих их параметров.
- Выберите в ниспадающем меню набор данных, чтобы просмотреть информацию, находящуюся в манифесте. Можно задержать курсор над значком информации рядом со свойствами Геометрии и Времени, чтобы просмотреть подробные настройки для выбранного набора данных. В случае необходимости внесите изменения в свой набор данных.
В следующем разделе содержатся примеры редактирования подробных настроек зарегистрированного набора данных файлового хранилища больших данных.
- По окончании редактирования свойств набора данных щелкните Сохранить.
Примеры рабочих процессов редактирования наборов данных файловых хранилищ больших данных
Представленные в следующем примере рабочие процессы могут осуществляться в редакторе манифеста файлового хранилища больших данных.
- Обновите тип геометрии и поля набора данных .csv.
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите отредактировать.
- Щелкните карандаш Редактирования, чтобы указать детали и опции для соответствующих наборов.
- На вкладке Наборы данных выберите набор из раскрывающегося меню.
- Поместите курсор над значком информации о Геометрии для просмотра подробного описания атрибутов.
- Удалите все существующие поля Геометрии, выбрав каждое поле в разделе Поля и сняв отметку Это поле содержит: Связанные с геометрией атрибуты. Щёлкните Сохранить.
- В раскрывающемся списке типа Геометрии выберите нужный вам тип.
- Укажите для геометрии Пространственную привязку в виде well-known ID (WKID) или well-known text (WKT). Для получения списка поддерживаемых WKID и WKT см. раздел о пространственной привязке документации по ArcGIS REST API.
- В разделе Поля выберите нужное поле, поставьте отметку Это поле содержит: Связанные с геометрией атрибуты и задайте формат (определяет, содержит ли поле значение X или Y точечной геометрии или пользовательское определение геометрии).
- Повторите в случае необходимости предыдущий шаг для дополнительных полей.
- Щёлкните Сохранить.
- Обновите ссылку времени для набора данных шейп-файла.
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите отредактировать.
- Щелкните карандаш Редактирования, чтобы указать детали и опции для соответствующих наборов.
- На вкладке Наборы данных выберите набор из раскрывающегося меню.
- Поместите курсор над значком информации о Времени для просмотра подробного описания атрибутов.
- Удалите все существующие поля Времени, выбрав каждое поле в разделе Поля и сняв отметку Это поле содержит: Связанные с временем атрибуты. Щёлкните Сохранить.
- Щелкните кнопку ниспадающего меню Времени и выберите нужный тип (Моментальный или Интервал).
- Задайте Часовой пояс для набора данных. Значение по умолчанию - UTC. Значение часового пояса должно быть задано, как оно показано здесь в столбце TZ.
- В разделе Поля выберите нужное поле времени, поставьте отметку Это поле содержит: Связанные со временем атрибуты и задайте формат времени и, при необходимости, роль.
- Повторите в случае необходимости предыдущий шаг для дополнительных полей.
- Щёлкните Сохранить.
- Измените имя или тип поля для набора данных .csv.
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите отредактировать.
- Щелкните карандаш Редактирования, чтобы указать детали и опции для соответствующих наборов.
- На вкладке Наборы данных выберите набор из раскрывающегося меню.
- В разделе Поля используйте ниспадающее меню для выбора нужного поля.
- Выбрав нужное поле, введите новое имя поля в диалоговом окне Имя и/или воспользуйтесь ниспадающим меню для выбора другого его Типа.
- Щёлкните Сохранить.
Подсказка:
Для более сложных рабочих процессов, например, требующих задания другого разделителя полей, знака конца строки или изменения нескольких названий полей, загрузите новый файл указаний, содержащий необходимые правила, и создайте заново манифест.
Редактирование манифеста или файла указаний файлового хранилища больших данных
На вкладке Расширенные редактора файлового хранилища больших данных можно редактировать связанный манифест или файл указаний, выбрав соответствующую вкладку. Если вы загрузите манифест, будут перезаписаны все изменения, внесенные вами в манифест хранилища больших данных в текстовом редакторе, и текущий манифест будет перезаписан. Подробнее см. О манифесте файлового хранилища больших данных. Для редактирования манифеста или файла указаний файлового хранилища больших данных выполните следующее:
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите изменить.
- Щелкните Карандаш редактирования для изменения опций манифеста.
- Перейдите на закладку Дополнительно.
- На вкладке Расширенные выберите вкладку Манифест или Указания в зависимости от того, что вы изменяете.
- Для загрузки файла манифеста щелкните Манифест > Загрузить.
- Для загрузки файла указаний щелкните Указания > Загрузить.
- Воспользуйтесь текстовым редактором для изменения и локального сохранения загруженного .json файла манифеста или .dat файла указаний.
Подсказка:
Формат файла по умолчанию для файла указаний - .dat. После загрузки файла можно изменить его расширение на .txt и выполнить редактирование. - Чтобы выгрузить отредактированный файл, щелкните Карандаш редактирования для файлового хранилища больших данных, которое вы хотите изменить.
- Для редактирования манифеста щелкните Расширенные > Манифест > Выгрузить и выберите обновленный файл .json.
- Для редактирования файла указаний щелкните Расширенные > Указания > Выгрузить и выберите обновленный файл .txt.
- Щелкните Выгрузить, чтобы загрузить сертификат.
Если вы будете загружать файл указаний, убедитесь, что вы заново сформировали манифест.
Повторно создайте манифест файлового хранилища больших данных
После создания файлового хранилища больших данных и манифеста для каждой записи в диалоговом окне Зарегистрированные хранилища данных появится кнопка создания нового манифеста.
Можно заново создать манифест, если вы добавили новые данные либо выгрузили файл указаний после его редактирования. Файл указаний содержит спецификации, которые используются при повторном формировании манифеста.