Файловые хранилища больших данных регистрируются в качестве хранилища данных через ArcGIS Server Manager на вашем ArcGIS GeoAnalytics Server. Для файловых ресурсов больших данных необходим манифест, в котором содержится описание схемы входных данных, а также поля и форматы, которые представляют геометрию и время в наборе данных. Манифест создается автоматически при регистрации вами файлового ресурса больших данных. Вам может потребоваться внести некоторые изменения, если что-то поменялось в данных, или если создание манифеста было невозможно, т.к. не удалось получить всю нужную информацию, например, при автоматическом создании манифеста было выбрано некорректное поле хранения геометрии или времени. Файловые хранилища больших данных могут дополнительно иметь шаблоны выходных данных, которые используются для определения формата результатов, которые записываются в файловое хранилище больших данных. Шаблоны выходных данных создаются при регистрации файлового хранилища больших данных и выборе использования файлового хранилища больших данных в качестве расположения выходных данных. Возможно, потребуется изменить один или несколько шаблонов, например формат полей времени и геометрии, или добавить или удалить шаблон.
Вы можете просматривать и редактировать наборы данных и информацию манифеста, а также шаблоны выходных данных в ArcGIS Server Manager на вашем ArcGIS GeoAnalytics Server.
Редактирование файлового хранилища больших данных
После регистрации файлового хранилища больших данных вы сможете просматривать и редактировать атрибуты и настройки зарегистрированных наборов данных этого элемента, открыв редактор манифеста файлового хранилища больших данных. Можно также изменить атрибуты и параметры для дополнительных шаблонов выходных данных, которые описывают, как выходные результаты будут записываться в файловое хранилище больших данных.
Например, для входных данных, вам может понадобиться проверить количество наборов данных в зарегистрированном файловом хранилище. Если вы не увидели в зарегистрированном файловом хранилище ожидаемого количества наборов данных, убедитесь, что зарегистрированное местоположение содержит допустимые наборы данных.
Для шаблона выходных данных может потребоваться отформатировать выходные данные файла с разделителями для записи файла с использованием табуляции в качестве разделителя и применить WKT для хранения геометрии.
Вы также можете просмотреть схемы наборов данных для зарегистрированного файлового хранилища больших данных. Можно изменить схему выбранного набора данных, обновив его геометрию, определение времени и имена полей в соответствующем ресурсе манифеста.
На вкладке дополнительной информации редактора манифеста файлового хранилища больших данных можно загрузить файл указаний, содержащий такую информацию о наборе данных, как: наличие или отсутствие строки заголовка; кодировка; разделитель полей; знак конца записи. При создании заново манифеста после загрузки файла указаний будет использоваться информация, введенная для создания манифеста.
Кроме того, вы можете загрузить манифест, редактировать его и выгрузить отредактированный файл .
Редактирование входных наборов данных файлового хранилища больших данных
В редакторе манифеста файлового хранилища больших данных можно просматривать выбранное хранилище и успешно зарегистрированные в нем наборы данных. При выборе набора данных в ниспадающем меню редактора заполняются соответствующие параметры О доступных в этом диалоговом окне опциях см. раздел Редактирование параметров файлового хранилища больших данных. Для редактирования параметров набора данных выполните следующее:
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите отредактировать.
- Щелкните значок в виде карандаша для функции Редактировать, чтобы просмотреть детали и опции для соответствующих наборов данных.
- Щелкните вкладку Наборы данных для просмотра зарегистрированных наборов данных и их соответствующих параметров.
- Выберите в ниспадающем меню набор данных, чтобы просмотреть информацию, находящуюся в манифесте. В случае необходимости внесите изменения в свой набор данных.
- По окончании редактирования свойств набора данных щелкните Сохранить.
Редактирование манифеста или файла указаний файлового хранилища больших данных
На вкладке Расширенные редактора файлового хранилища больших данных можно редактировать связанный манифест или файл указаний, выбрав соответствующую вкладку. Если вы загрузите манифест, то все изменения, внесенные вами в манифест хранилища больших данных в текстовом редакторе, будут стерты, и текущий манифест будет заменен. Дополнительные сведения о манифестах файлового хранилища больших данных см. в разделе Знакомство с манифестом файлового хранилища больших данных. Для получения подробной информации о файлах подсказок см. раздел О файлах подсказок. Для редактирования манифеста или файла указаний файлового хранилища больших данных выполните следующее:
- В диалоговом окне Зарегистрированные хранилища данных выберите файловое хранилище больших данных, которое вы хотите изменить.
- Щелкните значок в виде карандаша для функции Редактировать, чтобы просмотреть опции и изменить ресурсы манифеста.
- Перейдите на вкладку Дополнительно.
- На вкладке Расширенные выберите вкладку Манифест или Указания в зависимости от того, что вы изменяете.
- Для загрузки файла манифеста щелкните Манифест > Загрузить.
- Для загрузки файла указаний щелкните Указания > Загрузить.
- Воспользуйтесь текстовым редактором для изменения и локального сохранения загруженного .json файла манифеста или .dat файла указаний.
Подсказка:
Формат файла по умолчанию для файла указаний - .dat. После загрузки файла можно изменить его расширение на .txt и выполнить редактирование. - Чтобы выгрузить отредактированный файл, щелкните Карандаш редактирования для файлового хранилища больших данных, которое вы хотите изменить.
- Для редактирования манифеста щелкните Расширенные > Манифест > Выгрузить и выберите обновленный файл .json.
- Для редактирования файла указаний щелкните Расширенные > Указания > Выгрузить и выберите обновленный файл .txt.
- Щелкните Выгрузить, чтобы загрузить сертификат.
Если вы будете загружать файл указаний, убедитесь, что вы заново сформировали манифест. При обновлении манифеста обновляются только наборы данных с готовыми подсказками или новые наборы данных; изменения любых других наборов данных, внесенные не в файл указаний, останутся без изменений.
Повторно создайте манифест файлового хранилища больших данных
После создания файлового хранилища больших данных и манифеста для каждой записи в диалоговом окне Зарегистрированные хранилища данных появится кнопка создания нового манифеста.
Можно заново создать манифест, если вы добавили новые данные либо выгрузили файл указаний после его редактирования. Файл указаний содержит спецификации, которые используются при повторном формировании манифеста.
Примечание:
При новом создании манифеста будет обновлен манифест для имеющихся наборов данных с файлом указаний или для новых наборов данных. Все внесенные вами в манифест изменения будут перезаписаны с использованием правил, определенных в файле указаний.Параметры редактирования файлового хранилища больших данных
Файловое хранилище больших данных содержит следующие пять разделов:
- Выбор набора данных
- Поля
- Геометрия
- Время
- Формат набора данных
Рекомендуется использовать файл подсказок перед редактированием данных, если при создании манифеста не были корректно заданы имена полей, кодировка, разделители полей и кавычки.
Выбор набора данных
Манифест состоит из одного или нескольких наборов данных. Количество наборов данных зависит от количества папок, из которого состоит файловое хранилище больших данных. Когда вы открываете менеджер манифестов, вы можете просматривать наборы данных, успешно зарегистрированные в вашем хранилище больших данных. Когда вы выбираете в ниспадающем меню набор данных, параметры набора данных заполняются информацией о наборе данных.
Если вы планируете найти больше наборов данных в вашем манифесте или не можете какие-то найти, выполните следующее:
- Убедитесь, что вы корректно зарегистрировали папку верхнего уровня. Дополнительные сведения см. в разделе Регистрация ваших данных в ArcGIS Server Manager.
- Убедитесь, что входные данные представлены в допустимом формате, например, что это файлы с разделителями, шейп-файлы, parquet или ORC.
- Убедитесь, что схема входного набора данных соответствует набору файлов (все файлы отдельного набора данных должны иметь одинаковые поля).
Поля
В разделе "поля" перечислены все поля набора данных. При выборе набора данных вы сможете увидеть для каждого поля следующее:
- Название поля
- Тип поля
Имя поля и тип поля для файлов с разделителями могут изменяться. Если вы изменяете более одного имени поля, рекомендуется использовать файл подсказок.
Если входным набором данных является файл с разделителями, будет несколько параметров, которые можно изменить в манифесте в ArcGIS Server Manager
Геометрия
В разделе Геометрия указан тип геометрии, и как он представлен. В следующей таблице содержится описание доступных опций с примечаниями, касающимися изменений, которые вы можете вносить в зависимости от типа входного набора данных:
Параметры геометрии
| Параметр | Описание | Файлы с разделителями | Шейп-файлы | Файлы ORC | Файлы Parquet |
|---|---|---|---|---|---|
Геометрия | Тип геометрии Вариантами являются Точка, Полилиния, Полигон или None. Если геометрия отсутствует, входными данными служит таблица. | Доступно для редактирования | Изменение невозможно | Доступно для редактирования | Доступно для редактирования |
Пространственная привязка (WKID/WKT) | Пространственная привязка набора данных. Эта опция отображается, только если набор данных не является таблицей. | Возможно изменение. По умолчанию будет задано 4326, WGS 1984. | Изменение невозможно | Доступно для редактирования | Доступно для редактирования |
Тип форматирования геометрии | Как форматируется геометрия для каждого объекта. Доступными вариантами являются XYZ (поля, которые представлены значениями X, Y и (не обязательно) Z – XYZ , применяются только для точек), WKT (well known text), GeoJson, EsriJson и шейп (shape). Эта опция доступна, только если набор данных не является таблицей или шейп-файлом. | Доступно для редактирования | Недоступно | Доступно для редактирования | Доступно для редактирования |
Время
Раздел Время содержит описание способа представления времени. В следующей таблице содержится описание доступных опций с примечаниями, касающимися изменений, которые вы можете вносить в зависимости от типа входного набора данных. Опции времени одинаковы для всех типов данных, кроме особо оговоренных случаев.
Параметры времени
| Параметр | Описание | Пример |
|---|---|---|
Тип времени | Тип входного набора данных времени. Доступными опциями являются Момент времени (один момент времени), Интервал (промежуток времени с начальным и конечным временем) и None. | Момент |
Часовой пояс | Часовой пояс входного набора данных. Данная опция доступна, только если Тип времени не является None. | UTC: |
Имя и таблица форматирования для времени | Эта таблица выбирает поле или поля времени и содержит описание того, как задано время. Для определения времени может использоваться одно или несколько полей, а также один или несколько форматов для одного отдельного поля. По умолчанию первое поле с именем «время» будет использоваться как поле времени с оценкой формата времени. Если имеется шейп-файл, будет использовано первое поле типа «дата». Если тип времени Интервал, то должно быть указано начальное и конечное время. Таблица форматирования времени доступна, только если Тип времени не является None. | Пример с одним полем, которое используется для представления времени в двух разных форматах:
Пример с двумя полями, которые используются для представления времени :
|
Форматы времени
В следующей таблице описывается, как представляется время при редактировании хранилища больших данных в ArcGIS Server Manager или непосредственно в манифесте. В примере показано, как представляется следующий момент времени: 2 января 2016 года в 21:45:02.05.
Форматы времени в файловых хранилищах больших данных
| Символ | Значение | Пример |
|---|---|---|
гг | Год выражается двумя цифрами. | 16 |
ггггг | Год выражается четырьмя цифрами. | 2016 |
MM | Месяц выражается числом. | 01 или 1 |
MMM | Месяц выражается трехбуквенным обозначением. | Jan |
MMMM | Месяц выражается полным названием. | January |
дд | День. | 02 или 2 |
ЧЧ | Час в 24-часовой системе (значения от 0 до 23). | 21 |
чч | Час в 12-часовой системе; значения от 1 до 12). | 9 |
мм | Минута; значения в диапазоне от 0 до 59. | 45 |
сс | Секунда; значения в диапазоне от 0 до 59. | 02 |
ССС | Миллисекунда; значения в диапазоне от 0 до 999. | 50 |
a | Маркер AM/PM. | PM |
epoch_millis | Время в миллисекундах с epoch. | 1509581781000 |
epoch_seconds | Время в секундах с epoch. | 1509747601 |
Z | Смещение часового пояса, выраженное в часах. | -0100 или -01:00 |
ZZZ | Смещение часового пояса, выраженное с помощью ID. | America/Los_Angeles |
'' | Используйте одинарные кавычки для добавления текста, который не представляет значение, описанное в этой таблице. | 'T' |
В следующей таблице содержатся примеры различных форматов представления одной и той же даты: 2 января 2016 года в 21:45:02.05:
Примеры формата времени
| Входная дата | Формат даты |
|---|---|
01/02/2016 9:45:02PM | ММ/дд/гггг чч:мм:ссa |
Jan02-16 21:45:02 | ММММдд-гг ЧЧ:мм:сс |
January 02 2016 9:45:02.050PM | ММММ дд гггг чч:мм:сс.СССa |
01/02/2017T9:45:14:05-0000 | ММ/дд/гггг чч:мм:ссa |
Формат набора данных
В разделе формата набора данных описывается формат, в котором выражены эти данные. Данные могут быть в одном из следующих форматов:
- Шейп-файлы (.SHP)
- Файл с разделителями (например, .csv)
- Файл Parquet
- Файл ORC
Доступные параметры различаются в зависимости от набора данных. Для шейп-файлов, а также файлов ORC и parquet единственный параметр – это тип файла, изменить который нельзя. Если входным набором данных является файл с разделителями, будет несколько параметров, которые можно изменить. Чтобы изменить значения для файла с разделителями, используйте файл подсказок и повторно создайте манифест.. Они показаны в следующей таблице:
Форматы наборов данных
| Параметр | Описание |
|---|---|
Расширение файла | Показывает расширение входного набора данных. Стандартными форматами являются .csv и .txt. Измените эту информацию для файла с разделителями, используя файл подсказок. |
Разделитель полей | Определяет разделитель для каждого поля. Стандартными форматами являются , и ;. Измените эту информацию для файла с разделителями, используя файл подсказок. |
Ограничитель записи | Определяет ограничитель для каждой строки данных. Стандартными форматами являются \n и \t. Измените эту информацию для файла с разделителями, используя файл подсказок. |
Символ кавычки | Определяет символ, используемый для кавычек. Измените эту информацию для файла с разделителями, используя файл подсказок. |
Содержит строку заголовка | Значение Boolean, определяющее наличие во входной таблице строки заголовка. Если есть строка заголовка, для имен полей будут использоваться заголовки. Информация об имени полей геометрии и времени. Задает строки заголовков , используя файл подсказок. |
Кодировка | Тип кодировки, используемый на данном файле. По умолчанию это будет UTF-8. Он задается в файле подсказок. |
Редактирование параметров шаблона выходных данных файлового хранилища больших данных
Редактор шаблона выходных данных для файлового хранилища больших данных содержит следующие четыре раздела:
- Выбор шаблона выходных данных
- Форматирование геометрии
- Форматирование времени
- Формат набора данных
Выбор набора данных
Файловое хранилище больших данных дополнительно содержит один или несколько шаблонов. Число шаблонов определяется различными форматами, в которых вы хотите записывать результаты. Когда вы открываете менеджер шаблонов выходных данных, вы можете просматривать шаблоны, успешно зарегистрированные в вашем файловом хранилище больших данных. Когда вы выбираете в ниспадающем меню шаблон, параметры шаблона заполняются информацией о нем. Если вам необходимо добавить новый шаблон, щелкните Добавить шаблон и выберите тип и имя для нового шаблона. Если вы хотите удалить шаблон, выберите его из списка шаблонов нажмите Удалить шаблон. Существующий шаблон можно изменить, выбрав его и изменив при необходимости любой из приведенных ниже разделов.
Примечание:
В файловых хранилищах больших данных есть раздел Поля. Шаблоны выходных данных не имеют раздела Поля, так как полученные в результате поля задаются Инструменты геоаналитики. ORC поддерживает только имена полей, использующие буквы латинского алфавита и числовые символы. Все остальные символы в имени поля заменяются символом подчеркивания.
Геометрия
В разделе геометрия перечислены способы форматирования выходной геометрии каждого типа геометрии (точка, линия, полигон). Существует два аспекта определения выходной геометрии:
- Пространственная привязка – вы можете оставить ее пустой, и она будет использовать ту, что по умолчанию применяется для инструмента. При необходимости укажите строку WKID или WKT, и все результаты будут проецироваться в эту пространственную привязку. Это значение является общим для всей выходной геометрии.
- Тип форматирования геометрии и поля. Это подробно описывается ниже.
Форматы выходной геометрии
| Тип геометрии | Выходные поля | Файлы с разделителями | Шейп-файлы | Файлы ORC | Файлы Parquet |
|---|---|---|---|---|---|
XYZ – X, Y и дополнительно поле Z. Эта опция доступна только для точек. | По умолчанию, будут созданы три новых поля с именами X, Y и Z. По желанию вы можете изменить имена этих полей. |  | | | |
WKT | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | | |
GeoJSON | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | | |
EsriJSON | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | | |
SHP | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | |||
WKB | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | ||
Буфер геометрии | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | |
Время
В разделе время описывается, как представлено выходное время. Для форматирования времени требуется следующая информация:
- Форматирование для мгновений и интервалов.
- Имена полей, в которые будет записываться время.
- Формат (String или Date), в котором будет записываться время. Обратите внимание, что файлы с разделителями могут иметь формат только string.
- Для интервалов необходимы поля, которые представляют начальное и конечное время.
Форматирование времени является тем же, что и во входных файлах больших данных. См. Форматы времени в файловом хранилище больших данных.
Формат набора данных
В разделе формат набора данных описывается формат выходных данных, в который будут записываться данные. Данные могут быть в одном из следующих форматов:
- Шейп-файлы (.SHP)
- Файл с разделителями (например, .csv)
- Файл Parquet
- Файл ORC
Доступные параметры различаются в зависимости от набора данных. Для шейп-файлов, а также файлов ORC и parquet единственный параметр – это тип файла, изменить который нельзя. Если входным набором данных является файл с разделителями, будет несколько параметров, которые можно изменить в ArcGIS Server Manager. Они показаны в следующей таблице:
Форматы наборов данных
| Параметр | Описание |
|---|---|
Расширение файла | Расширения не применяются в выходных данных. |
Разделитель полей | Определяет разделитель для каждого поля. Стандартными форматами являются , и ;. |
Ограничитель записи | Признак конца для каждой строки данных не может быть установлен. Для Windows Признак конца для строки – \r\n, для Linux – \n. |
Символ кавычки | Определяет символ, используемый для кавычек. |
Содержит строку заголовка | Значение Boolean, определяющее, будет ли выходная таблица включать строку заголовка, представляющую имена полей. По умолчанию – true. |
Кодировка | Всегда будет UTF-8. |