Файловые хранилища больших данных регистрируются через вашу страницу ресурсов портала. Когда вы добавляете файловое хранилище больших данных на портал, он также создает связанный элемент хранилища данных. Когда вы добавляете файловое хранилище больших данных облачного хранилища, он создает элемент файлового хранилища больших данных, элемент хранилища данных типа файлового хранилища больших данных и элемент хранилища данных типа облачное хранилище. Элемент портала файлового хранилища больших данных включает следующие вкладки:
- Обзор - предоставляет общую информацию о вашем файловом хранилище больших данных и связанных элементах хранилища данных. Связанные элементы хранилища данных можно совместно использовать и удалять с помощью файлового хранилища больших данных.
- Наборы данных - перечисляет наборы данных и обрисовывает схему входных данных. Информация о наборе данных включает поля и форматы, которые представляют геометрию и время.
- Выходные данные - описываются дополнительные шаблоны выходных данных, которые позволяют записывать результаты в файловое хранилище больших данных. Выходные шаблоны не являются обязательными и создаются после регистрации файлового хранилища больших данных. См. раздел Создание, редактирование и просмотр выходных шаблонов, чтобы узнать, как создавать или редактировать выходной шаблон.
- Настройки - описывает статус ресурсов, экстент и защиту от удаления.
Вы можете просматривать и редактировать наборы данных, схему и выходные шаблоны с помощью элемента файлового хранилища больших данных.
Примечание:
Чтобы предоставить общий доступ к элементу Файлового хранилища больших данных, вы должны предоставить общий доступ к элементу корневого хранилища данных. Корневым хранилищем данных для файлового хранилища больших данных типа Cloud является одноименный элемент Data Store (Cloud). Для всех других типов файловых хранилищ больших данных (File Share, HDFS и HIVE) корневым хранилищем данных является одноименный элемент Data Store (Big Data File Share).Редактирование файлового хранилища больших данных
После создания файлового хранилища больших данных через портал вы можете использовать элемент файлового хранилища больших данных для просмотра наборов данных, редактирования форматирования наборов данных или синхронизации файлового хранилища больших данных для добавления дополнительных наборов данных.
Файловое хранилище больших данных состоит из одного или нескольких наборов данных. Количество наборов данных зависит от количества папок, из которого состоит файловое хранилище больших данных. Вы можете просматривать наборы данных, которые были успешно зарегистрированы в вашем файловом хранилище больших данных.
Если вы ожидали найти больше наборов данных в файловом хранилище больших данных или у вас их нет, сделайте следующее:
- Убедитесь, что вы корректно зарегистрировали папку верхнего уровня. Дополнительные сведения см. в разделе Подготовка данных .
- Убедитесь, что входные данные представлены в допустимом формате, например, что это файлы с разделителями, шейп-файлы, parquet или ORC.
- Убедитесь, что схема входного набора данных соответствует набору файлов (все файлы отдельного набора данных должны иметь одинаковые поля).
Вы можете использовать набор данных, чтобы проверить количество наборов данных в файловом хранилище больших данных или просмотреть схемы наборов данных для зарегистрированного набора данных. Вы можете изменить схему выбранного набора данных, обновив его геометрию, определение времени и имена полей, выполнив следующие действия.
Редактирование входных наборов данных файлового хранилища больших данных
Редактирование элемента файлового хранилища больших данных позволяет вам изменить способ регистрации и использования ваших данных для анализа. Вы также можете использовать опцию редактирования, чтобы просмотреть, как ваши данные в настоящее время зарегистрированы. О доступных в этом диалоговом окне опциях см. раздел Редактирование параметров файлового хранилища больших данных. Для редактирования параметров набора данных выполните следующее:
- Откройте в ресурсах вашего портала элемент Файлового хранилища больших данных.
- Щелкните вкладку Набор данных.
- Щелкните кнопку Редактировать рядом с набором данных, который нужно отредактировать.
- Измените набор данных с помощью опций Поля, Геометрия, Время и Файл.
- По окончании редактирования свойств набора данных щелкните Сохранить.
Редактирование манифеста или файла указаний файлового хранилища больших данных
В опции Показать дополнительные возможности на вкладке Наборы данных файлового хранилища больших данных вы можете просматривать, загружать и выгружать файл манифеста или подсказок. Если вы загружаете манифест, он перезаписывает любые изменения, внесенные вами в наборы данных файлового хранилища больших данных, и заменяет существующие наборы данных и схему. Дополнительные сведения о манифесте файлового хранилища больших данных см. в разделе Манифест файлового хранилища больших данных. Чтобы узнать больше об использовании файла подсказок, см. Файл подсказок. Для редактирования манифеста или файла указаний файлового хранилища больших данных выполните следующее:
- Откройте в ресурсах вашего портала элемент Файлового хранилища больших данных.
- Щелкните вкладку Наборы данных.
- Щелкните кнопку переключателя опции Показать дополнительные возможности, чтобы включить ее.
- Чтобы загрузить файл манифеста, щелкните Скачать в разделе манифеста.
- Чтобы скачать файл подсказок, щелкните Скачать в разделе подсказок.
- Воспользуйтесь текстовым редактором для изменения и локального сохранения загруженного .json файла манифеста или файла указаний .dat.
Подсказка:
Формат файла по умолчанию для файла указаний – .dat. После загрузки файла можно изменить его расширение на .txt и выполнить редактирование. - Чтобы загрузить отредактированный файл, в файловом хранилище больших данных перейдите на вкладку Набор данных и включите опцию Показать дополнительные возможности.
- Чтобы загрузить манифест, щелкните Загрузить в разделе манифест и перейдите к обновленному файлу .json.
- Чтобы загрузить файл подсказок, щелкните Загрузить в разделе подсказки и перейдите к обновленному файлу .txt.
- Щелкните Загрузить.
Если вы загружаете файл подсказок, синхронизируйте файловое хранилище больших данных. При синхронизации обновляются только наборы данных с подсказками или новые наборы данных, а изменения, внесенные в любые другие наборы данных, не содержащиеся в файле подсказок, остаются прежними.
Синхронизация файлового хранилища больших данных
Вы можете синхронизировать в своем подключении больших данных, если вы добавляете новые наборы данных в свой источник данных или если вы загрузили файл подсказок. Файл подсказок содержит спецификации, которые используются при регенерации файлового хранилища больших данных.
Примечание:
Когда файловое хранилище больших данных синхронизируется, оно обновляет только файловое хранилище больших данных для существующих наборов данных, которые имеют файл подсказок или новые наборы данных. Любые изменения, внесенные вами в наборы данных в файле подсказок, перезаписываются правилами, определенными в файле подсказок.- Откройте в ресурсах вашего портала элемент Файлового хранилища больших данных.
- Щелкните вкладку Наборы данных.
- Щелкните кнопку Синхронизация, чтобы включить ее.
Создание, редактирование и просмотр выходных шаблонов
Вы можете создавать, просматривать или редактировать выходные шаблоны. Вы также можете редактировать атрибуты и настройки для выходных шаблонов, в которых описывается, как результаты выхода записываются в файловую папку больших данных.
Чтобы создать выходной шаблон, выполните следующие действия:
- Откройте в ресурсах вашего портала элемент Файлового хранилища больших данных.
- Щелкните вкладку Выходы.
- Щелкните кнопку Добавить выходной шаблон.
- Создайте имя для выходного шаблона и выберите тип файла, в который будет записывать выходной шаблон.
- Задайте форматы геометрии для этого шаблона, щелкнув вкладку Геометрия. Вы можете установить их для одного, двух или всех типов геометрии. Опции форматирования такие же, как и у входных файловых хранилищ больших данных.
- Установите форматы времени для этого шаблона, щелкнув вкладку Время. Вы можете оставить поле пустым, установить один из отдельных моментов или интервалов, либо и то, и другое. Опции форматирования времени такие же, как и входные форматы времени файлового хранилища больших данных.
- Щелкните Сохранить, когда закончите.
Используйте те же шаги для просмотра или редактирования шаблона.
Параметры редактирования файлового хранилища больших данных
Редактор файлового хранилища больших данных состоит из следующих четырех разделов:
- Поля
- Геометрия
- Время
- Файл
Рекомендуется использовать файл подсказок перед редактированием данных, если генерация манифеста неправильно определила имена полей, кодировку, разделители полей или символы кавычек в файле с разделителями.
Поля
В разделе "поля" перечислены все поля набора данных. Когда вы выбираете набор данных, вы можете видеть следующее для каждого поля:
- Название поля
- Тип поля
Вы можете изменить имя и тип поля только для файлов с разделителями. Если вы изменяете много имен полей, рекомендуется использовать файл подсказок.
Геометрия
В разделе геометрии перечислены тип геометрии, способ ее представления и пространственная привязка. В следующей таблице содержится описание доступных опций с примечаниями, касающимися изменений, которые вы можете вносить в зависимости от типа входного набора данных:
Параметры геометрии
| Параметр | Описание | Файлы с разделителями | Шейп-файлы | Файлы ORC | Файлы Parquet |
|---|---|---|---|---|---|
Геометрия | Тип геометрии. Вариантами являются Точка, Полилиния, Полигон или None. Если геометрии нет (None), набор данных представляет собой таблицу. | Доступно для редактирования | Изменение невозможно | Доступно для редактирования | Доступно для редактирования |
Пространственная привязка (WKID/WKT) | Пространственная привязка набора данных. Эта опция отображается только в том случае, если геометрия не является нулевой. | Редактируемые. По умолчанию будет задано 4326, WGS 1984. | Изменение невозможно | Доступно для редактирования | Доступно для редактирования |
Тип формата геометрии | Как форматируется геометрия для каждого объекта. Возможные опции: XYZ (поля, которые представляют значения X, Y и, необязательно, Z - XYZ применимо только к точкам), WKT (общеизвестный текст), WKB (хорошо известный двоичный код), GeoJson, EsriJson и EsriShape. Эта опция отображается только в том случае, если геометрия не является нулевой. | Доступно для редактирования | Недоступно, опция не отображается. | Доступно для редактирования | Доступно для редактирования |
Поля геометрии | Это используется, чтобы указать, какие поля представляют геометрию. В некоторых случаях поле должно быть определенного типа. Для форматов WKB и EsriShape требуется двоичное поле, а для GeoJSON и EsriJSON требуется строковое поле. Поля XYZ должны быть числовыми. Эта опция отображается только в том случае, если геометрия не является нулевой. | Доступно для редактирования | Недоступно, опция не отображается. | Доступно для редактирования | Доступно для редактирования |
Время
Раздел Время содержит описание способа представления времени. В следующей таблице содержится описание доступных опций с примечаниями, касающимися изменений, которые вы можете вносить в зависимости от типа входного набора данных. Опции времени одинаковы для всех типов данных, кроме особо оговоренных случаев.
Параметры времени
| Параметр | Описание | Пример |
|---|---|---|
Тип времени | Тип входного набора данных времени. Доступными опциями являются Момент времени (один момент времени), Интервал (промежуток времени с начальным и конечным временем) и None. | Текущий |
Поля времени, Поля времени начала и Поля времени окончания | Если вы выберете Момент, вы увидите Поля времени. Если вы выберете Интервал, вы увидите Поля времени начала и Поля времени окончания. Эти опции определяют поля и форматирование, используемые для определения времени во входных данных. Для определения времени может использоваться одно или несколько полей, а также один или несколько форматов для одного отдельного поля. По умолчанию первое поле с именем time будет использоваться как поле времени с оценкой формата времени. Если имеется шейп-файл, будет использовано первое поле типа date. Для этих таблиц должна быть заполнена хотя бы одна строка. См. форматы времени, чтобы узнать больше о форматировании. Таблица форматирования времени доступна, только если Тип времени не является None. | Пример с одним полем, которое используется для представления времени в двух разных форматах:
Пример с двумя полями, которые используются для представления времени:
|
Часовой пояс | Часовой пояс входного набора данных. Данная опция доступна, только если Тип времени не является None. По умолчанию – UTC. | UTC |
Форматы времени
В следующей таблице показано, как представлять форматирование времени. Все примеры показывают, как представить время 2 января 2016 г., 21:45:02.05.
Форматы времени в файловых хранилищах больших данных
| Формат | Значение | Пример |
|---|---|---|
yy | Год выражается двумя цифрами. | 16 |
yyyy | Год выражается четырьмя цифрами. | 2016 |
MM | Месяц выражается числом. | 01 или 1 |
MMM | Месяц выражается трехбуквенным обозначением. | Jan |
MMMM | Месяц выражается полным названием. | January |
dd | День. | 02 или 2 |
HH | Час в 24-часовой системе (значения от 0 до 23). | 21 |
hh | Час в 12-часовой системе; значения от 1 до 12). | 9 |
mm | Минута; значения в диапазоне от 0 до 59. | 45 |
ss | Секунда; значения в диапазоне от 0 до 59. | 02 |
ССС | Миллисекунда; значения в диапазоне от 0 до 999. | 50 |
a | Маркер AM/PM. | PM |
epoch_millis | Время в миллисекундах с epoch. | 1509581781000 |
epoch_seconds | Время в секундах с epoch. | 1509747601 |
Z | Смещение часового пояса, выраженное в часах. | -0100 или -01:00 |
ZZZ | Смещение часового пояса, выраженное с помощью ID. | America/Los_Angeles |
'' | Используйте одинарные кавычки для добавления текста, который не представляет значение, описанное в этой таблице. | 'T' |
В следующей таблице содержатся примеры различных форматов представления одной и той же даты: 2 января 2016 года в 21:45:02.05:
Примеры формата времени
| Входная дата | Формат |
|---|---|
01/02/2016 9:45:02PM | ММ/дд/гггг чч:мм:ссa |
Jan02-16 21:45:02 | ММММдд-гг ЧЧ:мм:сс |
January 02 2016 9:45:02.050PM | ММММ дд гггг чч:мм:сс.СССa |
01/02/2017T9:45:14:05-0000 | ММ/дд/гггг чч:мм:ссa |
Файл
Раздел файла описывает формат данных. Данные могут быть в одном из следующих форматов:
- Шейп-файлы (.SHP)
- Файл с разделителями (например, .csv)
- Файл Parquet
- Файл ORC
Доступные параметры различаются в зависимости от набора данных. Для шейп-файлов, а также файлов ORC и parquet единственный параметр – это тип файла, изменить который нельзя. Если входным набором данных является файл с разделителями, будет несколько параметров, которые можно изменить. Чтобы изменить значения для файла с разделителями, используйте файл подсказок и повторно создайте манифест.. Они показаны в следующей таблице:
Форматы наборов данных
| Параметр | Описание |
|---|---|
Расширение файла | Показывает расширение входного набора данных. Стандартными форматами являются .csv и .txt. |
Разделитель полей | Определяет разделитель для каждого поля. Стандартными форматами являются , и ;. |
Ограничитель записи | Определяет ограничитель для каждой строки данных. Стандартными форматами являются \n и \t. |
Символ кавычки | Определяет символ, используемый для кавычек. |
Содержит строку заголовка | Значение Boolean, определяющее наличие во входной таблице строки заголовка. Если есть строка заголовка, для имен полей будут использоваться заголовки. Информация об имени полей геометрии и времени. |
Кодировка | Тип кодировки, используемый на данном файле. По умолчанию это будет UTF-8. |
Редактирование параметров шаблона выходных данных файлового хранилища больших данных
Редактор шаблона выходных данных для файлового хранилища больших данных содержит следующие три раздела:
- Имя и тип файла
- Форматирование геометрии
- Форматирование времени
Примечание:
В файловых хранилищах больших данных есть раздел Поля. Шаблоны выходных данных не имеют раздела Поля, так как полученные в результате поля задаются GeoAnalytics Tools. ORC поддерживает только имена полей, использующие буквы латинского алфавита и числовые символы. Все остальные символы в имени поля заменяются подчеркиванием.
Форматы выходной геометрии
В разделе геометрии указано, как вы хотите форматировать выходную геометрию для каждого типа геометрии (точка, линия, полигон). Существует два аспекта определения выходной геометрии:
- Пространственная привязка – вы можете оставить ее пустой, и она будет использовать ту, что по умолчанию применяется для инструмента. При необходимости укажите строку WKID или WKT, и все результаты будут проецироваться в эту пространственную привязку. Это значение является общим для всей выходной геометрии.
- Тип и поля форматирования геометрии - это более подробно описано ниже.
Форматы выходной геометрии
| Тип геометрии | Выходные поля | Файлы с разделителями | Шейп-файлы | Файлы ORC | Файлы Parquet |
|---|---|---|---|---|---|
XYZ – X, Y и дополнительно поле Z. Эта опция доступна только для точек. | По умолчанию, будут созданы три новых поля с именами X, Y и Z. По желанию вы можете изменить имена этих полей. |  | | | |
WKT | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | | |
GeoJSON | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | | |
EsriJSON | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | | |
WKB | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | | ||
EsriShape | По умолчанию, будет создано одно новое поле с именем Geometry. По желанию вы можете изменить имена выходных полей. | | |
Выходные форматы времени
В разделе время описывается, как представлено выходное время. Для форматирования времени требуется следующая информация:
- Форматирование для мгновений и интервалов.
- Имена полей, в которые будет записываться время.
- Формат (String или Date), в котором будет записываться время. Обратите внимание, что файлы с разделителями могут иметь формат только string.
- Для интервалов необходимы поля, которые представляют начальное и конечное время.
Форматирование времени является тем же, что и во входных файлах больших данных. См. Форматы времени в файловых хранилищах больших данных.
Формат выходного набора данных
В разделе формат набора данных описывается формат выходных данных, в который будут записываться данные. Данные могут быть в одном из следующих форматов:
- Шейп-файлы (.SHP)
- Файл с разделителями (например, .csv)
- Файл Parquet
- Файл ORC
Доступные параметры различаются в зависимости от набора данных. Для шейп-файлов, а также файлов ORC и parquet единственный параметр – это тип файла, изменить который нельзя. Если набор данных представляет собой файл с разделителями, будет несколько параметров, которые можно изменить в ArcGIS Server Manager. Они показаны в следующей таблице:
Форматы наборов данных
| Параметр | Описание |
|---|---|
Расширение файла | Расширения не применяются в выходных наборах данных. |
Разделитель полей | Определяет разделитель для каждого поля. Стандартными форматами являются , и ;. |
Ограничитель записи | Признак конца для каждой строки данных не может быть установлен. Для Windows ограничитель - \r\n. Для Linux это - \n. |
Символ кавычки | Определяет символ, используемый для кавычек. |
Содержит строку заголовка | Значение Boolean, определяющее, будет ли выходная таблица включать строку заголовка, представляющую имена полей. По умолчанию – true. |
Кодировка | Всегда будет UTF-8. |