Выполнение анализа больших данных с помощью ArcGIS GeoAnalytics Server

ArcGIS GeoAnalytics Server - предназначен для обработки больших данных и анализа в ArcGIS Enterprise. Он предоставляет распределенную вычислительную среду, которая обеспечивает набор инструментов для анализа больших объемов данных. С помощью выполнения агрегации, регрессии, выявления, кластеризации и других функций можно визуализировать, анализировать и взаимодействовать с большими данными. GeoAnalytics Server позволяет выявить скрытые закономерности в данных, такие как тренды и аномалии.

ArcGIS GeoAnalytics Server - предназначен для обработки больших данных и анализа в ArcGIS Enterprise. Он предоставляет распределенную вычислительную среду, которая обеспечивает набор инструментов для анализа больших объемов данных. С помощью выполнения агрегации, регрессии, выявления, кластеризации и других функций можно визуализировать, анализировать и взаимодействовать с большими данными. GeoAnalytics Server позволяет выявить скрытые закономерности в данных, такие как тренды и аномалии.

Инструменты геоаналитики универсальны для различных отраслей промышленности. В следующих примерах показано, как можно использовать GeoAnalytics Server для различных задач:

• Как криминальный аналитик, вы можете визуализировать и оценить местоположения и время преступлений в вашем штате, а также близость преступлений к областям, представляющим интерес, таким как местам проведения событий, полицейских участков и центру города. Подходящие инструменты: Агрегировать точки и Присоединить объекты.
• Являясь руководящим сотрудником в департаменте транспорта, вы можете анализировать данные о дорожном движении и авариях за десятилетия, чтобы определить взаимосвязи инцидентов. Вы также можете проанализировать, когда определенные транспортные средства превышали скорость и ломались, и соотнести эти данные с местами дорожно-транспортных происшествий. Подходящие инструменты: Поиск кластеров точек и Заново создать треки.
• Как ученый-эколог вы можете определить время и местоположение высоких уровней озона по всей стране в наборе данных миллионов статических датчиков. Подходящие инструменты: Выявление инцидентов и Создать куб Пространство-Время.
• Инженер-электрик может определить, насколько близко удары молнии были к вашим электрическим линиям и подстанциям. Подходящие инструменты: Создать буферы и Присоединить объекты.
• Как техник водоканала, вы можете сортировать рабочие задания на устранение утечек и присоединять эти задания к набору данных о типах почв, чтобы определить, произошли ли утечки в областях, где есть особенно коррозионная почва. Подходящие инструменты: Создать куб Пространство-Время и Поиск горячих точек.
• Менеджер розничной сети может оценить возможности перестройки торговых зон на основе демографии, прошлых продаж или расстояния до магазина и от него. Вы также можете увидеть, насколько отличается прибыльность магазина с вашей линейкой продуктов. Подходящие инструменты: Слияние границ и Найти схожие местоположения.
• Являясь геоаналитиком в области градоуправления, вы можете использовать ArcGIS GeoEvent Server для получения данных GPS со всех транспортных средств, обслуживающих город, например, со служебной техники и снегоуборочных машин. Вы можете увидеть, пути движения транспортных средств, области, которые обслуживаются ими не полностью, и получить информацию о тех средствах, нарушающих ограничения скорости. Подходящие инструменты: Заново создать треки, Агрегировать точки и Выявление инцидентов.

Доступ к GeoAnalytics Tools

Вы можете использовать инструменты анализа объектов из ArcGIS GeoAnalytics Server в Map Viewer в ArcGIS Pro, ArcGIS API for Python и через ArcGIS REST API. Будучи участником портала, вы сможете получить доступ к инструментам, следуя инструкциям ниже.

Для информации о запуске инструментов через ArcGIS REST API, см. документацию ArcGIS REST API. Более подробно о запуске инструментов в ArcGIS Pro см. в документации ArcGIS Pro.

Доступ к инструментам из Map Viewer

Доступ к инструментам из Map Viewer выполняется следующим образом:

1. Войдите на портал из-под участника с правами на выполнение анализа объектов помощью Геоаналитики.
2. Щелкните Карта, чтобы открытьMap Viewer.
3. Щелкните Анализ и выберите Инструменты геоаналитики.

Примечание:

Если во вьюере карт вы не видите кнопку Анализ или вкладку Инструменты геоаналитики в Map Viewer, то свяжитесь с администратором портала. Портал может быть не настроен для работы с ArcGIS GeoAnalytics Server или у вас нет прав доступа для работы с этими инструментами. Если у вас нет соответствующих прав для запуска инструментов, то они не будет отображаться.

Доступ к инструментам из ArcGIS API for Python

ArcGIS API for Python позволяет ГИС-аналитикам и специалистам по обработке данных выполнять запросы, отображать, анализировать и преобразовывать свои пространственные данные, используя GeoAnalytics Tools, доступные в организации. Более подробно об аналитических возможностях работы API см. сайт документации.

Вы можете обратиться к инструментам анализа больших данных из модуля geoanalytics.

Подготовка данных для анализа

Вы можете запускать GeoAnalytics Tools следующим образом:

• Векторные слои (размещенные, размещенные представления векторных слоев и сервисы объектов)
• Коллекции объектов
• Файловые хранилища больших данных, зарегистрированные в ArcGIS GeoAnalytics Server

Результат работы GeoAnalytics Tools

GeoAnalytics Tools выдают выходные данные двух типов:

• Размещенный векторный слой с данными, хранящимися в хранилище данных ArcGIS, зарегистрированном на хост-сервере портала.
• Набор данных, хранящийся в общей папке больших данных (папка, облачное хранилище, расположение HDFS), зарегистрированной на GeoAnalytics Server.

Обзор инструментов

Обзор каждого инструмента вы найдете ниже. Инструменты анализа сгруппированы по категориям. Эти категории представляют собой логические группы и не оказывают влияние на доступ к инструментам и их использование.

Суммирование данных

Эти инструменты вычисляют общее число объектов, длины, площади и основную описательную статистику объектов и их атрибутов в пределах указанных областей или вблизи других объектов.

Инструмент	Описание
Агрегировать точки	Используя слой точечных объектов и либо слой площадных объектов, либо расстояние, использовавшееся для вычисления бинов, этот инструмент определяет, какие точки укладываются в каждую область, и вычисляет статистику по всем точкам каждой области. Дополнительно к этому инструменту можно применить разбиение по времени. Ниже приведены потенциальные варианты применения этого инструмента: Используя точки мест правонарушений, можно вычислить число правонарушений в каждом округе или другой административной единице. Определите максимальную и минимальную месячную доходность от франшизы, используя бины размером 100 км.
Построить сетку нескольких переменных	Этот инструмент создает сетку квадратных или шестиугольных бинов и вычисляет переменные для каждого бина на основании близости одного или нескольких входных слоев. Ниже приведены потенциальные варианты применения этого инструмента: Как на основе данных об инфраструктуре общественного транспорта понять, какая часть города является наименее доступной? Дано: слои водных путей, таких как озера и реки; вопрос: назовите название водоема, ближайшего к любому из местоположений в США? Дано: слой доходов домашних хозяйств; где в США самая большая разница в доходах в радиусе 50 миль?
Описание набора данных	Этот инструмент создает пример объектов и слоев экстента, вычисляет итоговую статистику и выводит основные свойства входного слоя. Ниже приведены потенциальные варианты применения этого инструмента: Дано: набор данных, включающий 2 миллиарда объектов; нужно создать пример слоя из 1000, который лучше всего визуализирует и описывает объекты на карте. Изучить итоговую статистику всего набора данных с помощью суммарной таблицы. Дано: набор больших данных из 40 отдельных файлов CSV; нужно создать слой экстента, который представляет собой пространственное распределение входных объектов без отображениях их всех на карте. Просмотреть выходной обзор JSON, чтобы узнать о пространственной привязке, типе геометрии и числе записей.
Присоединить объекты	Использование слоя с точечными, линейными или площадными объектами или таблицы, и другого слоя с точечными, линейными или площадными объектами или таблицы для присоединения объекта, имеющего заданные отношения. Пространственные, временные и атрибутивные отношения могут быть использованы для присоединения объектов, а также для дополнительного вычисления суммарной статистики. Ниже приведены потенциальные варианты применения этого инструмента: Имея точечные местоположения случаев преступлений за период времени, соедините данные о преступлениях с ними же, указав пространственные отношения преступлений в пределах 1 квадратного километра и случившихся в пределах 1 часа друг от друга, чтобы определить, происходили ли последовательности преступлений в сравнительной близости по расстоянию и времени. Имея таблицу почтовых кодов с демографической информацией и площадные объекты, представляющие жилые дома, соедините демографическую информацию к информации о проживании, так что каждое здание будет содержать информацию.
Заново создать треки	Используя слой точечных объектов либо полигональных объектов с информацией о времени, этот инструмент определяет, какие входные объекты принадлежат треку, упорядочивая входные объекты последовательно по времени. Затем он вычисляет статистику для всех входных объектов внутри каждого трека. Ниже приведены потенциальные варианты применения этого инструмента: Имея точечные местоположения и времена измерения урагана, вычислите среднюю скорость ветра, а также максимальное давление ветра урагана.
Суммировать атрибуты	Используя либо данные объектов, либо табличные данные, этот инструмент суммирует статистику для поля. Ниже приведены потенциальные варианты применения этого инструмента: Имея местоположения продуктовых магазинов с полем COMPANY_NAME, суммируйте магазины по имени компании, которой они принадлежат, чтобы определить статистику для каждой компании. Имея таблицу продуктовых магазинов с полями COMPANY_NAME и COUNTY, суммируйте магазины по имени компании и округу, чтобы определить статистику для каждой компании в каждом округе.
Суммированный центр и дисперсия	Этот инструмент находит центральные объекты и направленное распределение. Ниже приведены примеры: Где находится географический центр набора данных точек? Какой объект является наиболее доступным для всех остальных? Насколько разбросаны, компактно расположены или интегрированы пространственные объекты? Имеются ли тренды направления? Примечание: Инструмент Суммированный центр и дисперсия нельзя запустить через Map Viewer. Чтобы использовать Суммированный центр и дисперсия, запустите инструмент через ArcGIS REST API или ArcGIS Pro.
Суммировать в пределах	Этот инструмент находит области (или их части), которые пересекаются между двумя слоями и вычисляет статистику пересечения. Ниже приведены потенциальные варианты применения этого инструмента: Используя слой водоразделов и слой с типами землепользования, можно определить общую площадь земель различных типов для каждого водораздела. Используя слой земельных участков в округе и слой с границами городов, можно вычислить среднюю стоимость свободных участков в каждом городе.

Поиск местоположений

Эти инструменты выполняют поиск объектов, которые удовлетворяют любому числу задаваемых вами критериев. Они обычно используются для выбора места, когда целью является нахождение местоположений, которые удовлетворяют нескольким критериям.

Инструмент	Описание
Выявление инцидентов	Этот инструмент работает со слоем с поддержкой времени, содержащим точечные, линейные, полигональные объекты или таблицы, которые представляют текущий момент времени. Используя последовательно упорядоченные объекты, называемые треками, этот инструмент определяет объекты, являющиеся интересующими вас инцидентами. Инциденты определяются по заданным вами условиям. Ниже приведены потенциальные варианты применения этого инструмента: 'Дано: слой GPS-измерений ураганов через каждые 10 минут. Каждое GPS-измерение записывает название урагана, его положение, время записи и скорость ветра. Используя эти поля, создайте инцидент, когда любой размер со скоростью ветра более 208 км/ч будет являться инцидентом, озаглавленным Catastrophic. Имея слой размеров, полученных на основе измерений с помощью датчиков, создайте инцидент, при котором значения превышают среднее трех предыдущих значений.
Найти местоположения простоев	Используя слой точечных объектов с поддержкой времени, этот инструмент идентифицирует местоположения, в которых треки объектов остаются в пределах определенного расстояния в определенный период времени. Ниже приведены потенциальные варианты применения этого инструмента: Оценка перемещений животных для определения областей с охраняемым статусом на основании местоположений, в которых наблюдалось наличие этих животных. Усиление контроля за трафиком на участках, где определяются транспортные средства, работающие на холостых оборотах.
Найти схожие местоположения	Инструмент Найти схожие местоположения вычисляет схожесть местоположений в слое поиска кандидатов с одним или более базовым местоположением на основе выбранных вами критериев. Ниже приведены потенциальные варианты применения этого инструмента: Найдите десять наиболее похожих магазинов, изучив количество сотрудников и объемы продаж за год. Найдите 100 наиболее похожих городов, изучив отношения между населением, ежегодным приростом и подоходным налогом.
Геокодировать местоположения из таблицы	Этот инструмент преобразует адреса в координаты. Используйте этот инструмент с таблицами файлового хранилища больших данных. Ниже приведены потенциальные варианты применения этого инструмента: Геокодировать несколько адресов в формате CSV с информацией о преступлениях, чтобы найти горячие точки преступности. Геокодировать текстовый файл с точками доставки онлайн-ритейлера, чтобы определить, где маркетинговые кампании были проведены наиболее успешно.

Обогащение данных

Эти инструменты помогают выявить характеристики ваших данных. Добавить информацию во входные данные путем их обогащения другим источником данных.

Вычислить статистику движения

Этот инструмент вычисляет группы статистики и измерений движения для объектов с поддержкой времени типа текущий момент. Статистика и измерения основаны на треках, определяемых уникальным идентификатором. Группы вычислений включают расстояние, скорость, ускорение, продолжительность, высоту, уклон, время простоя и направление на основе предоставленных значений времени и геометрии событий-точек. Ниже приведен пример сценария использования этого инструмента: Городские службы осуществляют мониторинг снегоуборочной техники и хотят более точно отслеживать передвижение транспортных средств. Этот инструмент можно использовать для определения мест простоя и времени, затраченного на холостой ход, средних и максимальных скоростей за заданное время, общего пройденного расстояния и другой статистики.

Обогатить из Сетки нескольких переменных

Эффективно объединяет атрибуты из сетки нескольких переменных в точечный слой, что позволяет быстро добавлять большой и разнообразный набор информации в точечные данные для дальнейшего пространственного анализа. Ниже приведены потенциальные варианты применения этого инструмента: Если у вас есть слой, содержащий миллионы инцидентов отключения электроэнергии, обогатите характеристики инцидента информацией о типичном использовании, экологических рисках и условиях инфраструктуры, чтобы изучить связь между этими факторами и частотой отключения электроэнергии.

Анализ закономерностей

Эти инструменты помогут вам идентифицировать, оценить значимость и визуализировать пространственные закономерности в распределении своих данных.

Инструмент	Описание
Подсчитать плотность	Этот инструмент создает карту плотности из точечных объектов, распределяя известные величины некоторого явления (представленные в виде атрибутов точек) по карте. В результате вы получаете слой областей, представляющих плотность. Ниже приведены потенциальные варианты применения этого инструмента: Вычислить плотность больниц в округе. Слой результатов покажет районы с высокой и низкой доступностью больниц, и эта информация может быть использована при принятии решения о том, где необходимо строить новые больницы. Определите районы с высоким уровнем риска возникновения лесных пожаров на основе исторических данных о местах их возникновения. Поиск удаленных от основных дорог населенных пунктов для планирования мест, где должны быть построены новые дороги.
Найти горячие точки	Этот инструмент определяет, есть ли какая-либо статистически значимая кластеризация в пространственной структуре ваших данных. Ниже приведены примеры вопросов, на которые этот инструмент поможет дать ответ: Действительно ли точки (места правонарушений, деревья, ДТП) кластеризованы? Как в этом убедиться? Действительно ли вы нашли статистически значимую горячую точку (для затрат, детской смертности, постоянно высоких результатов школьных экзаменов), или при изменении способа присвоения символов ситуация на карте изменяется?
Найти кластеры точек	Инструмент находит кластеры среди точечных объектов в окружающем шуме на основе их пространственного распределения. Ниже приведены потенциальные варианты применения этого инструмента: Найти кластеры зараженных вредителями домашних хозяйств, чтобы помочь искоренить этих вредителей. Информировать и действовать с целью спасения и эвакуации в зависимости от размера и расположения этих кластеров, используя после стихийных бедствий или террористических атак оповещения на основе геолокации.
Классификация на основе леса и регрессия	Этот инструмент моделирует и генерирует прогнозы, используя адаптацию алгоритма произвольного леса Лео Бреймана, который является контролируемым методом машинного обучения. Ниже приведены потенциальные варианты применения этого инструмента: Имеются данные данные о наличии морских водорослей, а также ряд экологических независимых переменных, представленных атрибуты, которые были обогащены с помощью сетки с несколькими переменными для вычисления расстояний до заводов вверх по течению и крупных портов. Используйте этот инструмент для предсказания появления морских водорослей в будущем на основе прогнозов для тех же экологических независимых переменных. Предположим, у вас есть данные о урожайности на сотнях ферм по всей стране, а также другие атрибуты по каждой из этих ферм (количество сотрудников, площадь в акрах и т.п.) Используя эти данные, вы можете предоставить набор объектов, представляющих фермы, урожайность на которых неизвестна (но имеются все остальные переменные), и выполнить прогнозирование урожайности. Стоимость жилья можно спрогнозировать на основе цен домов, которые были проданы в текущем году. Цена домов при продаже, а также информация о числе спален, расстоянии до школ, близости автомагистралей, среднем доходе и числе преступлений могут быть использованы для прогноза продажной стоимости аналогичных домов.
Обобщенная линейная регрессия	Этот инструмент строит обобщенную линейную регрессию для вычисления прогнозов или моделирования взаимосвязи между независимыми переменными и зависимой переменной. Инструмент используется для подгонки различных моделей, в частности, непрерывных (МНК), бинарных (логистических) и числовых (Пуассона). Ниже приведены примеры вопросов, на которые этот инструмент поможет дать ответ: Какие демографические характеристики влияют на высокую степень использования общественного транспорта? Имеется ли положительная взаимосвязь между вандализмом и взломами? Какие переменные эффективно предсказывают количество звонков в службу быстрого реагирования? С учетом тенденции, какие ресурсы необходимы для реагирования на экстренные вызовы? Какие факторы обуславливают низкий уровень рождаемости
Географически взвешенная регрессия	Этот инструмент применяет локальную форму линейной регрессии, которая используется для моделирования пространственно изменяющихся отношений. Ниже приведены примеры вопросов, на которые этот инструмент поможет дать ответ: Имеется ли связь между уровнем образования и доходом в изучаемой области? Какие ключевые переменные объясняют высокую частоту лесных пожаров? В каких районах учащиеся показывают высокие результаты на экзаменах и олимпиадах? Какие особенности могут быть с этим связаны? Где каждая из характеристик имеет наибольшее значение?
Создать куб пространство-время	Этот инструмент группирует набор точечных временных объектов для агрегирования бинов пространство-время, которые сохраняются в формате netCDF. Ниже приведены потенциальные варианты применения этого инструмента: Агрегируйте все преступления в городе в 1-километровые бины по месяцам. Агрегируйте все экстренные вызовы, произошедшие в округе за последние 50 лет, в 100-километровые бины, используя годовые временные бины. Примечание: Инструмент Создать куб пространство-время нельзя запустить из Map Viewer. Чтобы использовать инструмент Создать куб Пространство-Время запустите его через ArcGIS REST API или ArcGIS Pro.

По близости

Эти инструменты помогают отвечать на наиболее частый вопрос пространственного анализа: Что находится рядом с чем?

Инструмент	Описание
Создать буферы	Буфер – это область, располагающаяся на указанном расстоянии от точечного, линейного или полигонального объекта. Ниже приведены потенциальные варианты применения этого инструмента: Используя линейные объекты рек, создайте буфер вокруг каждой реки размером, равным 50-кратной ширине реки, чтобы определить предложенную прибрежную границу. Имея области, представляющие страны, создайте буфер вокруг каждой страны размером в 200 морских миль, чтобы определить морскую границу.
Трассировать события по близости	Этот инструмент анализирует точечные объекты с поддержкой времени, представляющие движущиеся объекты. Задача будет следовать за интересующими объектами в пространстве (местоположении) и времени, чтобы увидеть, с какими другими объектами взаимодействовали интересующие объекты. Трассировка будет продолжаться от объекта к объекту до настраиваемого значения максимальной отдаленности от исходного объекта, представляющего интерес. Ниже приведены примеры: Организация контролирует выданные рабочим мобильные устройства. Компания хочет определить, какие сотрудники находились рядом с человеком, о котором известно, что у него был COVID-19. Используя точечный слой, представляющий местоположения и время устройства, они узнают, какие из устройств находились в пределах шести метров и пяти минут от носителя инфекции и о других, возможно, заразных сотрудниках. Одна НПО ведет мониторинг популяций лосося с помощью GPS и заинтересована в отслеживании передачи лососевых вшей между искусственно выращенными рыбами и дикими популяциями. С помощью GPS-меток отслеживается некоторая часть выращенных на фермах особей, чтобы определить, находятся ли они в непосредственной близости от помеченных диких популяций, и как эти дикие популяции могут еще больше распространять заболевание.

Управление данными

Эти инструменты используются для ежедневного управления географическими и табличными данными.

Инструмент	Описание
Присоединить данные	Этот инструмент присоединяет точечные, линейные, площадные или табличные наборы данных в существующий размещенный векторный слой с тем же типом геометрии. Ниже приведены потенциальные варианты применения этого инструмента: Дано: несколько наборов данных, которые создаются ежемесячно; нужно присоединить эти наборы данных к размещенному векторному слою, чтобы составить годовой отчет. Дано: 10 наборов данных с информацией о климатических измерениях, полученных из различных источников; нужно соединить эти наборы в один слой с измерениями. Исправить различия в схеме для каждого источника с помощью заполнения полей.
Вычислить поле	Вычисляет значения нового или существующего поля и создает слой в ресурсах в ArcGIS Enterprise. Ниже приведены потенциальные варианты применения этого инструмента: Измените существующее поле total как сумму доходов, указанных в полях total_2016, total_2017 и total_2018. Создайте новое поле, чтобы классифицировать уровни опасности на основе значений полей, таких как windspeed и pollutant.
Вырезать слой	Этот инструмент извлекает поднабор входных объектов слоя из указанной области, при этом создается новый слой с извлеченными объектами. Ниже приведены потенциальные варианты применения этого инструмента: Дано: векторный слой с данными о землетрясениях; нужно использовать слой с границей штата Калифорния, чтобы извлечь только те землетрясения, которые произошли в Калифорнии. Дано: слой с буферными зонами 50 футов от дорог; нужно вырезать лесные объекты, на которые может повлиять близость автомагистралей.
Копировать в хранилище данных	Копирует входной векторный слой или таблицу в хранилище данных ArcGIS Data Store и создает слой в вашей веб-ГИС. Ниже приведены потенциальные варианты применения этого инструмента: Скопируйте набор CSV файлов из файлового хранилища больших данных в хранилище пространственно-временных данных для визуализации. Скопируйте объекты из текущего экстента карты, находящиеся в хранилище пространственно-временных данных, в реляционное хранилище данных.
Слияние границ	Этот инструмент находит и объединяет полигональные объекты, которые пересекаются в пространстве и имеют общее значение в поле. Ниже приведены потенциальные варианты применения этого инструмента: Дано: векторный слой с изучаемыми областями; нужно объединить все объекты с одинаковым значением типа почв, чтобы создать слой, представляющий собой области по типу почвы. Дано: охраняемые территории и буферные зоны; нужно выполнять слияние всех объектов, чтобы понять, какие локации находятся рядом с разрабатываемыми территориями.
Слияние слоев	Этот инструмент комбинирует два набора данных для создания одного результирующего слоя. Используйте атрибуты слияния, чтобы определить итоговую схему. Ниже приведены потенциальные варианты применения этого инструмента: Дано: векторные слои по Англии, Уэльсу и Шотландии; нужно выполнить слияние всех слоев в единый слой Великобритании. Два векторных слоя представляют смежные населенные пункты, каждый с разными именами полей. Выполните слияние этих слоев на основе правил атрибутов, чтобы выполнить сопоставление полей, результат будет представлен одним слоем с выбранной схемой данных.
Наложение слоев	Этот инструмент соединяет два или более слоев в один. Ниже приведены примеры вопросов, на которые этот инструмент поможет дать ответ: Какие участки находятся в пределах зоны, подвергавшейся затоплению в последние 100 лет? ("В пределах" – это другой способ сказать "поверх".) Какой тип землепользования соответствует какому типу почвы? Какие скважины находятся в пределах заброшенных военных баз?