Este tutorial o conduz pelas etapas de configuração de dados para criar um compartilhamento de arquivo de big data. Um compartilhamento do arquivo de grandes dados é um item criado no seu portal que referencia dados de feição (pontos, polilinhas e polígonos) em um local disponível no seu GeoAnalytics Server. O item de compartilhamento de arquivos de grandes dados em seu portal permite que você gerencie e navegue por seus dados registrados para que você possa executar GeoAnalytics Tools em seus conjuntos de dados. Após você ter criado um compartilhamento do arquivo de grandes dados, você consumirá os dados utilizando a ferramenta Agregar Pontos. Neste tutorial, você baixará um conjunto de dados dos locais para pegar e deixar o táxi e utilizará GeoAnalytics Tools para determinar onde as paradas ocorrem com maior frequência.
Pré-requisitos
Tenha certeza que seu administrador do ArcGIS Enterprise configurou o GeoAnalytics Server. Para saber mais, consulte Configure o ArcGIS GeoAnalytics Server.
Preparar os dados
Para baixar e preparar os dados utilizados neste exemplo, siga estas etapas:
- Crie uma pasta denominado BigDataExample em um local disponível para o seu GeoAnalytics Server. Dentro da pasta BigDataExample, crie uma pasta denominada NYCTaxi.
- Vá para https://www1.nyc.gov/site/tlc/about/tlc-trip-record-data.page e baixe os dados do Yellow Taxi de janeiro e fevereiro de 2014 para a pasta BigDataExample > NYCTaxi.
Criar um compartilhamento do arquivo de grandes dados
Após salvar os dados em um local acessível para todas as máquinas do GeoAnalytics Server, registre-os com seu GeoAnalytics Server como um compartilhamento do arquivo de grandes dados através do seu portal. Um compartilhamento de arquivo de big data cria um serviço de catálogo de big data, que pode ser consumido em ferramentas do GeoAnalytics Server. Para criar o compartilhamento do arquivo de grandes dados, siga estas etapas:
- Entre no seu portal do ArcGIS Enterprise.
A URL está no formato https://webadaptorhost.domain.com/arcgis/home, onde arcgis é o nome do web adaptor registrado com o portal.
- Procure por Conteúdo > Novo item e selecione Data store.
- Digite um nome para o compartilhamento de arquivos big data no campo Título.
- Selecione a opção Compartilhamento de Arquivos de Big Data. Clique em Avançar para mover para Etapa 2: Configurar conexão.
- Escolha a primeira opção para Compartilhamento de Arquivo, clique em Avançar.
- No campo Caminho, digite o caminho do arquivo para a sua pasta BigDataExample.
Por exemplo, para uma pasta denominada BigDataExample no Microsoft Windows em um diretório denominado sharedLocation, digite \\sharedLocation\BigDataExample. Para o mesmo caminho de pasta no Linux, digite /sharedLocation/BigDataExample.
- Clique em Avançar para mover para Etapa 3: Configurar servidores.
- Espere pelo GeoAnalytics Server para validar.
- Quando uma marca de seleção verde aparece para a coluna Status, clique em Adicionar armazenamento de dados.
Isso cria dois itens: um item de compartilhamento de arquivo de grandes dados e um item de armazenamento de dados. O item de compartilhamento de arquivos de grandes dados expõe seus conjuntos de dados para que você possa revisar e atualizar propriedades como o esquema, a geometria e o tempo. O item de compartilhamento de arquivos de big data corresponde a um serviço de catálogo de big data subjacente disponível por meio de uma URL no seguinte formato:
https://gisserver.domain.com:6443/arcgis/rest/services/DataStoreCatalogs/bigDataFileShares_FileShareName/BigDataCatalogServer
No exemplo de URL acima, FileShareName é o título que você especificou para o armazenamento de dados quando o registrou com o GeoAnalytics Server.
Editar um compartilhamento do arquivo de grandes dados
Neste tutorial, o compartilhamento de arquivo de big data contém um conjunto de dados, NYCTaxi, nomeado após a pasta em seu compartilhamento de arquivo de big data.
Este conjunto de dados tem múltiplos campos de data e hora. Inspecione o conjunto de dados para certificar-se de que está usando os campos corretos. Para editar e visualizar os conjuntos de dados no compartilhamento de arquivos de grandes dados, vá até seu novo item de conteúdo do portal do Compartilhamento de Arquivo Big Data, vá até a página Conjuntos de dados e clique no botão editar próximo ao conjunto de dados. Quando o compartilhamento de arquivos de grandes dados é criado, os parametros geometry e time são configurados para usar as informações de retirada. Para este tutorial, você está interessado em executar análises nos locais de parada do táxi.
Anotação:
Quando o compartilhamento de arquivos de grandes dados é criado, uma melhor estimativa é aplicada para localizar campos usados para representar a geometria e o tempo.
Neste tutorial, você modificará as propriedades do conjunto de dados para usar os horários e locais de entrega. Isto significa que a análise agregará os locais de deixar o táxi, ao invés dos locais de pegar o táxi. Qualquer conjunto de geometria (pegar e deixar) pode ser utilizado para análise. O uso correto depende do que você está tentando resolver. Essas alterações serão feitas na caixa de diálogo Editar Propriedades do Conjunto de Dados para o conjunto de dados de compartilhamento de arquivos de grandes dados.
Anotação:
Isto também pode ser concluído baixando o manifesto, editando e transferindo o manifesto editado. Para aprender mais sobre edição do manifesto propriamente, consulte: Entendendo um manifesto de compartilhamento do arquivo de grandes dados.
- Na página do item de compartilhamento de arquivos de grande dados, vá até a guia Conjuntos de dados.
- Clique no botão editar próximo ao seu conjunto de dados NYCTaxi para editar suas propriedades.
A caixa de diálogo Editar Propriedades do Conjunto de Dados é exibida.
- A guia Geometria mostra que os campos usados atualmente para representar os valores X e Y são pickup_longitude e pickup_latitude. Altere os valores da seguinte forma:
- Altere o valor do Campo X de pickup_longitude para dropoff_longitude.
- Altere o valor do Campo Y de pickup_latitude para dropoff_latitude.
- A guia Hora mostra que o campo atualmente usado para representar os valores de hora é pickup_datetime com o formato aaaa-MM-dd HH:mm:ss. Altere a configuração do Campo de tempo de pickup_datetime para dropoff_datetime.
- Clique no botão Salvar para salvar as alterações em seu conjunto de dados de compartilhamento do arquivo de grandes dados.
Faça uma análise dos dados do seu táxi no portal ArcGIS Enterprise
Após criar os dados e o item de compartilhamento de arquivo de big data, vá até o item de compartilhamento de arquivo de big data em sua organização de portal para acessar seus conjuntos de dados. Você pode usar esses conjuntos de dados para executar ferramentas GeoAnalytics Server.
Anotação:
Os dados que são registrados com seu GeoAnalytics Server não são transferidos para seu servidor, são somente registrados com o GeoAnalytics Server e utilizam um manifesto para definir o esquema.
- No portal, clique em Mapa para ir até o Map Viewer Classic.
- Clique no botão Análise.
Se você tiver ambas as análises de feição e de raster disponíveis, clique em Análise de Feição, e clique em Ferramentas do GeoAnalytics > Resumir Dados > Agregar Pontos.
- Digite New York na barra de pesquisa Localizar endereço ou lugar e clique em Pesquisar.
Seu mapa amplia na extensão da Cidade de Nova York.
- Para adicionar o conjunto de dados New York City taxi cab como a camada para agregar, selecione Escolher Camada de Análise para o primeiro parâmetro da ferramenta. Na caixa de diálogo que aparece, escolha Conteúdo e vá até seu compartilhamento de arquivos big data. Escolha a camada de táxi de Nova York e clique em Selecionar.
- Agregue em caixas quadradas com um tamanho de 1 quilômetro.
- Como os dados são ativados por tempo, você pode aplicar intervalo de tempo. A partir do download dos dados, você sabe que há dois meses de dados. Neste tutorial, examine a primeira semana de cada mês. Para fazer isso, defina Intervalo de tempo para 1 semana, defina Com que frequência repetir o intervalo de tempo para 1 mês, e defina hora de alinhar etapas de tempo para até 1° de janeiro de 2017, às 12:00. Embora os dados de teste sejam de 2014, a ferramenta Agregar Pontos permite que você alinhe a análise para frente e para trás no tempo.
- Selecione estatísticas de interesse; alguns exemplos são o valor Médio de total_amount, ou o valor de Variância de Distância da Viagem.
- Defina a referência espacial para uma projeção local de Nova York usando as seguintes etapas:
- Clique no botão de configurações para acessar as configurações de análise.
- Escolha Conforme especificado na lista suspensa Sistema de coordenadas de processamento.
- Clique no globo e vá até a Zona 18N UTM clicando em Referências Espaciais > PCS > UTM > WGS 1984 UTM Zone 18 N
- Clique em OK e clique em Aplicar.
- Aproxime o zoom na região da cidade de Nova York, certifique-se de que Utilizar a extensão do mapa atual esteja marcada na ferramenta Agregar Pontos e execute a análise.
A análise é executada nas máquinas em seu GeoAnalytics Server. Quando a análise é concluída, os resultados são adicionados ao seu mapa. Os resultados serão polígonos quadrados representando a contagem de locais das paradas de táxi em cada polígono, como também, as estatísticas adicionais que você calculou. Seus resultados terão aproximadamente 3.500 a 4.000 feições. Os resultados variam com base na extensão do mapa na tela e no fuso horário.