Anotação:
No ArcGIS Enterprise 10.9.1 ou superior, é recomendado que você adicione ou edite compartilhamentos de arquivos de grandes dados por meio da página de conteúdo do portal em vez de ArcGIS Server Manager. Saiba mais sobre como adicionar compartilhamentos de arquivos de grandes dados no portal.
É recomendável registrar e editar compartilhamentos de arquivos de grandes dados na página de conteúdo do portal. Utilize ArcGIS Server Manager se você atender a uma dessas condições:
- Você deseja registrar um Azure Data Lake, que só pode ser registrado por meio do ArcGIS Server Manager.
- Você está editando ou visualizando um compartilhamento de arquivo de grandes dados criado no ArcGIS Server Manager em uma versão anterior.
Se você não atender a nenhuma dessas condições, registre seu compartilhamento de arquivo de grandes dados por meio da página de conteúdo do portal e modifique, edite e analise usando o item de compartilhamento de arquivo de grandes dados.
Ao registrar compartilhamentos de arquivos de grandes dados por meio do ArcGIS Server Manager, utilize seu ArcGIS GeoAnalytics Server . Um compartilhamento do arquivo de grandes dados exige um manifesto para detalhar o esquema dos dados de entrada, como também, os campos e formatos que representam geometria e tempo em um conjunto de dados. O manifesto é automaticamente gerado quando você registrar um compartilhamento do arquivo de grandes dados. Talvez seja necessário fazer modificações se houver quaisquer alterações nos seus dados ou se a geração do manifesto não foi capaz de determinar todas as informações necessárias — por exemplo, se o manifesto gerado automaticamente não selecionou o campo correto da geometria ou do tempo. Um compartilhamento do arquivo de grandes dados pode ter, opcionalmente, modelos de saída, utilizados para descrever o formato dos resultados gravados no compartilhamento do arquivo de grandes dados. Os modelos de saída são gerados quando você registra um compartilhamento do arquivo de grandes dados e seleciona para utilizar o compartilhamento do arquivo de grandes dados como um local de saída. Você pode precisar modificar um ou mais modelos, como o formato dos campos de tempo e geometria, ou talvez você queira adicionar ou excluir um modelo.
Você pode visualizar e editar os conjuntos de dados e as informações de manifesto, como também, modelos de saída via ArcGIS Server Manager em seu ArcGIS GeoAnalytics Server.
Editar um compartilhamento do arquivo de grandes dados
Após ter registrado um compartilhamento do arquivo de grandes dados pelo ArcGIS Server Manager, você poderá visualizar e editar atributos e configurações para estes conjuntos de dados registrados do item abrindo o editor de manifesto de compartilhamento do arquivo de grandes dados no ArcGIS Server Manager. Você também pode editar atributos e configurações para os modelos de saída opcionais, que descrevem como os resultados de saída serão gravados no compartilhamento do arquivo de grandes dados.
Anotação:
Se você registrou um compartilhamento de arquivo de grandes dados pelo portal, edite o compartilhamento de arquivo big data por meio da página de item do portal. Saiba mais sobre como gerenciar compartilhamentos de arquivos de grandes dados no portal.
Por exemplo, para dados de entrada, talvez queira verificar o número de conjunto de dados dentro de um compartilhamento de arquivo registrado. Se, ao fazer isso, você não visualizar o número esperado de conjunto de dados no compartilhamento de arquivo registrado, você deverá verificar se o local registrado contém o conjunto de dados válido.
Para um modelo de saída, talvez queira formatar uma saída de arquivo delimitado para gravar um arquivo delimitado por tabulação e utilizar o WKT para armazenar a geometria.
Você pode também desejar a revisão dos esquemas de conjunto de dados de um compartilhamento do arquivo de grandes dados registrado. Você pode modificar um esquema do conjunto de dados selecionado atualizando sua geometria, definição de tempo e nomes de campo em seu recurso de manifesto associado.
Na guia avançada do editor de manifesto de compartilhamento do arquivo de grandes dados, você pode transferir um arquivo de sugestões para fornecer informações sobre um conjunto de dados como a presença ou ausência de uma linha de cabeçalho, codificação, delimitador de campo ou finalizador de registro. A geração novamente do manifesto após transferir um arquivo de sugestões utilizará as informações fornecidas para gerar o manifesto.
Opcionalmente, você pode baixar o manifesto, editá-lo e carregar o arquivo editado.
Editar conjunto de dados de entrada de compartilhamento do arquivo de grandes dados
No editor de manifesto de compartilhamento do arquivo de grandes dados, você pode visualizar um compartilhamento do arquivo de grandes dados e conjuntos de dados selecionados que foram registrados dentro dele com sucesso. Ao selecionar um conjunto de dados a partir do menu suspenso do editor, os parâmetros correspondentes são preenchidos. Para detalhes sobre cada opção nesta caixa de diálogo, consulte parâmetros de edição em compartilhamentos do arquivo de grandes dados. Para editar parâmetros de conjunto de dados, faça o seguinte:
- Na caixa de diálogo Armazenamento de Dados Registrados, localize o compartilhamento do arquivo de grandes dados que deseja editar.
- Clique no lápis Editar para visualizar os detalhes e as opções do conjunto de dados correspondente.
- Clique na guia Conjuntos de Dados para mostrar os conjuntos de dados registrados e seus parâmetros correspondentes.
- Selecione um conjunto de dados a partir do menu suspenso para visualizar as informações representadas em seu manifesto. Faça as atualizações para suas propriedades do conjunto de dados como necessário.
- Ao finalizar a edição das propriedades de conjunto de dados, clique em Salvar.
Editar um manifesto de compartilhamento do arquivo de grandes dados ou arquivo de sugestões
Na guia Avançado do editor de compartilhamento do arquivo de grandes dados, você pode editar o manifesto associado ou arquivo de sugestões escolhendo sua guia respectiva. Se você transferir um manifesto, ele substituirá quaisquer alterações realizadas para seu manifesto de compartilhamento do arquivo de grandes dados no editor e substituirá o manifesto atual. Para aprender mais sobre manifestos de compartilhamento do arquivo de grandes dados, consulte Entendendo um manifesto de compartilhamento do arquivo de grandes dados.. Para aprender mais sobre arquivos de sugestões, consulte Entendendo o arquivo de sugestões. Para editar um manifesto de compartilhamento do arquivo de grandes dados ou arquivo de sugestões, faça o seguinte:
- Na caixa de diálogo Armazenamento de Dados Registrados, localize o compartilhamento do arquivo de grandes dados que deseja modificar.
- Clique no lápis Editar para visualizar as opções para modificar o recurso do manifesto.
- Clique na guia Avançado.
- Na guia Avançado , escolha a guia Manifesto ou Sugestões , dependendo do que você está modificando.
- Para baixar o arquivo de manifesto, clique em Manifesto > Download.
- Para baixar o arquivo de sugestões, clique em Sugestões > Download.
- Utilize um editor de textos para modificar e salvar alterações localmente para o manifeste arquivo .json baixado ou arquivo de sugestões .dat.
Dica:
O formato do arquivo padrão do arquivo de sugestões é .dat. Após ter baixado o arquivo, você pode alterar sua extensão para .txt e editar o arquivo. - Para transferir um arquivo editado, clique no lápis Editar do compartilhamento do arquivo de grandes dados que deseja modificar.
- Para editar o manifesto, clique em Avançado > Manifesto > Transferir e procure pelo arquivo atualizado .json.
- Para editar o arquivo de sugestões, clique em Avançado > Sugestões > Transferir e procure pelo arquivo atualizado .txt.
- Clique em Transferir.
Se você transferir um arquivo de sugestões, certifique-se de gerar novamente o manifesto. Quando você gera novamente um manifesto, somente conjuntos de dados com sugestões ou novos conjuntos de dados serão atualizados e as alterações realizadas para quaisquer outros conjuntos de dados não no arquivo de sugestões permanecerão as mesmas.
Gerar novamente o manifesto de um compartilhamento do arquivo de grandes dados
Após um compartilhamento do arquivo de grandes dados ser criado e um manifesto ter sido gerado, um botão para gerar novamente o manifesto aparece para cada entrada na caixa de diálogo Armazenamento de Dados Registrados.
Você pode gerar novamente um manifesto se você adicionou novos dados ou se você transferiu um arquivo de sugestões utilizando o recurso de edição. O arquivo de sugestões fornece especificações que são utilizadas ao regenerar o manifesto.
Anotação:
Quando um manifesto é gerado novamente, ele atualizará o manifesto dos conjuntos de dados existentes que tenham um arquivo de sugestões ou novos conjuntos de dados. Quaisquer edições realizadas ao manifesto serão substituídas com as regras definidas no arquivo de sugestões.Parâmetros da edição de compartilhamento do arquivo de grandes dados
O editor de compartilhamento do arquivo de grandes dados inclui as seguintes cinco seções:
- Seletor do conjunto de dados
- Campos
- Geometria
- Hora
- Formato do conjunto de dados
É recomendado utilizar um arquivo de sugestões antes de editar seus dados se a geração do manifesto não determinou nomes de campo, codificação, delimitadores de campo ou caracteres de citação corretamente.
Seletor do conjunto de dados
Um manifesto é composto de um ou mais conjunto de dados. O número de conjunto de dados é dependente do número de pastas em seu local de compartilhamento do arquivo de grandes dados. Quando você abre o gerenciador do manifesto, você pode visualizar o conjunto de dados que foi registrado com sucesso em seu compartilhamento do arquivo de grandes dados. Quando você selecionar um conjunto de dados a partir do menu suspenso, os parâmetros de conjunto de dados serão preenchidos com as informações do conjunto de dados.
Se você esperou localizar mais conjunto de dados em seu manifesto ou estão faltando algum, faça o seguinte:
- Verifique se você registrou corretamente a pasta de nível superior. Para mais informações, consulte Registrar seus dados com ArcGIS Server Manager.
- Marque se seus dados de entrada estão em um formato permitido como uma coleção de arquivos delimitados, shapefiles, parquet ou ORC.
- Garanta que o esquema do seu conjunto de dados de entrada de interesse seja consistente para uma coleção de arquivos (todos os arquivos em um único conjunto de dados devem ter os mesmos campos).
Campos
A seção dos campos listam todos os campos em um conjunto de dados. Quando você selecionar um conjunto de dados, você poderá visualizar o seguinte para cada campo:
- O nome do campo
- O tipo de campo
O nome e o tipo de campo podem ser modificados para arquivos delimitados. Se você estiver modificando mais de um nome de campo, é recomendável utilizar um arquivo de sugestões.
Se o conjunto de dados de entrada for um arquivo delimitado, haverão múltiplos parâmetros que poderão ser modificados no manifesto do ArcGIS Server Manager.
Geometria
A seção de geometria lista o tipo de geometria e como ela é representada. A seguinte tabela descreve as opções disponíveis, com notas para alterações que você pode fazer dependendo do tipo de conjunto de dados de entrada.
Parâmetros de geometria
| Parâmetro | Descrição | Arquivos delimitados | Shapefiles | Arquivos ORC | Arquivos Parquet |
|---|---|---|---|---|---|
Geometria | O tipo de Geometria. As opções são Ponto, Polilinha, Polígono ou Nenhum. Se não houver geometria, a entrada será uma tabela. | Editável | Não pode ser modificado | Editável | Editável |
Referência espacial (WKID/WKT) | A referência espacial do conjunto de dados. Esta opção é mostrada somente se o conjunto de dados não for uma tabela. | Isto pode ser modificado. Por padrão, isto será configurado para 4326, WGS 1984. | Não pode ser modificado | Editável | Editável |
Tipo de formatação da geometria | Como a geometria é formatada para cada feição. As opções são XYZ (campos que representam X, Y, e opcionalmente valores Z —XYZ é aplicável somente aos pontos), WKT (texto bem conhecido), GeoJson, EsriJson e formato. Esta opção está disponível somente se o conjunto de dados não for uma tabela ou um shapefile. | Editável | Não disponível | Editável | Editável |
Hora
A seção de tempo descreve como o tempo é representado. A seguinte tabela descreve as opções disponíveis, com notas para alterações que você pode fazer dependendo do tipo de conjunto de dados de entrada. As opções de tempo são as mesmas para todos os tipos de dados, exceto onde indicado.
Parâmetros de tempo
| Parâmetro | Descrição | Exemplo |
|---|---|---|
Tipo de hora | O tipo da hora de entrada. As opções são Momento (um único momento no tempo), Intervalo (um período de tempo com uma hora inicial e final) e Nenhum. | Instantâneo |
Fuso horário | O fuso horário da hora de entrada. Esta opção está disponível somente se Tipo de Hora não for Nenhum. | UTC |
Nome e tabela de formatação para hora | Esta tabela seleciona o campo ou campos de hora e descreve como a hora é definida. A hora pode utilizar um ou mais campos para definir o tempo, além de utilizar um ou mais formatos para um único campo. Por padrão, o primeiro campo com o nome "hora" será utilizado como o campo de hora, com uma estimativa do formato d e hora. Se existir um shapefile, o primeiro campo de tipo de "data" será utilizado. Se o tempo for do tipo Intervalo, deverá haver uma hora inicial e final especificada. A tabela de formatação de hora está disponível somente se Tipo de Hora não for Nenhum. | Exemplo com um único campo utilizado para representar a hora com dois formatos diferentes:
Exemplo com dois campos utilizados para representar a hora:
|
Formatos de hora
A seguinte tabela descreve como representar a hora quando você editar um compartilhamento do arquivo de grandes dados pelo ArcGIS Server Manager ou diretamente em um manifesto. Os exemplos mostram como representar a hora de 2 de Janeiro de 2016, às 9:45:02.05 PM.
Formatos de hora em um manifesto de compartilhamento do arquivo de grandes dados
| Símbolo | Significado | Exemplo |
|---|---|---|
yy | O ano, representado por dois dígitos. | 16 |
yyyy | O ano, representado por quatros dígitos. | 2016 |
MM | O mês, representou numericamente. | 01 ou 1 |
MMM | O mês, representado três letras. | Jan |
MMMM | O mês, representado utilizando a ortografia completa. | January |
dd | O dia. | 02 ou 2 |
HH | A hora, ao utilizar um dia de 24 horas; os valores variam de 0-23. | 21 |
hh | A hora ao utilizar um dia de 12 horas; os valores variam de 1-12. | 9 |
mm | O minuto; os valores variam de 0-59. | 45 |
ss | O segundo; os valores variam de 0-59. | 02 |
SSS | Os milissegundos; os valores variam de 0-999. | 50 |
a | O Marcador AM/PM. | PM |
epoch_millis | A hora em milissegundos do epoch. | 1509581781000 |
epoch_seconds | A hora em segundos do epoch. | 1509747601 |
Z | O deslocamento do fuso horário expresso em horas. | -0100 ou -01:00 |
ZZZ | O deslocamento do fuso horário expresso utilizando IDs. | America/Los_Angeles |
‘' | Utilize aspas simples para adicionar texto que não represente um valor descrito nesta tabela. | 'T' |
A seguinte tabela mostra exemplos para diferentes formatos da mesma data, 2 de Janeiro de 2016, às 9:45:02.05 PM:
Exemplos do formato de hora
| Data de entrada | Formato da Data |
|---|---|
01/02/2016 9:45:02PM | MM/dd/yyyy hh:mm:ssa |
Jan02-16 21:45:02 | MMMdd-yy HH:mm:ss |
Janeiro 02 2016 9:45:02.050PM | MMMM dd yyyy hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/dd/yyyy'T'HH:mm:ssZ |
Formato do conjunto de dados
A seção de formato do conjunto de dados descreve o formato no qual estão os dados. Os dados podem estar em um dos seguintes formatos:
- Shapefile (.shp)
- Arquivo delimitado (por exemplo .csv)
- Arquivo Parquet
- Arquivo ORC
Os parâmetros disponíveis diferem dependendo do conjunto de dados. Para shapefiles, arquivos ORC e arquivos parquet, o único parâmetro é o tipo de arquivo, que não pode ser modificado. Se o conjunto de dados de entrada for um arquivo delimitado, haverão múltiplos parâmetros que poderão ser modificados no manifesto. Para modificar valores para um arquivo delimitado, utilize um arquivo de sugestões e regenere o manifesto.. Estes são descritos na seguinte tabela:
Formatos do conjunto de dados
| Parâmetro | Descrição |
|---|---|
Extensão do arquivo | Lista a extensão de tipo do arquivo no conjunto de dados de entrada. Os formatos comuns são .csv e .txt. Modifique esta informação para um arquivo delimitado utilizando um arquivo de sugestões. |
Delimitador de campo | Determina o delimitador de cada campo. Os formatos comuns são , e ;. Modifique esta informação para um arquivo delimitado utilizando um arquivo de sugestões. |
Finalizador de registro | Determina o finalizador de cada linha de dados. Os formatos comuns são \n e \t. Modifique esta informação para um arquivo delimitado utilizando um arquivo de sugestões. |
Caractere de aspas | Determina o caractere utilizado para aspas. Modifique esta informação para um arquivo delimitado utilizando um arquivo de sugestões. |
Tem linha de cabeçalho | Um valor booleano que determina se a tabela de entrada inclui uma linha de cabeçalho. Se uma linha de cabeçalho for incluída, os cabeçalhos serão utilizados para os nomes de campo. As informações do nome de campo estão predizendo os campos de geometria e de tempo. Configure linhas de cabeçalho utilizando o arquivo de sugestões. |
Codificação | O tipo de codificação utilizada no arquivo. Por padrão, este será UTF-8. Isto é definido com um arquivo de sugestões. |
Parâmetros de edição do modelo de saída de compartilhamento do arquivo de grandes dados
O editor do modelo de saída de compartilhamento do arquivo de grandes dados inclui as seguintes quatro seções:
- Seletor do modelo de saída
- Formatação da geometria
- Formatação de hora
- Formato do conjunto de dados
Seletor do conjunto de dados
Um compartilhamento do arquivo de grandes dados é opcionalmente composto por um ou mais modelos. O número de modelos é determinado pelos diferentes formatos para os quais você deseja gravar resultados. Quando você abre o gerenciador do modelo de saída, é possível visualizar os modelos que foram registrados com sucesso em seu compartilhamento do arquivo de grandes dados. Quando você selecionar um modelo a partir do menu suspenso, os parâmetros do modelo serão preenchidos com as informações de formatação de saída. Se você deseja adicionar um novo modelo, selecione a opção Adicionar modelo e selecione o tipo e nome do novo modelo. Se você deseja excluir um modelo, selecione-o no seletor de modelos e selecione Excluir modelo. Você pode modificar um modelo existente selecionando-o e modificando qualquer uma das seções abaixo conforme necessário.
Anotação:
Os compartilhamentos do arquivo de grandes dados de entrada têm uma seção de campos. Os modelos de saída não têm uma seção de campos, pois os campos resultantes são determinados pelas GeoAnalytics Tools criando o resultado. O ORC suporta somente nomes de campos que incluem o alfabeto latino básico e caracteres numéricos. Todos os outros caracteres em um nome de campo serão substituídos por um sublinhado.
Geometria
A seção de geometria lista como você deseja que a geometria de saída seja formatada de cada tipo de geometria (ponto, linha, polígono). Há duas partes para determinar a geometria de saída:
- A referência espacial—Você pode deixá-la vazia e ela utilizará os resultados da ferramenta (padrão). Opcionalmente, forneça uma cadeia WKID ou WKT e todos os resultados serão projetados para esta referência espacial. Este valor é compartilhado em todas as geometrias de saída.
- O tipo de formatação da geometria e campos. Isto é descrito em mais detalhes abaixo.
Formatos da geometria de saída
| Tipo de geometria | Campos de Saída | Arquivos delimitados | Shapefiles | Arquivos ORC | Arquivos Parquet |
|---|---|---|---|---|---|
XYZ— Um campo X, Y e opcionalmente Z. Esta opção está disponível somente para pontos. | Por padrão, três novos campos serão criados com os nomes de X, Y e Z. Você pode, opcionalmente, alterar estes nomes de campo. |  | | | |
WKT | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | | | |
GeoJSON | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | | | |
EsriJSON | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | | | |
SHP | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | |||
WKB | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | | ||
Shape Buffer | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | |
Hora
A seção de tempo descreve como a hora de saída é representada. O tempo de formatação exige as seguintes informações:
- Formatação para instantes e intervalos.
- Os nomes de campo nos quais a hora será gravada.
- O formato (String ou Data) de como a hora será gravada. Note que arquivos delimitados podem ser formatados somente com string.
- Para intervalos, quais campos representam o horário inicial e final.
A formatação de hora é a mesma dos arquivos de grandes dados de entrada. Consulte Formatos de hora em um compartilhamento do arquivo de grandes dados.
Formato do conjunto de dados
A seção de formato do conjunto de dados descreve o formato de saída no qual os dados serão gravados. Os dados podem estar em um dos seguintes formatos:
- Shapefile (.shp)
- Arquivo delimitado (por exemplo .csv)
- Arquivo Parquet
- Arquivo ORC
Os parâmetros disponíveis diferem dependendo do conjunto de dados. Para shapefiles, arquivos ORC e arquivos parquet, o único parâmetro é o tipo de arquivo, que não pode ser modificado. Se o conjunto de dados de entrada for um arquivo delimitado, haverão múltiplos parâmetros que poderão ser modificados no ArcGIS Server Manager. Estes são descritos na seguinte tabela:
Formatos do conjunto de dados
| Parâmetro | Descrição |
|---|---|
Extensão do arquivo | As extensões nunca são aplicadas a um conjunto de dados de saída. |
Delimitador de campo | Determina o delimitador de cada campo. Os formatos comuns são , e ;. |
Finalizador de registro | O terminador para cada linha de dados não pode ser definido. Para Windows, o terminador é \r\n, para Linux, é \n. |
Caractere de aspas | Determina o caractere utilizado para aspas. |
Tem linha de cabeçalho | Um valor booleano que determina se a tabela de saída inclui uma linha de cabeçalho que representa os nomes dos campos. Por padrão, isto é true. |
Codificação | Isto sempre será UTF-8. |