Os compartilhamentos de arquivo do big data são registrados por sua página de conteúdo do portal. Quando você adiciona um compartilhamento de arquivo do big data no portal, ele também cria um item do armazenamento de dados relacionado. Quando você adicionar um compartilhamento de arquivo do big data do armazenamento na nuvem, ele criará um item de compartilhamento de arquivo do big data, um item do armazenamento de dados do tipo de compartilhamento de arquivo do big data e um item do armazenamento de dados do tipo de armazenamento na nuvem. Um item de portal do compartilhamento de arquivos do big data inclui as seguintes guias:
- Visão Geral—Fornece informações gerais sobre o compartilhamento de arquivos do big data e os itens do armazenamento de dados relacionados. Os itens do armazenamento de dados relacionados podem ser compartilhados e excluídos com o compartilhamento de arquivos do big data.
- Conjuntos de Dados—Lista os conjuntos de dados e descreve o esquema dos dados de entrada. As informações do conjunto de dados incluem os campos e formatos que representam a geometria e o tempo.
- Saídas—Descreve modelos de saída opcionais, que permitem gravar resultados em um compartilhamento de arquivo do big data. Os modelos de saída são opcionais e são criados após você registrar um compartilhamento de arquivo do big data. Consulte Criar, editar e visualizar modelos de saída para aprender como criar ou editar um modelo de saída.
- Configurações—Descreve o status do conteúdo, extensão e proteção contra exclusão.
Você pode visualizar e editar os conjuntos de dados, o esquema e os modelos de saída pelo item de compartilhamento de arquivos do big data.
Anotação:
Para compartilhar um item de Compartilhamento de Arquivos do Big Data, você deve compartilhar o item do armazenamento de dados raiz. O armazenamento de dados raiz para um compartilhamento de arquivo do big data do tipo Nuvem é o item do Armazenamento de Dados (Nuvem) de mesmo nome. Para todos os outros tipos de compartilhamentos de arquivos do big data (Compartilhamento de Arquivo, HDFS e HIVE), o armazenamento de dados raiz é o item do Armazenamento de Dados (Compartilhamentos de Arquivos do Big Data) de mesmo nome.Editar compartilhamentos de arquivos do big data
Após criar um compartilhamento de arquivos do big data através do portal, você poderá usar o item de compartilhamento de arquivos do big data para visualizar os conjuntos de dados, editar a formatação dos conjuntos de dados ou sincronizar seu compartilhamento de arquivos do big data para adicionar conjuntos de dados adicionais.
Um compartilhamento de arquivo do big data é composto de um ou mais conjuntos de dados. O número de conjunto de dados é dependente do número de pastas em seu local de compartilhamento de arquivo do big data. Você pode visualizar os conjuntos de dados que foram registrados com sucesso em seu compartilhamento de arquivos do big data.
Se você esperava encontrar mais conjuntos de dados em seu compartilhamento de arquivos do big data ou está faltando algum, faça o seguinte:
- Verifique se você registrou corretamente a pasta de nível superior. Para mais informações, consulte Preparar seus dados.
- Marque se seus dados de entrada estão em um formato permitido como uma coleção de arquivos delimitados, shapefiles, parquet ou ORC.
- Garanta que o esquema do seu conjunto de dados de entrada de interesse seja consistente para uma coleção de arquivos (todos os arquivos em um único conjunto de dados devem ter os mesmos campos).
Você pode usar o conjunto de dados para verificar o número de conjuntos de dados em um compartilhamento de arquivo do big data ou revisar os esquemas do conjunto de dados para um conjunto de dados registrado. Você pode modificar o esquema de um conjunto de dados selecionado atualizando sua geometria, definição de tempo e nomes de campo usando as etapas abaixo.
Editar conjunto de dados de entrada de compartilhamento de arquivo do big data
Editar o item de compartilhamento de arquivos do big data permite modificar como seus dados são registrados e usados para análise. Você também pode usar a opção de edição para verificar como seus dados estão registrados atualmente. Para detalhes sobre cada opção nesta caixa de diálogo, consulte parâmetros de edição em compartilhamentos de arquivo do bog data. Para editar parâmetros de conjunto de dados, faça o seguinte:
- Abra o item de Compartilhamento de Arquivo do Big Data em seu conteúdo do portal.
- Clique na guia Conjunto de Dados.
- Clique no botão Editar ao lado do conjunto de dados que deseja editar.
- Modifique o conjunto de dados usando as opções Campos, Geometria, Tempo e Arquivo.
- Ao finalizar a edição das propriedades de conjunto de dados, clique em Salvar.
Editar um manifesto de compartilhamento de arquivo do big data ou arquivo de dicas
Na opção Mostrar avançado da guia Conjuntos de dados do compartilhamento de arquivos do big data, você pode visualizar, baixar e carregar o arquivo de manifesto ou de dicas. Se você carregar um manifesto, ele substituirá todas as alterações realizadas em seus conjuntos de dados de compartilhamento de arquivos do big data e substituirá os conjuntos de dados e esquema existentes. Para saber mais sobre o manifesto de compartilhamento de arquivos do big data, consulte Manifesto de compartilhamento de arquivos do big data. Para saber mais sobre usar um arquivo de dicas, consulte Arquivo de dicas. Para editar um manifesto de compartilhamento de arquivo do big data ou arquivo de dicas, faça o seguinte:
- Abra o item de Compartilhamento de Arquivo do Big Data em seu conteúdo do portal.
- Clique na guia Conjunto de Dados.
- Clique no botão de alternância Mostrar avançado para ativá-lo.
- Para baixar o arquivo de manifesto, clique em Baixar na seção do manifesto.
- Para baixar o arquivo de dicas, clique em Download na seção de dicas.
- Utilize um editor de textos para modificar e salvar alterações localmente para o manifeste arquivo .json baixado ou arquivo de dicas .dat.
Dica:
O formato do arquivo padrão do arquivo de dicas é .dat. Após ter baixado o arquivo, você pode alterar sua extensão para .txt e editar o arquivo. - Para carregar um arquivo editado, no compartilhamento de arquivos do big data, acesse a guia Conjunto de Dados e ative Mostrar avançado.
- Para carregar o manifesto, clique em Carregar no manifesto e navegue até o arquivo .json atualizado.
- Para carregar o arquivo de dicas, clique em Carregar em dicas e navegue até o arquivo .txt atualizado.
- Clique em Transferir.
Se você carregar um arquivo de dicas, sincronize o compartilhamento de arquivos do big data. Quando você sincroniza, apenas conjuntos de dados com dicas ou novos conjuntos de dados são atualizados, e as alterações realizadas em quaisquer outros conjuntos de dados que não estejam no arquivo de dicas permanecem as mesmas.
Sincronizar seu compartilhamento de arquivo do big data
Você pode sincronizar em sua conexão do big data se adicionar novos conjuntos de dados à sua fonte de dados ou se tiver carregado um arquivo de dicas. O arquivo de dicas fornece especificações que são usadas ao gerar novamente o compartilhamento de arquivos do big data.
Anotação:
Quando um compartilhamento de arquivo do big data é sincronizado, ele apenas atualiza o compartilhamento de arquivo do big data para conjuntos de dados existentes que têm um arquivo de dicas ou novos conjuntos de dados. Quaisquer edições realizadas nos conjuntos de dados que estiverem no arquivo de dicas serão sustituídas com as regras definidas no arquivo de dicas.- Abra o item de Compartilhamento de Arquivo do Big Data em seu conteúdo do portal.
- Clique na guia Conjunto de Dados.
- Clique no botão Sincronizar para ativá-lo.
Criar, editar e visualizar modelos de saída
Você pode criar, visualizar ou editar modelos de saída. Você também pode editar atributos e configurações para os modelos de saída, que descrevem como os resultados de saída são gravados no compartilhamento de arquivos do big data.
Para criar um modelo de saída, conclua as seguintes etapas:
- Abra o item de Compartilhamento de Arquivo do Big Data em seu conteúdo do portal.
- Clique na guia Saídas.
- Clique no botão Adicionar modelo de saída.
- Crie um nome para o modelo de saída e selecione o tipo de arquivo no qual o modelo de saída gravará.
- Defina os formatos de geometria para este modelo clicando na guia Geometria. Você pode defini-los para um, dois ou todos os tipos de geometria. As opções de formatação são iguais aos compartilhamentos de arquivos do big data de entrada.
- Defina os formatos de hora para este modelo clicando na guia Hora. Você pode deixar a hora em branco, definir como instantânea ou intervalo, ou ambos. As opções de formatação da hora são as mesmas de arquivos do big data de entrada.
- Clique em Salvar ao concluir.
Use as mesmas etapas para visualizar ou editar um modelo.
Parâmetros da edição de compartilhamento de arquivo do big data
O editor de compartilhamento de arquivos do de big data compreende as seguintes quatro seções:
- Campos
- Geometria
- Tempo
- Arquivo
É recomendado que você utilize um arquivo de dicas antes de editar seus dados se a geração do manifesto não determinou nomes de campo, codificação, delimitadores de campo ou caracteres de citação corretamente.
Campos
A seção dos campos listam todos os campos em um conjunto de dados. Ao selecionar um conjunto de dados, você pode visualizar o seguinte para cada campo:
- O nome do campo
- O tipo de campo
Você pode modificar somente o nome e o tipo de campo para arquivos delimitados. Se você estiver modificando muitos nomes de campo, é recomendado usar um arquivo de dicas.
Geometria
A seção de geometria lista o tipo de geometria, como ela é representada e a referência espacial. A seguinte tabela descreve as opções disponíveis, com notas para alterações que você pode fazer dependendo do tipo de conjunto de dados de entrada.
Parâmetros de geometria
| Parâmetro | Descrição | Arquivos delimitados | Shapefiles | Arquivos ORC | Arquivos Parquet |
|---|---|---|---|---|---|
Geometria | O tipo de geometria. As opções são Ponto, Polilinha, Polígono ou Nenhum. Se não houver geometria (Nenhum), o conjunto de dados será uma tabela. | Editável | Não pode ser modificado | Editável | Editável |
Referência espacial (WKID/WKT) | A referência espacial do conjunto de dados. Esta opção será mostrada somente se a geometria não for nenhuma. | Editável. Por padrão, isto será configurado para 4326, WGS 1984. | Não pode ser modificado | Editável | Editável |
Tipo de formato da geometria | Como a geometria é formatada para cada feição. As opções são XYZ (campos que representam os valores X, Y e opcionalmente Z—XYZ é aplicável somente aos pontos), WKT (texto bem conhecido), WKB (binário bem conhecido),GeoJson, EsriJson, e EsriShape . Esta opção será mostrada somente se a geometria não for nenhuma. | Editável | Não disponível, a opção não será exibida. | Editável | Editável |
Campos de geometria | Isso é usado para especificar quais campos representam geometrias. Em alguns casos, o campo deve ser um tipo de campo específico. Os formatos WKB e EsriShape exigem um campo binário e GeoJSON e EsriJSON exigem um campo de string. Os campos XYZ devem ser numéricos. Esta opção será mostrada somente se a geometria não for nenhuma. | Editável | Não disponível, a opção não será exibida. | Editável | Editável |
Tempo
A seção de tempo descreve como o tempo é representado. A seguinte tabela descreve as opções disponíveis, com notas para alterações que você pode fazer dependendo do tipo de conjunto de dados de entrada. As opções de tempo são as mesmas para todos os tipos de dados, exceto onde indicado.
Parâmetros de tempo
| Parâmetro | Descrição | Exemplo |
|---|---|---|
Tipo de hora | O tipo da hora de entrada. As opções são Momento (um único momento no tempo), Intervalo (um período de tempo com uma hora inicial e final) e Nenhum. | Instantâneo |
Campos de hora, Campos de hora inicial e Campos de hora final | Se você selecionar um Instantâneo, visualizará os Campos de hora. Se você selecionar Intervalo, visualizará os Campos de hora inicial e Campos de hora final. Essas opções especificam os campos e a formatação usados para definir a hora em seus dados de entrada. A hora pode utilizar um ou mais campos para definir o tempo, além de utilizar um ou mais formatos para um único campo. Por padrão, o primeiro campo com o nome "hora" será utilizado como o campo de hora, com uma estimativa do formato de hora. Se existir um shapefile, o primeiro campo do tipo de data será utilizado. Pelo menos uma linha deve ser preenchida para essas tabelas. Consulte os formatos de hora para saber mais sobre formatação. A tabela de formatação de hora está disponível somente se Tipo de Hora não for Nenhum. | Exemplo com um único campo utilizado para representar a hora com dois formatos diferentes:
Exemplo com dois campos utilizados para representar a hora:
|
Fuso horário | O fuso horário da hora de entrada. Esta opção está disponível somente se Tipo de Hora não for Nenhum. O padrão é UTC. | UTC |
Formatos de hora
A seguinte tabela descreve como representar a formatação de hora. Todos os exemplos mostram como representar a hora de 2 de Janeiro de 2016, às 9:45:02.05 PM.
Formatos de hora em um manifesto de compartilhamento do arquivo de grandes dados
| Formato | Significado | Exemplo |
|---|---|---|
yy | O ano, representado por dois dígitos. | 16 |
yyyy | O ano, representado por quatros dígitos. | 2016 |
MM | O mês, representou numericamente. | 01 ou 1 |
MMM | O mês, representado três letras. | Jan |
MMMM | O mês, representado utilizando a ortografia completa. | January |
dd | O dia. | 02 ou 2 |
HH | A hora, ao utilizar um dia de 24 horas; os valores variam de 0-23. | 21 |
hh | A hora ao utilizar um dia de 12 horas; os valores variam de 1-12. | 9 |
mm | O minuto; os valores variam de 0-59. | 45 |
ss | O segundo; os valores variam de 0-59. | 02 |
SSS | Os milissegundos; os valores variam de 0-999. | 50 |
a | O Marcador AM/PM. | PM |
epoch_millis | A hora em milissegundos do epoch. | 1509581781000 |
epoch_seconds | A hora em segundos do epoch. | 1509747601 |
Z | O deslocamento do fuso horário expresso em horas. | -0100 ou -01:00 |
ZZZ | O deslocamento do fuso horário expresso utilizando IDs. | America/Los_Angeles |
‘' | Utilize aspas simples para adicionar texto que não represente um valor descrito nesta tabela. | 'T' |
A seguinte tabela mostra exemplos para diferentes formatos da mesma data, 2 de Janeiro de 2016, às 9:45:02.05 PM:
Exemplos do formato de hora
| Data de entrada | Formato |
|---|---|
01/02/2016 9:45:02PM | MM/dd/yyyy hh:mm:ssa |
Jan02-16 21:45:02 | MMMdd-yy HH:mm:ss |
Janeiro 02 2016 9:45:02.050PM | MMMM dd yyyy hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/dd/yyyy'T'HH:mm:ssZ |
Arquivo
A seção do arquivo descreve o formato que estão os dados. Os dados podem estar em um dos seguintes formatos:
- Shapefile (.shp)
- Arquivo delimitado (por exemplo .csv)
- Arquivo Parquet
- Arquivo ORC
Os parâmetros disponíveis diferem dependendo do conjunto de dados. Para shapefiles, arquivos ORC e arquivos parquet, o único parâmetro é o tipo de arquivo, que não pode ser modificado. Se o conjunto de dados de entrada for um arquivo delimitado, haverão múltiplos parâmetros que poderão ser modificados no manifesto. Para modificar valores para um arquivo delimitado, utilize um arquivo de sugestões e regenere o manifesto.. Estes são descritos na seguinte tabela:
Formatos do conjunto de dados
| Parâmetro | Descrição |
|---|---|
Extensão do arquivo | Lista a extensão de tipo do arquivo no conjunto de dados de entrada. Os formatos comuns são .csv e .txt. |
Delimitador de campo | Determina o delimitador de cada campo. Os formatos comuns são , e ;. |
Finalizador de registro | Determina o finalizador de cada linha de dados. Os formatos comuns são \n e \t. |
Caractere de aspas | Determina o caractere utilizado para aspas. |
Tem linha de cabeçalho | Um valor Booleano que determina se a tabela de entrada incluiu uma linha de cabeçalho. Se uma linha de cabeçalho for incluída, os cabeçalhos serão utilizados para os nomes de campo. As informações do nome de campo estão predizendo os campos de geometria e de tempo. |
Codificação | O tipo de codificação utilizada no arquivo. Por padrão, este será UTF-8. |
Parâmetros de edição do modelo de saída de compartilhamento do arquivo de grandes dados
O editor do modelo de saída de compartilhamento do arquivo do big data inclui as seguintes três seções:
- Nome e tipo de arquivo
- Formatação da geometria
- Formatação de hora
Anotação:
Os compartilhamentos do arquivo de grandes dados de entrada têm uma seção de campos. Os modelos de saída não têm uma seção de campos, pois os campos resultantes são determinados pelas GeoAnalytics Tools criando o resultado. O ORC suporta somente nomes de campos que incluem o alfabeto latino básico e caracteres numéricos. Todos os outros caracteres em um nome de campo são substituídos por um underscore.
Formatos da geometria de saída
A seção de geometria lista como você deseja que a geometria de saída seja formatada para cada tipo de geometria (ponto, linha, polígono). Há duas partes para determinar a geometria de saída:
- A referência espacial—Você pode deixá-la em branco e ela utilizará os resultados da ferramenta (padrão). Opcionalmente, forneça um string WKID ou WKT e todos os resultados serão projetados para esta referência espacial. Este valor é compartilhado em todas as geometrias de saída.
- O tipo de formatação de geometria e campos—Isso é descrito em mais detalhes abaixo.
Formatos da geometria de saída
| Tipo de geometria | Campos de Saída | Arquivos delimitados | Shapefiles | Arquivos ORC | Arquivos Parquet |
|---|---|---|---|---|---|
XYZ— Um campo X, Y e opcionalmente Z. Esta opção está disponível somente para pontos. | Por padrão, três novos campos serão criados com os nomes de X, Y e Z. Você pode, opcionalmente, alterar estes nomes de campo. |  | | | |
WKT | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | | | |
GeoJSON | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | | | |
EsriJSON | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | | | |
WKB | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | | ||
EsriShape | Por padrão, um novo campo denominado Geometry será criado. Você pode, opcionalmente, alterar estes nomes de campo de sa[ida. | | |
Formatos de hora de saída
A seção de tempo descreve como a hora de saída é representada. O tempo de formatação exige as seguintes informações:
- Formatação para instantes e intervalos.
- Os nomes de campo nos quais a hora será gravada.
- O formato (String ou Data) de como a hora será gravada. Note que arquivos delimitados podem ser formatados somente com string.
- Para intervalos, quais campos representam o horário inicial e final.
A formatação de hora é a mesma dos arquivos de grandes dados de entrada. Consulte Formatos de hora no compartilhamentos de arquivos do big data.
Formato do conjunto de dados de saída
A seção de formato do conjunto de dados descreve o formato de saída no qual os dados serão gravados. Os dados podem estar em um dos seguintes formatos:
- Shapefile (.shp)
- Arquivo delimitado (por exemplo .csv)
- Arquivo Parquet
- Arquivo ORC
Os parâmetros disponíveis diferem dependendo do conjunto de dados. Para shapefiles, arquivos ORC e arquivos parquet, o único parâmetro é o tipo de arquivo, que não pode ser modificado. Se o conjunto de dados for um arquivo delimitado, haverão múltiplos parâmetros que poderão ser modificados no ArcGIS Server Manager. Estes são descritos na seguinte tabela:
Formatos do conjunto de dados
| Parâmetro | Descrição |
|---|---|
Extensão do arquivo | As extensões nunca são aplicadas a um conjunto de dados de saída. |
Delimitador de campo | Determina o delimitador de cada campo. Os formatos comuns são , e ;. |
Finalizador de registro | O terminador para cada linha de dados não pode ser definido. Para Windows, o terminador é \r\n. Para Linux, é \n. |
Caractere de aspas | Determina o caractere utilizado para aspas. |
Tem linha de cabeçalho | Um valor Booleano que determina se a tabela de saída incluirá uma linha de cabeçalho representando os nomes dos campos. Por padrão, isto é true. |
Codificação | Isto sempre será UTF-8. |