Skip To Content

Gestire le condivisioni di file di grandi dati in un portale

Le condivisioni file Big Data sono registrate attraverso la pagina dei contenuti del portale. Quando si aggiunge una condivisione file Big Data nel portale, viene creato un elemento Data Store corrispondente. Quando si aggiunge una condivisione file Big Data in archivio cloud, si crea un elemento di condivisione file Big Data, un elemento Data Store di tipo condivisione file Big Data e un elemento Data Store di tipo archivio cloud. Un elemento del portale di condivisione dei file di big data include le seguenti schede:

  • Panoramica: fornisce informazioni generali sulla condivisione file Big Data e sugli elementi Data Store correlati. Gli elementi dell'archivio dati correlati possono essere condivisi e cancellati con la vostra condivisione di file di grandi dati.
  • Dataset: elenca i dataset e delinea lo scheda dei dati di input. Le informazioni del dataset includono i campi e i formati che rappresentano la geometria e il tempo.
  • Output: delinea i modelli di output opzionali, che consentono di scrivere i risultati in una condivisione file Big Data. I modelli di output sono opzionali e vengono creati dopo aver registrato una condivisione di file di big data. Consultare Creare, modificare e visualizzare i modelli di output per informazioni su come creare o modificare un modello di output.
  • Impostazioni: descrive lo stato dei contenuti, l'estensione e la protezione di cancellazione.

È possibile visualizzare e modificare i set di dati e lo schema e i modelli di output attraverso la voce di condivisione dei file di big data.

Nota:
Per condividere un elemento Condivisione file di Big Data, è necessario condividere l'elemento principale del data store. Il data store principale per una condivisione di file di big data di tipo Cloud è l'elemento Data Store (Cloud) con lo stesso nome. Per tutti gli altri tipi di condivisione file Big Data (File Share, HDFS e HIVE) il Data Store principale è l'elemento Data Store (condivisione file Big Data) con lo stesso nome.

Modifica delle quote di file di big data

Una volta creata una condivisione file Big Data attraverso il portale, è possibile utilizzare la voce di condivisione file Big Data per visualizzare i dataset, modificare la formattazione dei dataset o sincronizzare la condivisione file Big Data per aggiungere ulteriori dataset.

Un file share di big data è composto da uno o più set di dati. Il numero di dataset dipende dal numero di cartelle contenute nella posizione condivisione file Big Data. Puoi visualizzare i set di dati che sono stati registrati con successo nella tua condivisione di file di big data.

Se ti aspettavi di trovare altri set di dati nella tua condivisione di file di big data o ne manca qualcuno, fai come segue:

  • Verificare che la cartella di primo livello sia stata registrata. Per ulteriori informazioni, consultare Preparare i dati.
  • Confermare che il formato dei propri dati di input sia consentito, ad esempio una raccolta di file deliminati, shapefile, Parquet o Optimized Row Columnar (ORC).
  • Accertarsi che lo schema del dataset di input di interesse sia pertinente per una raccolta di file (tutti i file in un solo dataset devono avere gli stessi campi).

È possibile utilizzare il dataset per verificare il numero di dataset in una condivsione file Big Data o revisionare gli schemi dataset per un dataset registrato. Puoi modificare lo schema di un set di dati selezionato aggiornando la sua geometria, la definizione del tempo e i nomi dei campi usando i passi seguenti.

Modificare i dataset di input di condivisione di file Big Data

La modifica dell'elemento di condivisione file Big Data permette di modificare il modo in cui i dati sono registrati e vengono utilizzati per l'analisi. Puoi anche usare l'opzione di modifica per vedere come i tuoi dati sono attualmente registrati. Per ulteriori informazioni su ciascuna opzione in questa finestra di dialogo, vedere Modifica dei parametri in condivisioni di file Big Data. Per modificare i parametri del dataset, attenersi alla procedura seguente:

  1. Apri la voce Condivisione file di Big Data nei contenuti del tuo portale.
  2. Clicca sulla scheda Dataset.
  3. Fai clic sul pulsante Modifica accanto al set di dati che vuoi modificare.
  4. Modifica il set di dati usando le opzioni Campi, Geometria, Tempo e File.
  5. Al termine della modifica delle proprietà del dataset, fare clic su Salva.

Eliminare i dataset di input di condivisione file Big Data

Eliminare i dataset consente di personalizzare quali dataset sono disponibili nella condivisione file Big Data. L'eliminazione di un dataset non elimina i dati nella posizione di origine. Se in seguito si decide di ripristinare il dataset eliminato nella connessione Big Data, è possibile utilizzare l'opzione sincronizza. Per eliminare dataset dalla condivisione file Big Data, eseguire le seguenti operazioni:

  1. Apri la voce Condivisione file di Big Data nei contenuti del tuo portale.
  2. Clicca sulla scheda Dataset.
  3. Selezionare la casella di controllo accanto al dataset da eliminare.
  4. Fare clic sul pulsante Elimina in cima alla tabella dei dataset per rimuoverlo dalla condivisione file Big Data.

Modificare un file Manifest di condivisione file Big Data o file dei suggerimenti

Nell'opzione Mostra avanzate della scheda Datasets della condivisione di file di big data, puoi visualizzare, scaricare e caricare il file manifest o hints. Se carichi un manifesto, esso sovrascrive qualsiasi modifica che hai fatto ai tuoi set di dati di condivisione di file di big data e sostituisce i set di dati e lo schema esistenti. Per saperne di più sul manifesto di condivisione dei file di big data, vedi Manifesto di condivisione dei file di big data. Per saperne di più sull'uso di un file di suggerimenti, vedi File di suggerimenti. Per modificare un file Manifest di condivisione file Big Data o file dei suggerimenti, attenersi alla seguente procedura:

  1. Apri la voce Condivisione file di Big Data nei contenuti del tuo portale.
  2. Clicca sulla scheda Datasets.
  3. Clicca sul pulsante Mostra avanzate per attivarlo.
    1. Per scaricare il file del manifesto, clicca su Download nella sezione del manifesto.
    2. Per scaricare il file dei suggerimenti, clicca su Download nella sezione dei suggerimenti.
  4. Utilizzare un editor di testo per modificare e salvare le modifiche localmente nel file manifest .json o file dei suggerimenti .dat scaricato.
    Suggerimento:
    Il formato file predefinito per il file dei suggerimenti è .dat. Dopo aver scaricato il file, è possibile cambiare la sua estensione in .txt e modificare il file.
  5. Per caricare un file modificato, nella condivisione dei file di big data, vai alla scheda Dataset e attiva Mostra avanzate.
    1. Per caricare il manifest, fare clic su Carica nella sezione dei manifest e cercare il file .json aggiornato.
    2. Per caricare il file dei suggerimenti, fare clic su Carica nella sezione dei suggerimenti e cercare il file .txt aggiornato.
  6. Fare clic su Carica.

Se carichi un file di suggerimenti, sincronizza la condivisione del file di big data. Quando si effettua la sincronizzazione, solo i dataset con suggerimenti o i nuovi dataset vengono aggiornati, e le modifiche apportate a qualsiasi altro dataset non presente nel file dei suggerimenti rimangono invariate.

Sincronizza la tua condivisione di file di big data

È possibile effettuare la sincronizzazione nella connessione Big Data se si aggiungono nuovi dataset all'origine dati o se si carica un file dei suggerimenti. Il file di suggerimenti fornisce le specifiche che vengono utilizzate quando si rigenera la quota di file di big data.

Nota:
Quando una condivisione di file di big data è sincronizzata, aggiorna solo la condivisione di file di big data per i set di dati esistenti che hanno un file di suggerimenti o nuovi set di dati. Qualsiasi modifica effettuata ai dataset all'interno del file dei suggerimenti viene sovrascritta con le regole definite dal file dei suggerimenti.

  1. Apri la voce Condivisione file di Big Data nei contenuti del tuo portale.
  2. Clicca sulla scheda Datasets.
  3. Clicca sul pulsante Sync per attivarlo.

Creare, modificare e visualizzare i modelli di output

È possibile creare, visualizzare o modificare i modelli di output. Puoi anche modificare gli attributi e le impostazioni per i modelli di output, che delineano il modo in cui i risultati dell'output vengono scritti nella condivisione dei file di big data.

Per creare un modello di output, completate i seguenti passi:

  1. Apri la voce Condivisione file di Big Data nei contenuti del tuo portale.
  2. Clicca sulla scheda Uscite.
  3. Clicca sul pulsante Aggiungi modello di output.
  4. Crea un nome per il modello di output e seleziona il tipo di file su cui il modello di output scriverà.
    1. Imposta i formati della geometria per questo modello facendo clic sulla scheda Geometria. È possibile impostarli per uno, due o tutti i tipi di geometria. Le opzioni di formattazione sono le stesse delle quote dei file di big data in ingresso.
    2. Imposta i formati di tempo per questo modello facendo clic sulla scheda Tempo. Si può lasciare il tempo vuoto, impostare per uno dei due tempi: istantaneo o intervallo, o entrambi. Le opzioni di formattazione del tempo sono le stesse dei formati di condivisione dei file di big data in ingresso.
  5. Clicca su Salva quando hai finito.

Usa gli stessi passi per visualizzare o modificare un modello.

Modifica dei parametri di condivisione file Big Data

L'editor di condivisione di file di grandi dati comprende le seguenti quattro sezioni:

  • Campi
  • Geometria
  • Tempo
  • File

Si raccomanda di utilizzare un file di suggerimenti prima di modificare i dati se la generazione del manifesto non ha determinato correttamente i nomi dei campi, la codifica, i delimitatori di campo o i caratteri di citazione di un file delimitato.

Campi

Nella sezione campi sono elencati tutti i campi in un dataset. Quando si seleziona un set di dati, si può vedere quanto segue per ogni campo:

  • Il nome del campo
  • Il tipo di campo

Puoi modificare il nome del campo e il tipo solo per i file delimitati. Se stai modificando molti nomi di campi, si raccomanda di usare un file di suggerimenti.

Per saperne di più sui tipi di campo supportati

Geometria

La sezione geometria elenca il tipo di geometria, come è rappresentata e il riferimento spaziale. Nella seguente tabella vengono descritte le opzioni disponibili, con note per le modifiche che è possibile apportare in base al tipo di dataset di input:

Parametri di geometria

ParametroDescrizioneFile delimitatiShapefileFile ORCFile parquet

Geometria

Il tipo di geometria. Le opzioni sono Punto, Polilinea, Poligono o Nessuna. Se non è presente alcuna geometria (Nessuna), il dataset è una tabella.

Modificabile

Non modificabile

Modificabile

Modificabile

Riferimento spaziale (WKID/WKT)

Riferimento spaziale del dataset. Questa opzione è mostrata solo se la geometria non è nessuna.

Modificabile. Per impostazione predefinita, viene impostato su 4326, WGS 1984.

Non modificabile

Modificabile

Modificabile

Tipo di formato della geometria

Modalità di formattazione della geometria per ogni feature. Le opzioni sono XYZ (campi che rappresentano valori x, y e facoltativamente valori z - XYZ è applicabile solo ai punti), WKT (well-known text), WKB (well-known binary), GeoJson, EsriJson e EsriShape. Questa opzione è mostrata solo se la geometria non è pari a nessuna.

Modificabile

Non disponibile; opzione non mostrata

Modificabile

Modificabile

Campi di geometria

Si usa per specificare quali campi rappresentano le geometrie.

In alcuni casi, il campo deve essere un tipo di campo specifico. I formati WKB e EsriShape richiedono un campo binario, mentre GeoJSON e EsriJSON richiedono un campo stringa. I campi XYZ devono essere numerici. Questa opzione è mostrata solo se la geometria non è pari a nessuna.

Modificabile

Non disponibile; opzione non mostrata

Modificabile

Modificabile

Tempo

La sezione del tempo descrive il modo in cui viene rappresentato il tempo. Nella seguente tabella vengono descritte le opzioni disponibili, con note per modifiche che è possibile apportare in base al tipo di dataset di input. Le opzioni di tempo sono le stesse per tutti i tipi di dati, salvo dove esplicitamente menzionato.

Parametri di tempo

ParametroDescrizioneEsempio

Tipo di tempo:

Tipo di tempo di input. Le opzioni sono Istante (un singolo momento nel tempo), Intervallo (un intervallo di tempo con ora di inizio e fine) e Nessuno.

Istante

Campi di tempo, campi di tempo iniziale e campi di tempo finale

Se si seleziona Istante, verranno visualizzati i Campi di tempo. Se si seleziona Intervallo, verranno visualizzati i Campi di tempo iniziale e i Campi di tempo finale.

Queste opzioni specificano i campi e la formattazione usati per definire il tempo nei vostri dati di input.

Il tempo può usare uno o più campi per definire il tempo, nonché uno o più formati per un singolo campo. Per impostazione predefinita, il primo campo con il nome time è utilizzato come campo di tempo, con una stima del formato del tempo. Se è presente uno shapefile, viene utilizzato il primo campo di tipo data.

Almeno una riga deve essere popolata per queste tabelle. Consultare Formati temporali per informazioni sulla formattazione.

La tabella di formattazione del tempo è disponibile solo se Tipo di tempo non è Nessuno.

Esempio con un singolo campo utilizzato per rappresentare il tempo in due formati differenti:

  • Campo-TimeField Formato-aa/MM/gg hh:mm:ss
  • Campo-TimeField Formato-aaaa/MMM/gg hh:mm:ss

Esempio con due campi usati per rappresentare il tempo:

  • Campo-DateField Formato-aa/MM/gg
  • Campo-TimeField Formato-hh:mm:ss

Fuso orario

Fuso orario del tempo di input. Questa opzione è disponibile solo se Tipo di tempo non è Nessuno. L'impostazione predefinita è UTC.

UTC

Formati ora

La seguente tabella mostra come rappresentare la formattazione del tempo. Tutti gli esempi mostrano come rappresentare il tempo 9:45:02.05 PM il 2 Gennaio 2016.

Formati di tempo in condivisioni file Big Data

FormatoSignificatoEsempio

yy

L'anno, rappresentato da due cifre.

16

yyyy

L'anno, rappresentato da quattro cifre.

2016

MM

Il mese, rappresentato numericamente.

01 o 1

MMM

Il mese, rappresentato utilizzando tre lettere.

Jan

MMMM

Il mese, rappresentato utilizzando l'ortografia completa.

January

dd

La data.

02 o 2

HH

L'ora, utilizzando un giorno di 24 ore, intervallo di valori da 0 a 23.

21

hh

L’ora, utilizzando un giorno di 12 ore; intervallo di valori da 1 a 12.

9

mm

I minuti, intervallo di valori da 0 a 59.

45

ss

I secondi, intervallo di valori da 0 a 59.

02

SSS

I millisecondi, intervallo di valori da 0 a 999.

50

a

Marcatore AM/PM.

PM

epoch_millis

Tempo in millisecondi da Epoch.

1509581781000

epoch_seconds

Tempo in secondi da Epoch.

1509747601

Z

Offset del fuso orario espresso in ore.

-0100 o -01:00

ZZZ

Offset del fuso orario espresso in ID.

America/Los_Angeles

''

Usare le virgolette singole per aggiungere del testo che non rappresenta un valore delineato in questa tabella.

'T'

Nella seguente tabella vengono descritti esempi di formati diversi della stessa data: 2 gennaio 2016 alle 21:45:02.05:

Esempi di formato di tempo

Data di inputFormato

01/02/2016 9:45:02PM

MM/gg/aaaa hh:mm:ssa

Jan02-16 21:45:02

MMMgg-aa HH:mm:ss

January 02 2016 9:45:02.050PM

MMMM gg aaaa hh:mm:ss.SSSa

01/02/2017T9:45:14:05-0000

MM/gg/aaaa'T'HH:mm:ssZ

File

La sezione file delinea il formato dei dati. I dati possono essere in uno dei seguenti formati:

  • Shapefile (.shp)
  • File delimitato (ad esempio, .csv)
  • File parquet
  • File ORC

I parametri disponibili variano in base al dataset. Per shapefile, file ORC e Parquet, l'unico parametro è il tipo di file, che non è modificabile. Se il dataset di input è un file delimitato, sarà possibile modificare più parametri. Per modificare i valori per un file delimitato, usare un file dei suggerimenti e rigenerare il file Manifest. Questi parametri sono descritti nella seguente tabella:

Formati dataset

ParametroDescrizione

Estensione file

Elenca l'estensione del tipo di file sul dataset di input. Formati comuni sono .csv e .txt.

Delimitatore campo

Determina il delimitatore per ogni campo. Formati comuni sono , e ;.

Terminazione record

Determina la terminazione per ciascuna riga di dati. Formati comuni sono \n e \t.

Citazione del carattere

Determina il carattere utilizzato per le virgolette.

Contiene intestazione riga

Un valore booleano che determina se la tabella di input include una riga d'intestazione. Se è inclusa un'intestazione riga, le intestazioni verranno utilizzate per i nomi di campo. L'informazione sul nome di campo prevede i campi geometria e tempo.

Codifica

Tipo di codifica utilizzata sul file. Per impostazione predefinita è UTF-8.

Parametri di modifica del modello di output della condivisione file Big Data

L'editor del modello di output di condivisione di file di grandi dati comprende le seguenti tre sezioni:

  • Nome e tipo di file
  • Formattazione della geometria
  • Formattazione dell'orario
Nota:

Le condivisioni di file Big Data di input presentano una sezione campi. I modelli di output non presentano una sezione campi, dal momento che i campi risultanti sono determinati dal GeoAnalytics Tools che crea il risultato. ORC supporta solo nomi di campi composti da lettere dell’alfabeto latino di base e caratteri numerici. Tutti gli altri caratteri nel nome di un campo sono sostituiti da un underscore.

Formati geometria di output

La sezione geometria elenca come vuoi che sia formattata la geometria di uscita per ogni tipo di geometria (punto, linea, poligono). Esistono due parti che determinano la geometria di output:

  • Il riferimento spaziale - Puoi lasciarlo vuoto, e usa i risultati dello strumento ( predefinito). Facoltativamente, fornire una stringa WKID o WKT, e tutti i risultati sono proiettati a quel riferimento spaziale. Questo valore è condiviso tra tutte le geometrie di output.
  • Il tipo di formattazione della geometria e i campi: questo è descritto più in dettaglio qui sotto.
Per ciascun modello è possibile definire come formattare la geometria del dataset, nonché i nomi dei campi che rappresentano la geometria. A seconda del tipo di dataset (file delimitati, shapefile, ORC o Parquet), è possibile emettere risultati in diversi formati. Gli shapefile non hanno un formato specificato e scrivono sempre un dataset shapefile. Nella seguente tabella vengono delineati tali formati:

Formati geometria di output

Tipo GeometriaCampi di outputFile delimitatiShapefileFile ORCFile parquet

XYZ: un campo X, Y e opzionalmente Z. Questa opzione è disponibile solo per i punti.

Per impostazione predefinita, vengono creati tre campi nuovi denominati X, Y e Z. In via opzionale, è possibile cambiare tali nomi dei campi.

SìSìSì

WKT

Per impostazione predefinita, viene creato un campo nuovo denominato Geometry. In via opzionale, è possibile cambiare i nomi dei campi di output.

SìSìSì

GeoJSON

Per impostazione predefinita, viene creato un campo nuovo denominato Geometry. In via opzionale, è possibile cambiare i nomi dei campi di output.

SìSìSì

EsriJSON

Per impostazione predefinita, viene creato un campo nuovo denominato Geometry. In via opzionale, è possibile cambiare i nomi dei campi di output.

SìSìSì

WKB

Per impostazione predefinita, viene creato un campo nuovo denominato Geometry. In via opzionale, è possibile cambiare i nomi dei campi di output.

SìSì

EsriShape

Per impostazione predefinita, viene creato un campo nuovo denominato Geometry. In via opzionale, è possibile cambiare i nomi dei campi di output.

SìSì

Formati di tempo di uscita

La sezione del tempo descrive il modo in cui viene rappresentato il tempo di output. La formattazione del tempo richiede le seguenti informazioni:

  • Formattazione sia per istanti sia per intervalli.
  • I nomi dei campi in cui è scritto il tempo.
  • Il formato (Stringa o Data) di scrittura del tempo. I file delimitati possono essere formattati solo con stringa.
  • Per gli intervalli, quali campi rappresentano l'ora di inizio e di fine.

La formattazione del tempo è la stessa di quella per i file Big Data di input. Vedere Formati temporali nelle condivisioni di file di big data.

Formato del set di dati in uscita

La sezione del formato dei dataset delinea il formato di output con cui vengono scritti i dati. I dati possono essere in uno dei seguenti formati:

  • Shapefile (.shp)
  • File delimitato (ad esempio, .csv)
  • File parquet
  • File ORC

I parametri disponibili variano in base al dataset. Per shapefile, file ORC e Parquet, l'unico parametro è il tipo di file, che non è modificabile. Se il dataset è un file delimitato, sarà possibile modificare più parametri in ArcGIS Server Manager. Questi sono descritti nella seguente tabella:

Formati dataset

ParametroDescrizione

Estensione file

Le estensioni non vengono mai applicate su un dataset di output.

Delimitatore campo

Determina il delimitatore per ogni campo. Formati comuni sono , e ;.

Terminazione record

Non è possibile impostare la terminazione per ciascuna riga di dati. Per Windows, il terminatore è \r\n. Per Linux, è \n.

Citazione del carattere

Determina il carattere utilizzato per le virgolette.

Contiene intestazione riga

Un valore booleano che determina se la tabella di output include una riga di intestazione contenente i nomi dei campi. Per impostazione predefinita, è true.

Codifica

È sempre in UTF-8.