Nota:
Alla versione 10.9.1 o successiva, registrare una condivisione di file Big Data tramite la pagina dei contenuti del portale. Questo è il modo consigliato per registrare le condivisioni di file Big Data. Utilizzare solo Server Manager per la modifica se la condivisione file Big Data è stata creata utilizzando Server Manager e non è stata sostituita con una condivisione file Big Data nel portale.
Una condivisione file Big Data è un elemento creato nel portale che fa riferimento a una posizione disponibile in ArcGIS GeoAnalytics Server. È possibile utilizzare la posizione di condivisione file Big Data come input e output per i dati delle feature (punti, polilinee, poligoni e dati tabulari) degli strumenti GeoAnalytics. Quando crei una condivisione di file Big Data tramite la pagina dei contenuti del portale, vengono creati almeno due elementi nel portale:
- Un elemento Data Store (condivisione file Big Data)
- Un elemento di condivisione file Big Data
- Un elemento Data Store (Cloud Store), se si sta registrando un archivio cloud per una condivisione file Big Data
Nota:
Una condivisione file Big Data è disponibile solo se l'amministratore del portale ha abilitato GeoAnalytics Server. Per maggiori informazioni sull'abilitazione di GeoAnalytics Server, consultareConfigurareArcGIS GeoAnalytics Server.
Condivisione di grandi file di dati
Ci sono diversi vantaggi nell'usare una condivisione di file Big Data:
- È possibile conservare i dati nella posizione accessibile finché non sono pronti per essere sottoposti ad analisi. Una condivisione file Big Data consente di accedere ai dati durante l’esecuzione dell’analisi. Pertanto, sarà possibile continuare ad aggiungere i dati in un dataset esistente nella condivisione file Big Data esistente senza doverli registrare di nuovo o pubblicare.
- È anche possibile modificare il file Manifest per rimuovere, aggiungere o aggiornare dataset nella condivisione file Big Data.
- Le condivisioni file Big Data sono caratterizzate da una maggiore flessibilità a livello di definizione del tempo e della geometria, consentendo in questo modo di utilizzare più formati ora in un unico dataset.
- Le condivisioni file Big Data consentono inoltre di eseguire la partizione dei dataset e continuare a considerare le varie partizioni come un unico dataset.
- Utilizzare condivisioni file Big Data per dati di output permette di archiviare i risultati in formati che si possono utilizzare per altri flussi di lavoro, come un file parquet per un ulteriore analisi o archiviazione.
Nota:
L'accesso alle condivisioni file Big Data è possibile solo quando si esegue GeoAnalytics Tools. Ciò significa che è solo possibile sfogliare e aggiungere file Big Data all'analisi. Non sarà pertanto possibile visualizzare i dati in una mappa.
Le condivisioni file Big Data possono fare riferimento alle origini dei dati di input riportate di seguito:
- Condivisione file: una directory di dataset su un disco locale o condivisione di rete.
- Apache Hadoop Distributed File System (HDFS)— UnaHDFS directory di dataset.
- Apache Hive—Hive database di metastore.
- Archivio cloud: un bucket Amazon Simple Storage Service (S3), un contenitore Microsoft Azure Blob o un archivio Microsoft Azure Data Lake Gen2 (solo ArcGIS Server Administrator Directory) contenente una directory di dataset.
Quando si scrivono risultati in una condivisione file Big Data, è possibile utilizzare il seguente di output GeoAnalytics Tools:
- Condivisione file
- HDFS
- Archivio cloud
I seguenti tipi di dati sono supportati come dataset in condivisioni file Big Data di input e output:
- File delimitati (come .csv, .tsv, e .txt)
- Shapefile (.shp)
- File parquet (.parquet)
Nota:
Sono supportati solo i file di parquet non criptati.
- File ORC (.orc)
Le condivisioni file Big Data sono uno dei diversi metodi di accesso ai dati daGeoAnalytics Tools e non sono un requisito per GeoAnalytics Tools. Consultare Uso di GeoAnalytics Tools in Map Viewer classico per un elenco di possibili input e output di dati di GeoAnalytics Tools.
È possibile registrare tutte le condivisione file Big Data necessarie. Ogni condivisione file Big Data può avere tutti i dataset necessari.
La tabella sottostante delinea alcuni importanti elementi riguardanti le condivisioni file Big Data
Periodo | Descrizione |
---|---|
Condivisione file Big Data | Una posizione registrata con il proprio GeoAnalytics Server da usare come input, output, o input e output del dataset per i GeoAnalytics Tools. |
Servizio catalogo Big Data | Un servizio che delinea i dataset e schemi di input e nomi dei modelli di output della condivisione file Big Data. Questo è creato quando una condivisione file Big Data viene registrata e il manifesto viene creato. Per ulteriori informazioni sui servizi catalogo Big Data, consultare la documentazione Servizio catalogo Big Data nella Guida dell'API REST dei servizi ArcGIS. |
Elemento della condivisione file Big Data | Un elemento nel portale che fa riferimento al servizio catalogo Big Data. È possibile controllare chi utilizza la condivisione file Big Data come input in GeoAnalytics condividendo questo elemento nel portale. |
Manifesto | Un file JSON che delinea i dataset disponibili e schemi per input nella condivisione file Big Data. Il manifesto viene generato automaticamente quando si registra una condivisione file Big Data e può essere modificato editando o utilizzando un file dei suggerimenti. Una condivisione file Big Data singola ha un file Manifest. |
Modelli di output | Uno o più modelli che delineano tipo di file e formattazione opzionale quando si scrivono risultati su una condivisione file Big Data. Ad esempio, un modello potrebbe specificare che i risultati sono scritti su un shapefile. Una condivisione file Big Data può avere nessuno, uno o più modelli di output. |
Tipo di condivisione file Big Data | Il tipo di posizioni che si stanno registrando. Ad esempio, è possibile avere una condivisione file Big Data o un tipo di HDFS. |
Formato dataset di condivisione file Big Data | Il formato dei dati che si leggono o scrivono. Ad esempio, il tipo di file può essere shapefile. |
File dei suggerimenti | Un file opzionale che può essere utilizzato per assistere nella generazione di un manifesto per file delimitati utilizzati come input. |
Preparare i dati per la registrazione come condivisione file Big Data
Per utilizzare i dataset come input in una condivisione file Big Data, assicurarsi che i dati siano formattati correttamente. Per la formattazione basata sul tipo di condivisione file Big Data, vedere di seguito.
Condivisioni file e HDFS
Per preparare i dati per una condivisione file Big Data, è necessario formattare i dataset come sottocartelle di un'unica cartella madre che verrà registrata. In questa cartella padre registrata, i nomi delle sottocartelle rappresentano i nomi dei dataset. Se le sottocartelle contengono più cartelle e/o file, tutti i contenuti delle sottocartelle di primo livello vengono letti come un unico dataset e devono condividere lo stesso schema. Di seguito è illustrato un esempio di come registrare la cartellaFileShareFolder contenente tre dataset denominati Earthquakes, Hurricanes, e GlobalOceans. Quando si registra una cartella padre, nel server vengono registrate anche tutte le sottodirectory della cartella specificata con il GeoAnalytics Server. Registrare sempre la cartella padre (ad esempio, \\machinename\FileShareFolder, contenente una o più cartelle di dataset. Esempio di una condivisione file Big Data contenente tre dataset: Earthquakes, Hurricanes e GlobalOceans.
|---FileShareFolder < -- The top-level folder is what is registered as a big data file share
|---Earthquakes < -- A dataset "Earthquakes", composed of 4 csvs with the same schema
|---1960
|---01_1960.csv
|---02_1960.csv
|---1961
|---01_1961.csv
|---02_1961.csv
|---Hurricanes < -- The dataset "Hurricanes", composed of 3 shapefiles with the same schema
|---atlantic_hur.shp
|---pacific_hur.shp
|---otherhurricanes.shp
|---GlobalOceans < -- The dataset "GlobalOceans", composed of a single shapefile
|---oceans.shp
Questa stessa struttura viene applicata alle condivisioni file e HDFS, anche se la terminologia è diversa. In una condivisione file è presente una cartella o una directory di primo livello e i dataset sono rappresentati dalle sottodirectory. In HDFS, la posizione della condivisione file viene registrata e include i dataset. Nella tabella seguente vengono evidenziate le differenze:
Condivisione file | HDFS | |
---|---|---|
Posizione della condivisione file Big Data | Una cartella o directory | Un percorso HDFS |
Dataset | Sottocartelle di primo livello | Dataset all'interno del percorso HDFS |
Dopo aver organizzato i dati come una cartella contenente sottocartelle di dataset, rendere i dati accessibili a GeoAnalytics Server eseguendo la procedura descritta in Rendere i dati accessibili a ArcGIS Server e registrando la cartella di dataset o il percorso HDFS tramite il portale.
Hive
Nota:
GeoAnalytics Server usa Spark 3.0.1. Hive deve essere la versione 2.3.7 o 3.0.0–3.1.2.
Se non ci si sbriga e si registra una condivisione di grandi dati con Hive non corretta, la registrazione della condivisione di grandi dati non andrà a buon fine. Se questo si verifica, la casella degli strumenti GeoAnalyticsManagement in Directory Administrator ArcGIS Server, > servii > Sistema >GeoAnalyticsManagement> stop. Ripetere queste operazioni per iniziare.
In Hive, tutte le tabelle di un database vengono riconosciute come dataset di una condivisione file Big Data. Nell'esempio seguente è presente un metastore con due database,default e CityData. Durante la registrazione di una condivisione file Big Data Hive, è possibile selezionare solo un database. In questo esempio, se viene selezionato il database CityData, saranno presenti due dataset nella condivisione file Big Data, ovveroFireData e LandParcels.
|---HiveMetastore < -- The top-level folder is what is registered as a big data file share
|---default < -- A database
|---Earthquakes
|---Hurricanes
|---GlobalOceans
|---CityData < -- A database that is registered (specified in Server Manager)
|---FireData
|---LandParcels
Archivi cloud
Per preparare i dati per una condivisione file Big Data in un archivio cloud, è necessario formattare i dataset come sottocartelle di un'unica cartella padre.
Di seguito è riportato un esempio di come strutturare i dati. Questo esempio registra la cartella padre, FileShareFolder, che contiene tre dataset: Earthquakes, Hurricanes, e GlobalOceans. Quando si registra una cartella padre, nel server vengono registrate anche tutte le sottodirectory della cartella specificata con il GeoAnalytics Server. Esempio di come strutturare i dati in un archivio cloud che verrà utilizzato come una condivisione file Big Data. Questo file Big Data contiene tre dataset: Earthquakes, Hurricanes e GlobalOceans.
|---Cloud Store < -- The cloud store being registered
|---Container or S3 Bucket Name < -- The container (Azure) or bucket (Amazon) being registered as part of the cloud store
|---FileShareFolder < -- The parent folder that is registered as the 'folder' during cloud store registration
|---Earthquakes < -- The dataset "Earthquakes", composed of 4 csvs with the same schema
|---1960
|---01_1960.csv
|---02_1960.csv
|---1961
|---01_1961.csv
|---02_1961.csv
|---Hurricanes < -- The dataset "Hurricanes", composed of 3 shapefiles with the same schema
|---atlantic_hur.shp
|---pacific_hur.shp
|---otherhurricanes.shp
|---GlobalOceans < -- The dataset "GlobalOceans", composed of 1 shapefile
|---oceans.shp
Aggiungi una condivisione di file di big data
Per aggiungere una condivisione file Big Data di tipo cartella, HDFS, Hive o archivio Microsoft Azure Blob, bucket Amazon Simple Storage Service (S3) o archivio cloud bucket compatibile S3, consultare Aggiungere una condivisione file Big Data.
Attenersi alla seguente procedura per registrare un archivio cloud Microsoft Azure Data Lake Gen2 come condivisione file Big Data.
Prima di iniziare, assicurarsi di eseguire le seguenti operazioni e di disporre dei seguenti elementi:
- Scegliere un nome per la condivisione file Big Data. Questo nome verrà utilizzato per la registrazione dell'archivio cloud e della condivisione file Big Data, salvo dove indicato diversamente. Non utilizzare spazi o caratteri speciali.
- Un Azure Data Lake Gen2
- Una chiave condivisa per Azure Data Lake Gen2
- Accedere alla Portal Directory usando l'URL https://webadaptorhost.domain.com/webadaptorname/sharing/rest.
- Ottenere l'ID Server del proprio GeoAnalytics Server navigando al seguente URL: https://webadaptorhost.domain.com/webadaptorname/sharing/rest/portals/0123456789ABCDEF/servers. Annotare l'ID Server del GeoAnalytics Server, che verrà utilizzato nei passaggi sucessivi.
- Aggiungere l'archivio cloud Data Lake Gen2 al portale. Modificare l'URL in https://webadaptorhost.domain.com/webadaptorname/sharing/rest/content/users/<username>/addItem sostituendo <username> con il nome utente con il quale si è effettuato l'accesso.
- Compilare la pagina Aggiungi elemento con le seguenti informazioni:
Tipo: Data Store
Titolo: utilizzare il nome scelto.
Formato: JSON
Per il parametro Testo, utilizzare il seguente JSON e aggiornare il parametro come indicato:
- <title>: sostituire con il nome scelto
- <data lake name>: sostituire con il nome del Data Lake in Azure.
- <shared key>: sostituire con la chiave condivisa per il Data Lake.
- <container name>: sostituire con il contenitore nel quale sono archiviati i dati.
- <folder name>: sostituire con la cartella nella quale sono archiviate le cartelle dei dati.
{ "path": "/cloudStores/<title>", "type": "cloudStore", "provider": "azuredatalakegen2store", "info": { "isManaged": false, "connectionString": "{\"endpoint\":\"<data lake name>.dfs.core.windows.net\",\"authType\":\"SharedKey\",\"sharedKey\":\"<shared key>\"}", "container": "<container name>", "folder": "<folder name>" } }
- Fare clic su Aggiungi elemento. Annotare l'oggetto JSON che viene restituito.
Sarà simile a questo esempio:
{ "id": "ae514ea11d0a4a2cb720dd627694b098", "success": true, "folder": "" }
- Aprire una nuova scheda e andare al seguente URL: https://webadaptorhost.domain.com/webadaptorname/sharing/rest/portals/self/datastores/addToServer. Compilare il modulo con le seguenti informazioni:
- DatastoreId: utilizzare l'ID restituito nel JSON del passaggio precedente.
ServerId: l'ID del proprio GeoAnalytics Server.
Formato: JSON
Ciò restituirà un messaggio JSON dello stato. Se eseguito correttamente, continuare con il passaggio successivo.
- Accedere ad ArcGIS Server Manager su GeoAnalytics Server. Passare a Site > Data Store. Cercare nei Data Store registrati e trovare quello appena creato e copiare il nome file.
Sarà nel formato <chosenname>_ds_<unique key>. Questo nome verrà utilizzato nel passaggio successivo.
- Dopodiché, aggiungere la condivisione file Big Data facendo riferimento all'archivio cloud nel portale. Accedere all'URL https://webadaptorhost.domain.com/webadaptorname/sharing/rest/content/users/<username>/addItem, sostituendo <username> con il nome utente con il quale si è effettuato l'accesso.
Compilare i seguenti valori nel modulo:
Tipo: Data Store
Titolo: utilizzare il nome scelto.
Formato: JSON
Per il parametro Testo, utilizzare il seguente JSON e aggiornare il parametro come indicato:
- <cloud_title>: utilizzare il nome dal passaggio 7.
- <title>: sostituire con il nome scelto già utilizzato in precedenza.
{ "info":{ "connectionString":"{\"path\":\"/cloudStores/<cloud_title>\"}", "connectionType":"dataStore" }, "path":"/bigDataFileShares/<title>", "type":"bigDataFileShare" }
- Fare clic su Aggiungi elemento. Annotare l'oggetto JSON che viene restituito.
Sarà simile a questo esempio:
{ "id": "bk514ea14d0a3a2cb890hh627694b071", "success": true, "folder": "" }
- Tornare al seguente URL: https://webadaptorhost.domain.com/webadaptorname/sharing/rest/portals/self/datastores/addToServer. Compilare il modulo con le seguenti informazioni:
- DatastoreId: utilizzare l'ID restituito nel JSON del passaggio precedente.
ServerId: l'ID del proprio GeoAnalytics Server.
Formato: JSON
Ora si dispone di un elemento di condivisione file Big Data e un elemento archivio cloud. Dopo aver creato l'elemento di condivisione file Big Data, il GeoAnalytics Server creerà un terzo elemento, che include il manifest per i dati, che è possibile modificare nei contenuti del portale. Questo processo di creazione potrebbe richiedere alcuni minuti a seconda della quantità di dataset. Per modificare i dataset, consultare Gestire le condivisioni file Big Data in un portale qui sotto.
Gestire le condivisioni di file di grandi dati in un portale
Dopo aver creato una condivisione file Big Data, è possibile revisionare i dataset in essa e i modelli che sottolineano come i risultati salvati nelle condivisioni file Big Data verranno scritti.
Modificare una condivisione file Big Data
Quando viene creato un elemento di condivisione file Big Data, viene generatoe caricato automaticamente un manifest per i dati di input. È possibile che il processo di generazione di un Manifest non stimi sempre correttamente i campi che rappresentano la geometria e il tempo e potrebbe essere necessario apportare alcune modifiche. Per modificare un manifest e il modo in cui i dataset vengono rappresentati, seguire i passaggi in Modificare le condivisioni file Big Data. Per ulteriori informazioni sul manifest della condivisione file Big Data, consultare Manifest della condivisione file Big Data nella guida di ArcGIS Server.
Se si è creata la condivisione file Big Data in ArcGIS Server usando il Manager, seguire i passaggi in Modificare i manifest delle condivisioni file Big Data in Server Manager.
Modificare i modelli di output per una condivisione file Big Data
Se si sceglie di utilizzare la condivisione file Big Data come posizione di output, vengono generati automaticamente dei modelli di output. Questi modelli delineano la formattazione dei risultati di analisi di output, come il tipo di file e come tempo e geografia verranno registrati. Se si desidera modificare la geometria o il tempo della formattazione, o aggiungere o eliminare modelli, è possibile modificare i modelli. Per modificare i modelli di output, seguire i passaggi in Creare, modificare e visualizzare i modelli di output. Per ulteriori informazioni sui modelli di output, consultare Modelli di output nelle condivisioni file a Big Data.
Se si è creata la condivisione file Big Data in ArcGIS Server usando il Manager, seguire i passaggi in Modificare i manifest delle condivisioni file Big Data in Server Manager.
Migrare le condivisioni file Big Data create in Server Manager in un portale
Le condivisioni file Big Data create usando un portale hanno diversi vantaggi rispetto alle condivisioni file Big Data create in Server Manager, ad esempio:
- Un'esperienza utente migliorata per rendere più facile la modifica dei dataset.
- Un'esperienza più semplice per registrare le condivisiono file Big Data.
- Gli elementi vengono archiviati e condivisi usando le credenziali del portale
Si consiglia di spostare le condivisioni file Big Data da Server Manager a un portale. In alcuni casi, ciò è obbligatorio. Nei seguenti casi, è necessario migrare le condivisioni file Big Data in un portale per continuare a utilizzarle:
- Le condivisioni file Big Data basate su un archivio cloud Microsoft Azure Data Lake Gen1.
Per migrare una condivisione file Big Data da Server Manager in un portale, assicurarsi di disporre dei seguenti elementi:
- Le credenziali e la posizione del file della condivisione file Big Data configurata.
- Se applicabile, le credenziali e la posizione dei file dell'archivio cloud configurato.
- Accedere a Server Manager nel sito di GeoAnalytics Server.
- Passare a Site > Data Store. Fare clic sul pulsante di modifica nella condivisione file Big Data che si desidera migrare.
- Passare a Avanzato > Manifest. Fare clic sul pulsante Download per salvare il manifest.
- Se si dispone di suggerimenti, completare gli stessi passaggi anche per essi. Fare clic su SuggerimentiDownload per salvare il file dei suggerimenti. Rinominare l'estensione file da .dat a .txt.
- Se si dispone di modelli di output nella sezione AvanzatoModelli di output, copiare il testo e salvarlo in un file di testo.
- Creare una condivisione file Big Data nei contenuti del portale usando lo stesso tipo e posizione di input di quelli usati in precedenza.
Se non si conoscono le credenziali, il proprio amministratore può recuperarle in Server Administrator usando l'opzione decrypt=true negli elementi di condivisione file Big Data e archivio cloud.
- Se si sta effettuando l'aggiornamento di Microsoft Azure Data Lake Gen1 a Gen2, utilizzare i seguenti passaggi.
- Per tutti gli altri tipi di condivisione file Big Data, seguire i passaggi in Aggiungere un elemento Data Store usando le stesse credenziali e posizione della condivisione file Big Data esistente.
- Una volta creata la condivisone file Big Data, fare clic su Dataset e attivare l'opzione Mostra avanzate.
- Caricare il manifest salvato precedentemente facendo clic su Carica nella sezione del manifest. Cercare il file JSON del manifest salvato precedentemente e fare clic su Carica. Fare clic sul pulsante Sincronizza in modo da riflettere le modifiche.
- Se si dispone di un file dei suggerimenti da caricare, completare gli stessi passaggi e caricare il file con l'opzione Mostra avanzate > Suggerimenti > Carica. Fare clic sul pulsante Sincronizza in modo da riflettere le modifiche.
- Per caricare i modelli di output, eseguire una delle seguenti operazioni:
- Aggiungere manualmente i modelli di input usando l'elemento di condivisione file Big Data Output > Aggiungi modelli di output.
- Modificare il file JSON della condivisione file Big Data tramite ArcGIS Server Administrator Directory. Questa operazione è consigliata solo se si conosce come modificare i file JSON.
Ora si dispone di una condivisione file Big Data e un manifest per la condivisione file Big Data nel proprio portale. È possibile caricare i propri flussi di lavoro da utilizzare e puntare a questa condivisione file Big Data. Quando si è sicuri che funzioni correttamente, eliminare la condivisione file Big Data originale in Server Manager.
Eseguire analisi su una condivisione file Big Data
È possibile eseguire analisi su un dataset in una condivisione file Big Data mediante qualsiasi client che supporta GeoAnalytics Server, inclusi i seguenti:
- ArcGIS Pro
- Map Viewer classico
- ArcGIS REST API
- ArcGIS API for Python
Per eseguire l’analisi su una condivisione file Big DataArcGIS Pro o Map Viewer classico, selezionare ilGeoAnalytics Tools da utilizzare. Per fornire l’input allo strumento, passare alla posizione in cui si trovano i dati nella sezione Portale inArcGIS Pro oppure nella finestra di dialogo Sfoglia layer in Map Viewer classico. Se sono stati registrati, i dati saranno disponibili in I Miei Contenuti. In caso contrario, passare a Gruppi o Tutto il portale. Il layer della condivisione file Big Data selezionato per l'analisi non verrà visualizzato nella mappa.
Nota:
Accertarsi di avere effettuato l'accesso a un account del portale che dispone dell'accesso alla condivisione file Big Data registrata. Nel portale è possibile cercare il termine bigDataFileShare* per trovare tutte le condivisioni file Big Data per le quali si dispone dell'accesso.
Per eseguire analisi su una condivisione file Big Data tramite ArcGIS REST API, utilizzare come input l'URL del servizio catalogo Big Data. Se si è creata la condivisione file Big Data nel portale, questa sarà nel formato {"url":" https://webadaptorhost.domain.com/webadaptorname/rest/DataStoreCatalogs/bigDataFileShares_filesharename/"}. Ad esempio, con un computer denominato example, un dominio denominato esri, un Web Adaptor denominato server, una condivisione file Big Data denominata MyData, e un dataset denominato Earthquakes, l'URL sarà: {"url":" https://example.esri.com/server/rest/DataStoreCatalogs/bigDataFileShares_MyData/Earthquakes_uniqueID"}. Se si è creata la condivisone file Big Data in Server Manager, questa sarà nel formato {"url":"https://webadaptorhost.domain.com/webadaptorname/rest/DataStoreCatalogs/bigDataFileShares_filesharename/BigDataCatalogServer/dataset"}.
Per ulteriori informazioni sugli input per l'analisi Big Data tramite REST, consultare l'argomento Input di feature nella documentazione dell'API REST dei servizi ArcGIS.
Salvare risultati su una condivisione file Big Data
È possibile eseguire analisi su un dataset (condivisione file Big Data o altri input) e salvare i risultati su una condivisione file Big Data. Quando si salvano i risultati su una condivisione file Big Data, non è possibile visualizzarli. È possibile effettuare ciò con uno dei seguenti client:
- Map Viewer classico
- ArcGIS REST API
- ArcGIS API for Python
Quando si scrivono risultati su una condivisione file Big Data, il manifesto di input viene aggiornato per includere il dataset appena salvato. I risultati scritti sulla condivisione file Big Data sono ora disponibili come input per l'esecuzione di un altro strumento.