Informazioni sulle condivisioni file Big Data
Una condivisione file Big Data è un elemento creato nel portale che fa riferimento ai dati della feature (dati punti, polilinee, poligoni o tabulari) in una posizione cui ArcGIS GeoAnalytics Server può accedere. L'elemento della condivisione file Big Data nel portale consente di individuare dati registrati da strumenti ArcGIS GeoAnalytics Server. Le condivisioni file Big Data possono fare riferimento alle origini dati riportate di seguito.
- Condivisione file: una directory di dataset su un disco locale o condivisione di rete.
- HDFS: una directory HDFS (Hadoop Distributed File System) di dataset.
- Hive: database di metastore.
- Archivio cloud: un bucket Simple Storage Service (S3) Amazon Web Services (AWS) o contenitore Microsoft Azure Blob contenente una directory di dataset. Gli archivi cloud sono disponibili a partire da ArcGIS 10.5.1.
Nota:
Una condivisione file Big Data è disponibile per l'uso solo se l'amministratore del portale ha abilitato GeoAnalytics Server. Per ulteriori informazioni sull'abilitazione di GeoAnalytics Server, vedere Configurare ArcGIS GeoAnalytics Server.
L'utilizzo di una condivisione file Big Data comune a tutte le origini dati è caratterizzato da numerosi vantaggi. È possibile conservare i dati nella posizione accessibile finché non sono pronti per essere sottoposti ad analisi. Una condivisione file Big Data consente di accedere ai dati durante l'esecuzione dell'analisi. Pertanto, sarà possibile continuare ad aggiungere i dati in un dataset esistente nella condivisione file Big Data esistente senza doverli registrare di nuovo o pubblicare. È anche possibile modificare il file manifesto per rimuovere, aggiungere o aggiornare dataset nella condivisione file Big Data. Le condivisioni file Big Data sono caratterizzate da una maggiore flessibilità a livello di definizione del tempo e della geometria, consentendo in questo modo di utilizzare più formati ora in un unico dataset. Le condivisioni file Big Data consentono inoltre di eseguire la partizione dei dataset e continuare a considerare le varie partizioni come un unico dataset.
Nota:
L'accesso alle condivisioni file Big Data è possibile solo quando si esegue GeoAnalytics Tools. Ciò significa che è solo possibile sfogliare e aggiungere file Big Data all'analisi. Non sarà pertanto possibile visualizzare i dati in una mappa.
Le condivisioni file Big Data sono uno dei diversi modi di accesso ai dati da GeoAnalytics Tools. Consultare Utilizzare gli GeoAnalytics Tools nel map viewer del portale per un elenco di possibili input di dati di GeoAnalytics Tools.
Preparare i dati per la registrazione come condivisione file Big Data
Condivisioni file e HDFS
Per preparare i dati per una condivisione file Big Data, è necessario formattare i dataset come sottocartelle di un'unica cartella padre che verrà registrata. In questa cartella padre registrata, i nomi delle sottocartelle rappresentano i nomi dei dataset. Se le sottocartelle contengono più cartelle o file, tutti i contenuti delle sottocartelle di primo livello vengono letti come un unico dataset. Di seguito è illustrato un esempio di come registrare la cartella FileShareFolder contenente tre dataset denominati Earthquakes, Hurricanes e GlobalOceans. Quando si registra una cartella padre, in GeoAnalytics Server vengono registrate anche tutte le sottodirectory della cartella specificata. Registrare sempre la cartella padre (ad esempio, \\machinename\FileShareFolder, contenente una o più cartelle di dataset.
Esempio di una condivisione file Big Data contenente tre dataset: Earthquakes, Hurricanes e GlobalOceans.|---FileShareFolder < -- The top-level folder is what is registered as a big data file share
|---Earthquakes < -- A dataset is all files and folders within the top-level subfolder
|---1960
|---01_1960.csv
|---02_1960.csv
|---1961
|---01_1961.csv
|---02_1961.csv
|---Hurricanes
|---atlantic_hur.shp
|---pacific_hur.shp
|---otherhurricanes.shp
|---GlobalOceans
|---oceans.shp
Questa stessa struttura viene applicata alle condivisioni file e a HDFS, anche se la terminologia è diversa. In una condivisione file è presente una cartella o una directory di primo livello e i dataset sono rappresentati dalle sottodirectory. In HDFS, la posizione della condivisione file viene registrata e include i dataset. Nella tabella seguente vengono evidenziate le differenze:
| Condivisione file | HDFS | |
|---|---|---|
Posizione della condivisione file Big Data | Una cartella o directory | Un percorso HDFS |
Dataset | Sottocartelle di primo livello | Dataset all'interno del percorso HDFS |
Dopo aver organizzato i dati come una cartella contenente sottocartelle di dataset, rendere i dati accessibili a GeoAnalytics Server eseguendo la procedura descritta in Rendere i dati accessibili ad ArcGIS Server e quindi registrare la cartella di dataset.
Nascondi
In Hive, tutte le tabelle di un database vengono riconosciute come dataset di una condivisione file Big Data. Nell'esempio seguente è presente un metastore con due database, default e CityData. Durante la registrazione di una condivisione file Big Data Hive tramite ArcGIS Server con GeoAnalytics Server, è possibile selezionare solo un database. In questo esempio, se viene selezionato il database CityData, saranno presenti due dataset nella condivisione file Big Data, ovvero FireData e LandParcels.|---HiveMetastore < -- The top-level folder is what is registered as a big data file share |---default < -- A database |---Earthquakes |---Hurricanes |---GlobalOceans |---CityData < -- A database that is registered (specified in Server Manager) |---FireData |---LandParcels
Archivi cloud
Per registrare una condivisione file Big Data di tipo archivio cloud esistono tre passi.
Preparare i dati
Per preparare i dati per una condivisione file Big Data in un archivio cloud, è necessario formattare i dataset come sottocartelle di un'unica cartella padre.
Di seguito è riportato un esempio di come strutturare i dati. Questo esempio registra la cartella padre, FileShareFolder, che contiene tre dataset Earthquakes, Hurricanes e GlobalOceans. Quando si registra una cartella padre, anche tutte le sottodirectory della cartella
specificata vengono registrate con GeoAnalytics Server. Esempio di come strutturare i dati in un archivio cloud che verrà utilizzato come una condivisione file Big Data. Questo file Big Data contiene tre dataset: Earthquakes, Hurricanes e GlobalOceans.|---Cloud Store < -- The cloud store being registered
|---Container or S3 Bucket Name < -- The container (Azure) or bucket (Amazon) being registered as part of the cloud store
|---FileShareFolder < -- The parent folder that is registered as the 'folder' during cloud store registration
|---Earthquakes < -- The dataset "Earthquakes" composed of 4 csvs
|---1960
|---01_1960.csv
|---02_1960.csv
|---1961
|---01_1961.csv
|---02_1961.csv
|---Hurricanes < -- The dataset "Hurricanes" composed of 3 shapefiles
|---atlantic_hur.shp
|---pacific_hur.shp
|---otherhurricanes.shp
|---GlobalOceans < -- The dataset "GlobalOceans" composed of 1 shapefile
|---oceans.shp
Registrare l'archivio cloud in GeoAnalytics Server
Connettersi al sito di GeoAnalytics Server da ArcGIS Server Manager per registrare un archivio cloud. Quando si registra un archivio cloud, all'interno del contenitore o del bucket è necessario includere un nome contenitore Azure o un nome bucket AWS S3, nonché una cartella. La cartella specificata è costituita da sottocartelle e ciascuna rappresenta un singolo dataset. Ogni dataset è costituito da tutti i contenuti della sottocartella.
Registrare l'archivio cloud come una condivisione file Big Data
La modalità di registrazione dell'archivio cloud come una condivisione file Big Data dipende dall'archivio cloud utilizzato.
Seguire questi passi per registrare l'archivio cloud AWS S3 creato nella sezione precedente come una condivisione file Big Data:
- Accedere al sito di GeoAnalytics Server da ArcGIS Server Manager.
È possibile effettuare l'accesso come un editore o amministratore.
Nota:
Nella versione GeoAnalytics Server 10.5.1, non è possibile registrare un archivio cloud AWS utilizzando credenziali IAM.
- Passare a Sito > Data Store e scegliere Condivisione file Big Data dall'elenco a discesa Registra.
- Fornire le seguenti informazioni nella finestra di dialogo Registra condivisione file Big Data:
- Digitare un nome per la condivisione file Big Data.
- Scegliere Archivio cloud dall'elenco a discesa Tipo.
- Scegliere il nome dell'archivio cloud AWS dall'elenco a discesa Archivio cloud.
- Fare clic su Crea per registrare l'archivio cloud come una condivisione file Big Data.
È ora disponibile una condivisione file Big Data e un manifesto per l'archivio cloud AWS. L'elemento della condivisione file Big Data nel portale fa riferimento a un servizio catalogo Big Data nell'istanza di GeoAnalytics Server.
Seguire questi passi per registrare l'archivio cloud Azure creato nella sezione precedente come una condivisione file Big Data:
- Accedere al sito di GeoAnalytics Server da ArcGIS Server Administrator Directory.
ArcGIS Server Administrator Directory richiede l'accesso come amministratore. Per connettersi al sito di GeoAnalytics Server federato, è necessario effettuare l'accesso utilizzando un token portale, che richiede le credenziali dell'amministratore del portale, o come l'amministratore principale del sito di GeoAnalytics Server. Se l'utente non è un amministratore del portale o se non si dispone dell'accesso alle informazioni sull'account dell'amministratore principale del sito, contattare l'amministratore del portale per completare questi passi per l'utente.
- Passare a dati > registerItem.
- Copiare il seguente testo e incollarlo nella casella di testo Elemento. Aggiornare il valore <bigDataFileShareName> con il nome desiderato per la condivisione file Big Data e il valore <cloudStoreName> con il nome specificato per l'archivio dati Azure quando è stato registrato con il sito di GeoAnalytics Server.
{ "path": "/bigDataFileShares/<bigDataFileShareName>", "type": "bigDataFileShare", "info": { "connectionString": "{\"path\" : \"/cloudStores/<cloudStoreName>\"}", "connectionType": "dataStore" } } - Fare clic su Registra elemento.
Dopo che l'elemento è stato registrato, la condivisione file Big Data viene visualizzata come un Data Store in ArcGIS Server Manager.
- Accedere al sito di GeoAnalytics ServerGeoAnalytics Server da ArcGIS Server Manager.
È possibile effettuare l'accesso come un editore o amministratore.
- Passare a Sito > Data Store e fare clic sul pulsante Rigenera manifesto accanto alla nuova condivisione file Big Data.
È ora disponibile una condivisione file Big Data e un manifesto per l'archivio cloud Azure. L'elemento della condivisione file Big Data nel portale fa riferimento a un servizio catalogo Big Data nell'istanza di GeoAnalytics Server.
Registrare la condivisione file Big Data
Per registrare una condivisione file, HDFS o archivio cloud Hive come una condivisione file Big Data, connettersi al sito di GeoAnalytics Server mediante ArcGIS Server Manager. Per ulteriori informazioni sulle procedure necessarie, consultare Registrare i dati in ArcGIS Server tramite Manager nella Guida di ArcGIS Server.
Suggerimento:
I passi per registrare un archivio dati come una condivisione file Big Data sono stati descritti nella sezione precedente.
Quando una condivisione file Big Data viene registrata, viene generato un manifesto in cui è riportato il formato dei dataset presenti nella posizione della condivisione, compresi i campi che rappresentano la geometria e il tempo. Nel portale viene creata una condivisione file Big Data che fa riferimento al servizio catalogo Big Data nell'istanza di GeoAnalytics Server in cui i dati sono stati registrati. Per ulteriori informazioni sui servizi catalogo Big Data, consultare la documentazione Servizio catalogo Big Data nella Guida dell'API REST dei servizi ArcGIS.
Modificare una condivisione file Big Data
Quando viene creato un servizio catalogo Big Data, un manifesto viene automaticamente generato e caricato nel sito di GeoAnalytics Server in cui i dati sono stati registrati. È possibile che il processo di generazione di un manifesto non stimi sempre correttamente i campi che rappresentano la geometria e il tempo e potrebbe essere necessario apportare alcune modifiche. Per modificare un manifesto, seguire la procedura in Modificare i manifesti delle condivisioni file Big Data in Manager. Per ulteriori informazioni sul manifesto di condivisione file Big Data, consultare Informazioni sul manifesto di condivisione file Big Data nella Guida di ArcGIS Server.
Eseguire analisi su una condivisione file Big Data
È possibile eseguire analisi su un dataset in una condivisione file Big Data mediante qualsiasi client che supporta GeoAnalytics Server, inclusi i seguenti:
- ArcGIS Pro
- Map Viewer di Portal for ArcGIS
- API REST ArcGIS
Per eseguire analisi su una condivisione file Big Data tramite ArcGIS Pro o il Map Viewer di Portal for ArcGIS, selezionare lo GeoAnalytics Tools che si desidera utilizzare. Per fornire l'input allo strumento, passare alla posizione in cui si trovano i dati nella sezione Portale in ArcGIS Pro oppure nella finestra di dialogo Sfoglia layer nel Map Viewer di Portal for ArcGIS. Se sono stati registrati, i dati saranno disponibili in I miei contenuti. In caso contrario, passare a Gruppi o Tutto il portale. Il layer della condivisione file Big Data selezionato per l'analisi non verrà visualizzato nella mappa.
Nota:
Accertarsi di avere effettuato l'accesso ad un account del portale che dispone dell'accesso alla condivisione file Big Data registrata. Nel portale è possibile cercare il termine bigDataFileShare* per trovare tutte le condivisioni file Big Data per le quali si dispone dell'accesso.
Per eseguire analisi su una condivisione file Big Data tramite l'API REST di ArcGIS, utilizzare come input l'URL del servizio catalogo Big Data. Il formato sarà {"url":" https://webadaptorhost.domain.com/webadaptorname/rest/DataStoreCatalogs/bigDataFileShares_filesharename/BigDataCatalogServer/dataset"}. Ad esempio, con un computer denominato example, un dominio denominato esri, un Web Adaptor denominato server, una condivisione file Big Data denominata MyData e un dataset denominato Earthquakes, l'URL sarà: {"url":" https://example.esri.com/server/rest/DataStoreCatalogs/bigDataFileShares_MyData/BigDataCatalogServer/Earthquakes"}. Per ulteriori informazioni sugli input per l'analisi Big Data tramite REST, consultare l'argomento Input di feature nella documentazione dell'API REST dei servizi ArcGIS.