Hinweis:
Ab Version 10.9.1 können Sie eine Big-Data-Dateifreigabe über die Inhaltsseite Ihres Portals registrieren. Dieses Vorgehen wird für die Registrierung von Big-Data-Dateifreigaben empfohlen. Verwenden Sie Server Manager nur dann zur Bearbeitung, wenn Ihre Big-Data-Dateifreigabe mit Server Manager erstellt wurde und Sie sie nicht durch eine Big-Data-Dateifreigabe auf dem Portal ersetzt haben.
Eine Big-Data-Dateifreigabe ist ein Element, das im Portal erstellt wird und einen Speicherort referenziert, der für den ArcGIS GeoAnalytics Server verfügbar ist. Sie können den Speicherort der Big-Data-Dateifreigabe als Eingabe und Ausgabe für Feature-Daten (Punkte, Polylinien, Polygone und Tabellendaten) von GeoAnalytics-Werkzeugen verwenden. Wenn Sie eine Big-Data-Dateifreigabe über die Inhaltsseite Ihres Portals erstellen, werden im Portal mindestens zwei Elemente erstellt:
- Ein Data-Store-Element (Big-Data-Dateifreigabe)
- Ein Element der Big-Data-Dateifreigabe
- Ein Data-Store-Element (Cloud-Speicherort), wenn Sie einen Data Store vom Typ "Cloud-Speicher" für eine Big-Data-Dateifreigabe registrieren
Hinweis:
Eine Big-Data-Dateifreigabe ist nur dann verfügbar, wenn der Portal-Administrator GeoAnalytics Server aktiviert hat. Weitere Informationen zum Aktivieren von GeoAnalytics Server finden Sie unter Einrichten von ArcGIS GeoAnalytics Server.
Big-Data-Dateifreigaben
Die Verwendung einer Big-Data-Dateifreigabe bietet eine Reihe von Vorteilen:
- Sie können die Daten an einem zugänglichen Speicherort behalten, bis Sie bereit sind, die Analyse durchzuführen. Eine Big-Data-Dateifreigabe greift während der Analyse auf die Daten zu, sodass Sie ihr Daten eines vorhandenen Datasets hinzufügen können, ohne die Daten erneut registrieren oder veröffentlichen zu müssen.
- Außerdem können Sie das Manifest so ändern, dass Sie Datasets in der Big-Data-Dateifreigabe entfernen, hinzufügen oder aktualisieren können.
- Big-Data-Dateifreigaben sind extrem flexibel in Bezug auf die Definition von Zeit und Geometrie und lassen mehrere Zeitformate innerhalb eines Datasets zu.
- Big-Data-Dateifreigaben ermöglichen Ihnen außerdem die Partitionierung Ihrer Datasets, wobei mehrere Partitionen dennoch als einzelnes Dataset behandelt werden.
- Wenn Sie Big-Data-Dateifreigaben für Ausgabedaten verwenden, können Sie die Ergebnisse in einem Format speichern, das sich auch für andere Workflows eignet, z. B. als Parquet-Datei, die Sie weiter analysieren oder speichern können.
Hinweis:
Auf Big-Data-Dateifreigaben wird nur bei der Ausführung von GeoAnalytics Tools zugegriffen. Sie können Big-Data-Dateien also nur durchsuchen und zur Analyse hinzufügen, sie aber nicht in einer Karte visualisieren.
Big-Data-Dateifreigaben können die folgenden Eingabe-Datenquellen referenzieren:
- Datenfreigabe: Ein Verzeichnis mit Datasets auf einem lokalen Laufwerk oder einer Netzwerkfreigabe.
- Apache Hadoop Distributed File System (HDFS): Ein HDFS-Verzeichnis mit Datasets.
- Apache Hive: Hive-Metastore-Datenbanken.
- Cloud-Speicher: Ein Amazon Simple Storage Service (S3)-Bucket, Microsoft Azure-Blob-Container oder Microsoft Azure Data Lake Storage Gen2-Speicher, der ein Verzeichnis mit Datasets enthält.
Wenn Sie Ergebnisse in eine Big-Data-Dateifreigabe schreiben, können Sie die folgenden Ausgaben für GeoAnalytics Tools verwenden:
- Dateifreigabe
- HDFS
- Cloud-Speicherort
In Big-Data-Dateifreigaben werden die folgenden Dateitypen als Datasets für Ein- und Ausgaben unterstützt:
- Dateien mit Trennzeichen (z. B. .csv, .tsv und .txt)
- Shapefiles (.shp)
- Parquet-Dateien (.parquet)
Hinweis:
Nur nicht verschlüsselte Parquet-Dateien werden unterstützt.
- ORC-Dateien (.orc)
Big-Data-Dateifreigaben sind eine von mehreren Möglichkeiten des Datenzugriffs durch GeoAnalytics Tools und sind nicht zwingend für GeoAnalytics Tools erforderlich. Eine Liste möglicher Dateneingaben und -ausgaben für GeoAnalytics Tools finden Sie unter Verwenden der GeoAnalytics Tools in Map Viewer Classic.
Sie können so viele Big-Data-Dateifreigaben registrieren, wie Sie benötigen. Jede Big-Data-Dateifreigabe kann beliebig viele Datasets enthalten. Anweisungen zur Registrierung einer Big-Data-Dateifreigabe bei der GeoAnalytics Server-Site finden Sie unter Hinzufügen einer Big-Data-Dateifreigabe.
In der folgenden Tabelle werden die wichtigsten Begriffe zum Thema Big-Data-Dateifreigaben erklärt.
Begriff | Beschreibung |
---|---|
Big-Data-Dateifreigabe | Ein beim GeoAnalytics Server registrierter Speicherort, der als Dataset-Eingabe und/oder -Ausgabe für GeoAnalytics Tools verwendet werden soll. |
Big-Data-Katalog-Service | Ein Service, der die Eingabe-Datasets und Schemas und die Namen der Ausgabenvorlagen der Big-Data-Dateifreigabe beschreibt. Dieser wird bei der Registrierung der Big-Data-Dateifreigabe und der Erzeugung des Manifests erstellt. Weitere Informationen zu Big-Data-Katalog-Services finden Sie in der Dokumentation zum Big-Data-Katalog-Service in der Hilfe zur ArcGIS-REST-API. |
Element der Big-Data-Dateifreigabe | Ein Element im Portal, das den Big-Data-Katalog-Service referenziert. Indem Sie dieses Element im Portal freigeben, können Sie steuern, welcher Benutzer Ihre Big-Data-Dateifreigabe als Eingabe für GeoAnalytics verwenden darf. |
Manifest | Eine JSON-Datei, in der die verfügbaren Datasets und das Schema für Eingaben in der Big-Data-Dateifreigabe beschrieben werden. Das Manifest wird bei der Registrierung einer Big-Data-Dateifreigabe automatisch generiert und kann bearbeitet oder durch Verwendung einer Hints-Datei geändert werden. Eine einzelne Big-Data-Dateifreigabe hat ein Manifest. |
Ausgabevorlagen | Eine oder mehrere Vorlagen, in denen der Dateityp und die optionale Formatierung für die Schreibvorgänge von Ergebnissen in eine Big-Data-Dateifreigabe beschrieben wird. Eine Vorlage kann zum Beispiel vorgeben, dass die Ergebnisse in ein Shapefile geschrieben werden. Eine Big-Data-Dateifreigabe kann keine, eine oder mehrere Ausgabevorlagen enthalten. |
Typ der Big-Data-Dateifreigabe | Der Typ der registrierten Speicherorte. Eine Big-Data-Dateifreigabe kann z. B. vom Typ "HDFS" sein. |
Format des Big-Data-Dateifreigabe-Datasets | Das Format der gelesenen oder geschriebenen Daten. Beispiel: Shapefile. |
Hints-Datei | Eine optionale Datei zur Generierung eines Manifests für durch Trennzeichen getrennte Dateien, die als Eingabe verwendet werden. |
Vorbereiten von Daten auf die Registrierung als Big-Data-Dateifreigabe
Wenn Sie Ihre Datasets als Eingaben in einer Big-Data-Dateifreigabe verwenden möchten, stellen Sie sicher, dass Ihre Daten korrekt formatiert sind. Weitere Informationen über die vom Typ der Big-Data-Dateifreigabe abhängige Formatierung finden Sie unten.
Dateifreigaben und HDFS
Zur Vorbereitung Ihrer Daten auf eine Big-Data-Dateifreigabe müssen Sie die Datasets als Unterordner unter einem einzelnen übergeordneten Ordner formatieren, der dann registriert wird. Die Namen der Unterordner innerhalb des übergeordneten Ordners, den Sie registrieren, entsprechen den Dataset-Namen. Wenn Ihre Unterordner mehrere Ordner oder Dateien enthalten, werden sämtliche Inhalte eines Unterordners auf oberster Ebene als einzelnes Dataset gelesen und müssen dasselbe Schema aufweisen. Im folgenden Beispiel wird der Ordner FileShareFolder mit den drei Datasets Earthquakes, Hurricanes und GlobalOceans registriert. Wenn Sie einen übergeordneten Ordner registrieren, werden auch alle Unterverzeichnisse unter dem angegebenen Ordner beim GeoAnalytics Server registriert. Registrieren Sie stets den übergeordneten Ordner (z. B. \\machinename\FileShareFolder), der die einzelnen Dataset-Ordner enthält. Beispiel für eine Big-Data-Dateifreigabe mit den drei Datasets "Earthquakes", "Hurricanes" und "GlobalOceans".
|---FileShareFolder < -- The top-level folder is what is registered as a big data file share
|---Earthquakes < -- A dataset "Earthquakes", composed of 4 csvs with the same schema
|---1960
|---01_1960.csv
|---02_1960.csv
|---1961
|---01_1961.csv
|---02_1961.csv
|---Hurricanes < -- The dataset "Hurricanes", composed of 3 shapefiles with the same schema
|---atlantic_hur.shp
|---pacific_hur.shp
|---otherhurricanes.shp
|---GlobalOceans < -- The dataset "GlobalOceans", composed of a single shapefile
|---oceans.shp
Für Dateifreigaben und HDFS gilt dieselbe Struktur, obwohl sich die Benennungen unterscheiden. Bei einer Dateifreigabe gibt es einen Ordner oder ein Verzeichnis der obersten Ebene, während die Datasets durch Unterverzeichnisse dargestellt werden. Bei HDFS wird der Speicherort der Dateifreigabe registriert und enthält die Datasets. In der folgenden Tabelle sind die Unterschiede zusammengefasst:
Dateifreigabe | HDFS | |
---|---|---|
Speicherort der Big-Data-Dateifreigabe | Ein Ordner oder Verzeichnis | Ein HDFS-Pfad |
Datasets | Unterordner der obersten Ebene | Datasets innerhalb des HDFS-Pfades |
Sobald Ihre Daten in einem Ordner mit Unterordnern für die einzelnen Datasets organisiert sind, machen Sie sie für Ihren GeoAnalytics Server zugänglich, indem Sie die Anleitungen unter Bereitstellen der Daten für ArcGIS Server befolgen und den Dataset-Ordner oder HDFS-Pfad über das Portal registrieren.
Hive
Bei Hive werden alle Tabellen in einer Datenbank als Datasets einer Big-Data-Dateifreigabe erkannt. Im folgenden Beispiel ist ein Metastore mit den beiden Datenbanken default und CityData verfügbar. Beim Registrieren einer Hive-Big-Data-Dateifreigabe kann nur eine Datenbank ausgewählt werden. Wenn wie in diesem Beispiel die Datenbank CityData ausgewählt wird, würde es in der Big-Data-Dateifreigabe zwei Datasets geben: FireData und LandParcels.
|---HiveMetastore < -- The top-level folder is what is registered as a big data file share
|---default < -- A database
|---Earthquakes
|---Hurricanes
|---GlobalOceans
|---CityData < -- A database that is registered (specified in Server Manager)
|---FireData
|---LandParcels
Data Stores vom Typ "Cloud-Speicher"
Zur Vorbereitung Ihrer Daten auf eine Big-Data-Dateifreigabe in einem Cloud-Speicherort müssen Sie die Datasets als Unterordner unter einem einzelnen übergeordneten Ordner formatieren.
Das nachfolgende Beispiel veranschaulicht, wie Ihre Daten strukturiert werden müssen. In diesem Beispiel wird der übergeordnete Ordner, FileShareFolder, der drei Datasets, Earthquakes, Hurricanes und GlobalOceans, enthält, registriert. Wenn Sie einen übergeordneten Ordner registrieren, werden auch alle Unterverzeichnisse des angegebenen Ordners beim GeoAnalytics Server registriert. Beispiel für das Strukturieren von Daten in einem Cloud-Speicherort, der als Big-Data-Dateifreigabe verwendet wird. Diese Big-Data-Datei enthält drei Datasets: "Earthquakes", "Hurricanes" und "GlobalOceans".
|---Cloud Store < -- The cloud storage location being registered
|---Container or S3 Bucket Name < -- The container (Azure) or bucket (Amazon) being registered as part of the cloud storage data store
|---FileShareFolder < -- The parent folder that is registered as the 'folder' during cloud storage registration
|---Earthquakes < -- The dataset "Earthquakes", composed of 4 csvs with the same schema
|---1960
|---01_1960.csv
|---02_1960.csv
|---1961
|---01_1961.csv
|---02_1961.csv
|---Hurricanes < -- The dataset "Hurricanes", composed of 3 shapefiles with the same schema
|---atlantic_hur.shp
|---pacific_hur.shp
|---otherhurricanes.shp
|---GlobalOceans < -- The dataset "GlobalOceans", composed of 1 shapefile
|---oceans.shp
Verwalten von Big-Data-Dateifreigaben in einem Portal
Nach dem Erstellen einer Big-Data-Dateifreigabe können Sie die darin enthaltenen Datasets und die Vorlagen prüfen, die beschreiben, wie die in Big-Data-Dateifreigaben gespeicherten Ergebnisse geschrieben werden.
Ändern einer Big-Data-Dateifreigabe
Wenn ein Big-Data-Dateifreigabeelement erstellt wird, wird automatisch ein Manifest für die Eingabedaten generiert und hochgeladen. Beim Generieren des Manifests werden die Felder mit Angaben zu Geometrie und Zeit gelegentlich möglicherweise nicht korrekt eingeschätzt, sodass Sie ggf. Korrekturen vornehmen müssen. Führen Sie die Schritte unter Big-Data-Dateifreigabe bearbeiten aus, um das Manifest und die Darstellung der Datasets zu bearbeiten. Weitere Informationen zu Big-Data-Dateifreigabemanifesten finden Sie unter Manifest zur Big-Data-Dateifreigabe in der Hilfe zu ArcGIS Server.
Wenn Sie die Big-Data-Dateifreigabe in ArcGIS Server unter Verwendung von Manager erstellt haben, führen Sie die unter Bearbeiten von Manifesten zur Big-Data-Dateifreigabe in Server Manager beschriebenen Schritte aus.
Ändern der Ausgabevorlagen für eine Big-Data-Dateifreigabe
Wenn Sie die Big-Data-Dateifreigabe als Ausgabeverzeichnis verwenden, werden automatisch Ausgabevorlagen generiert. In diesen wird die Formatierung der Ergebnisse der Ausgabeanalyse beschrieben, darunter der Dateityp und die Art der Registrierung der Zeit und der Geometrie. Sie können die Geometrie- oder Zeitformatierung in den Vorlagen ändern, oder Sie können Vorlagen hinzufügen oder löschen. Führen Sie zum Bearbeiten der Ausgabevorlagen die Schritte Erstellen, Bearbeiten und Anzeigen von Ausgabevorlagen aus. Weitere Informationen über Ausgabevorlagen finden Sie unter Ausgabevorlagen in einer Big-Data-Dateifreigabe.
Wenn Sie die Big-Data-Dateifreigabe in ArcGIS Server unter Verwendung von Manager erstellt haben, führen Sie die unter Bearbeiten von Manifesten zur Big-Data-Dateifreigabe in Server Manager beschriebenen Schritte aus.
Migrieren von in Server Manager erstellten Big-Data-Dateifreigaben zu einem Portal
Big-Data-Dateifreigaben, die über ein Portal erstellt werden, haben viele Vorteile gegenüber Big-Data-Dateifreigaben, die in Server Manager erstellt wurden, unter anderem folgende:
- Eine verbesserte Benutzeroberfläche für ein einfacheres Bearbeiten der Datasets
- Einfacheres Registrieren der Big-Data-Dateifreigaben
- Elemente werden mithilfe von Portal-Anmeldeinformationen gespeichert und freigegeben
Es wird empfohlen, ein Data-Store-Element für die Big-Data-Dateifreigaben zu erstellen, die Sie in Server Manager definiert haben. In einigen Fällen ist dies sogar erforderlich. In den folgenden Fällen müssen Sie Big-Data-Dateifreigaben zu Data-Store-Elementen im Portal migrieren, um sie weiterhin nutzen zu können:
- Big-Data-Dateifreigaben basierend auf einem Microsoft Azure Data Lake Storage Gen1-Data Store vom Typ "Cloud-Speicher".
Stellen Sie bei der Migration einer in Server Manager erstellten Big-Data-Dateifreigabe zu einem Portal-Data-Store-Element sicher, dass Sie über die folgenden Informationen verfügen:
- Die Anmeldeinformationen und den Dateispeicherort Ihrer konfigurierten Big-Data-Dateifreigabe.
- Die Anmeldeinformationen und den Dateispeicherort Ihres konfigurierten Data Store vom Typ "Cloud-Speicher", sofern zutreffend.
- Melden Sie sich bei Server Manager auf Ihrer GeoAnalytics Server-Site an.
- Wechseln Sie zu Site > Data Store. Klicken Sie auf die Schaltfläche "Bearbeiten" für die Big-Data-Dateifreigabe, die Sie migrieren möchten.
- Wechseln Sie zu Erweitert > Manifest. Klicken Sie auf die Schaltfläche Herunterladen, um das Manifest zu speichern.
- Wenn Sie Hints haben, führen Sie die gleichen Schritte für Hints durch. Klicken Sie auf HintsHerunterladen, um die Hints-Datei herunterzuladen. Benennen Sie Ihre Dateierweiterung von .dat in .txt.txt um.
- Wenn Sie über Ausgabevorlagen im Bereich ErweitertAusgabevorlagen verfügen, kopieren Sie den Text und speichern ihn in einer Textdatei.
- Erstellen Sie eine Big-Data-Dateifreigabe auf der Seite des Portal-Inhalts, indem Sie denselben Typ und dieselbe Eingabeposition wie zuvor verwenden.
Wenn Sie die Anmeldeinformationen nicht kennen, kann Ihr Administrator sie unter "Serveradministrator" mithilfe der Option decrypt=true für die Big-Data-Dateifreigabeelemente und die Data-Store-Elemente vom Typ "Cloud-Speicher" finden.
Führen Sie die Schritte unter Hinzufügen eines Data-Store-Elements mit denselben Anmeldeinformationen und demselben Speicherorts wie die vorhandene Big-Data-Dateifreigabe aus.
- Klicken Sie nach dem Erstellen des Elements der Big-Data-Dateifreigabe auf Datasets, und aktivieren Sie die Option Erweiterte einblenden.
- Laden Sie das zuvor gespeicherte Manifest hoch, indem Sie im Abschnitt "Manifest" auf Hochladen klicken. Navigieren Sie zu der zuvor gespeicherten Manifest-JSON-Datei, und klicken Sie auf Hochladen. Klicken Sie auf die Schaltfläche Sync, damit die Änderungen übernommen werden.
- Wenn Sie eine Hints-Datei hochladen möchten, führen Sie dieselben Schritte aus, und laden Sie Ihre Hints-Datei unter der Option Erweiterte einblenden > Hints > Hochladen hoch. Klicken Sie auf die Schaltfläche Sync, damit die Änderungen übernommen werden.
- Gehen Sie wie folgt vor, um die Ausgabevorlagen hochzuladen:
- Fügen Sie die Ausgabevorlagen manuell über das Big-Data-Dateifreigabeelement Ausgaben > Ausgabevorlagen hinzufügen hinzu.
- Bearbeiten Sie die JSON-Datei des Big-Data-Dateifreigabeelements über das ArcGIS Server-Administratorverzeichnis. Dies wird nur empfohlen, wenn Sie mit der Bearbeitung von JSON-Dateien vertraut sind.
Im Portal stehen nun eine Big-Data-Dateifreigabe und ein Manifest für Ihr Big-Data-Dateifreigabeelement zur Verfügung. Sie können Ihre Workflows aktualisieren, um diese Big-Data-Dateifreigabe zu verwenden und darauf zu verweisen. Wenn Sie sicher sind, dass sie wie erwartet funktioniert, löschen Sie die ursprüngliche Big-Data-Dateifreigabe in Server Manager.
Ausführen von Analysen für Big-Data-Dateifreigaben
Sie können über alle Clients, die GeoAnalytics Server unterstützen, Analysen für Datasets in Big-Data-Dateifreigaben durchführen. Hierzu gehören folgende Clients:
- ArcGIS Pro
- Map Viewer Classic
- ArcGIS REST API
- ArcGIS API for Python
Wenn Sie Ihre Analyse einer Big-Data-Dateifreigabe über ArcGIS Pro oder Map Viewer Classic durchführen möchten, dann wählen Sie die GeoAnalytics Tools aus, die Sie verwenden möchten. Als Eingabe für das Werkzeug navigieren Sie unter Portal in ArcGIS Pro oder über das Dialogfeld Layer durchsuchen in Map Viewer Classic zum Speicherort Ihrer Daten. Falls Sie die Daten selbst registriert haben, befinden Sie sich in Eigene Inhalte. Ansonsten finden Sie sie in den Gruppen oder unter Gesamtes Portal. Beachten Sie, dass ein Big-Data-Dateifreigabe-Layer, der zur Analyse ausgewählt wurde, in der Karte nicht angezeigt wird.
Hinweis:
Stellen Sie sicher, dass Sie sich mit einem Portal-Konto angemeldet haben, das über Zugriffsberechtigungen für die registrierte Big-Data-Dateifreigabe verfügt. Suchen Sie in Ihrem Portal nach dem Suchbegriff bigDataFileShare*, um sämtliche Big-Data-Dateifreigaben, auf die Sie zugreifen können, schnell zu finden.
Um Analysen für eine Big-Data-Dateifreigabe über die ArcGIS REST API durchzuführen, ist die URL des Big-Data-Katalog-Service als Eingabe zu verwenden. Wenn Sie die Big-Data-Dateifreigabe im Portal erstellt haben, wird diese im Format {"url":" https://webadaptorhost.domain.com/webadaptorname/rest/DataStoreCatalogs/bigDataFileShares_filesharename/"} angezeigt. Bei einem Computer namens example, einer Domäne namens esri, einem Web Adaptor namens server, einer Big-Data-Dateifreigabe namens MyData und einem Dataset namens Earthquakes lautet die URL folgendermaßen: {"url":" https://example.esri.com/server/rest/DataStoreCatalogs/bigDataFileShares_MyData/Earthquakes_uniqueID"}. Wenn Sie die Big-Data-Dateifreigabe in Server Manager erstellt haben, wird diese im Format {"url":"https://webadaptorhost.domain.com/webadaptorname/rest/DataStoreCatalogs/bigDataFileShares_filesharename/BigDataCatalogServer/dataset"} angezeigt.
Weitere Informationen zu Eingaben für Big-Data-Analysen über REST finden Sie im Thema Feature Input in der Dokumentation zur ArcGIS-REST-API.
Speichern von Ergebnissen in einer Big-Data-Dateifreigabe
Sie können eine Analyse in einem Dataset (Big-Data-Dateifreigabe oder sonstige Eingabe) durchführen und die Ergebnisse in der Big-Data-Dateifreigabe speichern. Dazu benötigen Sie einen der folgenden Clients:
- Map Viewer Classic
- ArcGIS REST API
- ArcGIS API for Python
Wenn Sie Ergebnisse in eine Big-Data-Dateifreigabe schreiben, wird das soeben gespeicherte Dataset in das Eingabemanifest aufgenommen. Die in die Big-Data-Dateifreigabe geschriebenen Ergebnisse sind nun als Eingabe für andere Werkzeuge verfügbar. Wenn Sie Ergebnisse in einer Big-Data-Dateifreigabe speichern, können diese nicht visualisiert werden.