Udostępnione pliki dużych zbiorów danych są rejestrowane na stronie zasobów portalu. Gdy w portalu jest dodawany udostępniony plik dużych zbiorów danych, tworzony jest również powiązany element magazynu danych. Gdy jest dodawany udostępniony plik dużych zbiorów danych magazynu w chmurze, zostanie utworzony element udostępnionego pliku dużych zbiorów danych, element magazynu danych typu udostępniony plik dużych zbiorów danych oraz element magazynu danych typu magazyn w chmurze. Element portalu udostępnionego pliku dużych zbiorów danych zawiera następujące karty:
- Przegląd — udostępnia informacje ogólne o udostępnionym pliku dużych zbiorów danych i powiązane elementy magazynu danych. Powiązane elementy magazynu danych można udostępniać i usuwać z udostępnionym plikiem dużych zbiorów danych.
- Zestawy danych — zawiera listę zestawów danych i schemat danych wejściowych. Na informacje o zestawie danych składają się pola i formaty reprezentujące geometrię i czas.
- Dane wynikowe — przedstawia opcjonalne szablony wynikowe, które pozwalają zapisać wyniki w udostępnionym pliku dużych zbiorów danych. Szablony wynikowe są opcjonalne i są tworzone po zarejestrowaniu udostępnionego pliku dużych zbiorów danych. Sekcja Tworzenie, edycja i wyświetlanie szablonów wynikowych zawiera więcej informacji o sposobie tworzenia lub edycji szablonu wynikowego.
- Ustawienia — opisuje status zasobów, zasięg i ochronę przed usunięciem.
Korzystając z elementu udostępnionego pliku dużych zbiorów danych, można wyświetlać i edytować zestawy danych i schematy oraz szablony wynikowe.
Notatka:
Aby udostępnić element udostępnionego pliku dużych zbiorów danych, należy udostępnić element głównego magazynu danych. Głównym magazynem danych dla udostępnionego pliku dużych zbiorów danych typu Chmura jest element Magazyn danych (w chmurze) o tej samej nazwie. W przypadku wszystkich pozostałych typów udostępnionych plików dużych zbiorów danych (Udostępniony plik, System plików HDFS i Hurtownia danych HIVE) głównym magazynem danych jest element Magazyn danych (udostępniony plik dużych zbiorów danych) o tej samej nazwie.Edycja udostępnionych plików dużych zbiorów danych
Po utworzeniu w portalu udostępnionego pliku dużych zbiorów danych można użyć elementu udostępnionego pliku dużych zbiorów danych do wyświetlenia zestawów danych, edycji formatowania zestawów danych lub synchronizacji udostępnionego pliku dużych zbiorów danych w celu dodania dodatkowych zestawów danych.
Udostępniony plik dużych zbiorów danych składa się z co najmniej jednego zestawu danych. Liczba zestawów danych jest zależna od liczby folderów w lokalizacji udostępnionego pliku dużych zbiorów danych. Istnieje możliwość wyświetlenia zestawów danych, które zostały pomyślnie zarejestrowane w udostępnionym pliku dużych zbiorów danych.
Jeśli w udostępnionym pliku dużych zbiorów danych miało się znaleźć więcej zestawów danych lub jeśli jakichś w nim brakuje, wykonaj następujące czynności:
- Sprawdź, czy folder najwyższego poziomu został poprawnie zarejestrowany. Więcej informacji można znaleźć w sekcji Przygotowanie danych.
- Potwierdź, że dane wejściowe mają dozwolony format, taki jak zbiór plików rozdzielanych, plików shape, Parquet lub ORC (Optimized Row Columnar).
- Sprawdź, czy schemat danego wejściowego zestawu danych jest spójny dla zbioru plików (wszystkie pliki w jednym zestawie danych muszą mieć takie same pola).
Za pomocą zestawu danych można zweryfikować liczbę zestawów danych w udostępnionym pliku dużych zbiorów danych lub przejrzeć schematy zestawów danych dla zarejestrowanego zestawu danych. Schemat wybranego zestawu danych można zmodyfikować, aktualizując jego geometrię, definicję czasu i nazwy pól za pomocą poniżej przedstawionych czynności.
Edycja wejściowych zestawów danych udostępnionych plików dużych zbiorów danych
Edytując element udostępnionego pliku dużych zbiorów danych, można zmodyfikować sposób rejestrowania danych i ich użycia w celu analizy. Korzystając z opcji edycji, można wyświetlić sposób obecnego zarejestrowania danych. Szczegóły dotyczące poszczególnych opcji tego okna dialogowego zawiera sekcja edytowanie parametrów w udostępnionych plikach dużych zbiorów danych. Aby zmienić parametry zestawu danych, wykonaj następujące czynności:
- Otwórz element udostępnionego pliku dużych zbiorów danych w zasobach portalu.
- Kliknij kartę Zestaw danych.
- Kliknij przycisk Edytuj obok zestawu danych, który chcesz edytować.
- Zmodyfikuj zestaw danych za pomocą opcji Pola, Geometria, Czas i Plik.
- Po zakończeniu edycji właściwości zestawu danych kliknij przycisk Zapisz.
Usuwanie wejściowych zestawów danych udostępnionych plików dużych zbiorów danych
Usunięcie zestawu danych pozwala dostosować, które zestawy danych są dostępne w udostępnionym pliku dużych zbiorów danych. Usunięcie zestawu danych nie powoduje usunięcia danych w lokalizacji źródłowej. W przypadku podjęcia później decyzji, że usunięty zestaw danych ma być dostępny w połączeniu z dużymi zbiorami danych, można użyć opcji synchronizacji. Aby usunąć zestawy danych z udostępnionych plików dużych zbiorów danych, wykonaj następujące czynności:
- Otwórz element udostępnionego pliku dużych zbiorów danych w zasobach portalu.
- Kliknij kartę Zestaw danych.
- Zaznacz pole wyboru obok zestawu danych, który chcesz usunąć.
- Kliknij przycisk Usuń na górze tabeli zestawów danych, aby usunąć zestaw danych z udostępnionego pliku dużych zbiorów danych.
Edycja manifestu udostępnionego pliku dużych zbiorów danych lub pliku wskazówek
W opcji Pokaż zaawansowane, na karcie Zestawy danych, udostępnionego pliku dużych zbiorów danych można wyświetlić, pobrać lub przesłać plik manifestu plik wskazówek. Przesłanie manifestu spowoduje zastąpienie wszystkich zmian wprowadzonych w zestawach danych udostępnionego pliku dużych zbiorów danych oraz zastąpienie istniejących zestawów danych i schematu. Więcej informacji o manifeście udostępnionego pliku dużych zbiorów danych zawiera sekcja Manifest udostępnionego pliku dużych zbiorów danych. Więcej informacji o korzystaniu z pliku wskazówek zawiera sekcja Plik wskazówek. Aby zmienić manifest udostępnionego pliku dużych zbiorów danych lub plik wskazówek, wykonaj następujące czynności:
- Otwórz element udostępnionego pliku dużych zbiorów danych w zasobach portalu.
- Kliknij kartę Zestawy danych.
- Kliknij przełącznik Pokaż zaawansowane, aby go włączyć.
- Aby pobrać plik manifestu, kliknij opcję Pobierz w sekcji manifestu.
- Aby pobrać plik wskazówek, kliknij opcję Pobierz w sekcji wskazówek.
- Użyj edytora tekstu do zmodyfikowania i zapisania zmian lokalnie w pobranym pliku manifestu .json lub pliku wskazówek .dat.
Wskazówka:
Domyślny format pliku wskazówek to .dat. Po pobraniu pliku można zmienić rozszerzenie jego nazwy na .txt i edytować ten plik. - Aby przesłać edytowany plik, w udostępnionym pliku dużych zbiorów danych przejdź do karty Zestaw danych i włącz przełącznik Pokaż zaawansowane.
- Aby przesłać manifest, kliknij w sekcji manifestu opcję Prześlij i przejdź do zaktualizowanego pliku .json.
- Aby przesłać plik wskazówek, kliknij w sekcji wskazówek opcję Prześlij i przejdź do zaktualizowanego pliku .txt.
- Kliknij Prześlij.
W przypadku przesyłania pliku wskazówek należy zsynchronizować udostępniony plik dużych zbiorów danych. Przy przeprowadzaniu synchronizacji zaktualizowane zostaną tylko zestawy danych ze wskazówkami lub nowe zestawy danych, a pozostałe zestawy danych, które nie zostały uwzględnione w pliku wskazówek, nie zostaną zmodyfikowane.
Synchronizowanie udostępnionego pliku dużych zbiorów danych
Jeśli do źródła danych zostały dodane nowe zestawy danych lub przesłano plik wskazówek, można zsynchronizować połączenie z dużym zbiorem danych. Plik wskazówek zawiera specyfikacje używane podczas ponownego generowania udostępnionego pliku dużych zbiorów danych.
Notatka:
Podczas synchronizacji udostępnionego pliku dużych zbiorów danych aktualizowany jest tylko udostępniony plik dużych zbiorów danych dla istniejących zestawów danych, które mają plik wskazówek, lub nowych zestawów danych. Wszystkie zmiany wprowadzone w zestawach danych znajdujących się w pliku wskazówek zostaną zastąpione regułami zdefiniowanymi w pliku wskazówek.- Otwórz element udostępnionego pliku dużych zbiorów danych w zasobach portalu.
- Kliknij kartę Zestawy danych.
- Kliknij przycisk Synchronizuj, aby go włączyć.
Tworzenie, edycja i wyświetlanie szablonów wynikowych
Szablony wynikowe można tworzyć, wyświetlać lub edytować. Ponadto można edytować atrybuty i ustawienia szablonów wynikowych, które określają sposób zapisywania danych wynikowych w udostępnionym pliku dużych zbiorów danych.
Aby utworzyć szablon wynikowy, wykonaj następujące czynności.
- Otwórz element udostępnionego pliku dużych zbiorów danych w zasobach portalu.
- Kliknij kartę Dane wynikowe.
- Kliknij przycisk Dodaj szablon wynikowy.
- Utwórz nazwę szablonu wynikowego i wybierz typ pliku, do którego będzie zapisywać szablon wynikowy.
- Skonfiguruj dla tego szablonu formaty geometrii, klikając kartę Geometria. Można je skonfigurować dla jednego, dwóch lub wszystkich typów geometrii. Opcje formatowania są takie same jak dla wejściowych udostępnionych plików dużych zbiorów danych.
- Skonfiguruj formaty czasu dla tego szablonu, klikając kartę Czas. Czas można zostawić pusty, skonfigurować dla jednego przedziału lub momentu albo obydwu. Opcje formatowania czasu są takie same jak w przypadku formatów czasu wejściowych udostępnionych plików dużych zbiorów danych.
- Po zakończeniu kliknij przycisk Zapisz.
Aby wyświetlić lub edytować szablon, wykonaj te same czynności.
Parametry edycji udostępnionych plików dużych zbiorów danych
Edytor udostępnionych plików dużych zbiorów danych zawiera cztery następujące sekcje:
- Pola
- Geometria
- Czas
- Plik
Jeśli podczas generowania manifestu nie zostały poprawnie określone nazwy pól, kodowanie, ograniczniki pól lub znaki cudzysłowu pliku rozdzielanego, zalecane jest użycie pliku wskazówek przed edycją danych.
Pola
Sekcja pól zawiera wszystkie pola w zestawie danych. Po wybraniu zestawu danych dla każdego pola będą widoczne następujące informacje:
- Nazwa pola
- Typ pola
W plikach rozdzielanych można zmieniać tylko nazwę i typ pola. W przypadku modyfikowania wielu nazw pól zalecane jest użycie pliku wskazówek.
Geometria
W sekcji geometrii znajdują się informacje o typie geometrii, sposobie jej prezentacji i odniesienie przestrzenne. Poniższa tabela zawiera opis dostępnych opcji z uwagami dotyczącymi zmian, które można wprowadzić, w zależności od typu wejściowego zestawu danych:
Parametry geometrii
| Parametr | Opis | Pliki rozdzielane | Pliki shape | Pliki ORC | Pliki parquet |
|---|---|---|---|---|---|
Geometria | Typ geometrii. Dostępne opcje to Punkt, Polilinia, Poligon i Brak. Jeśli nie ma żadnej geometrii (Brak), zestaw danych jest tabelą. | Podlega edycji | Nie można modyfikować | Podlega edycji | Podlega edycji |
Odniesienie przestrzenne (WKID/WKT) | Odniesienie przestrzenne zestawu danych. Ta opcja jest wyświetlana tylko wtedy, gdy geometria nie ma wartości Brak. | Podlega edycji. Domyślnie ta wartość zostanie skonfigurowana na 4326, WGS 1984. | Nie można modyfikować | Podlega edycji | Podlega edycji |
Typ formatu geometrii | Jak jest formatowana geometria dla każdego obiektu. Dostępne opcje to: XYZ (pola reprezentujące wartości X, Y i opcjonalnie wartości Z — wartość XYZ ma zastosowanie tylko do punktów), WKT (well known text — znany tekst), WKB (well known binary — znana wartość binarna), GeoJson, EsriJson i EsriShape. Ta opcja jest wyświetlana tylko wtedy, gdy geometria nie ma wartości Brak. | Podlega edycji | Niedostępna; opcja nie jest wyświetlana | Podlega edycji | Podlega edycji |
Pola geometrii | Opcja używana do określenia, które pola reprezentują geometrie. W pewnych sytuacjach pole musi być konkretnego typu. Formaty WKB i EsriShape wymagają pola binarnego, a GeoJSON oraz EsriJSON wymagają pola znakowego. Pola XYZ muszą być liczbowe. Ta opcja jest wyświetlana tylko wtedy, gdy geometria nie ma wartości Brak. | Podlega edycji | Niedostępna; opcja nie jest wyświetlana | Podlega edycji | Podlega edycji |
Czas
W sekcji czasu znajdują się informacje o tym, jak reprezentowany jest czas. Poniższa tabela zawiera opis dostępnych opcji z uwagami dotyczącymi zmian, które można wprowadzić w zależności od typu wejściowego zestawu danych. Opcje czasu są takie same dla wszystkich typów danych, chyba że została podana inna informacja.
Parametry czasu
| Parametr | Opis | Przykład |
|---|---|---|
Typ czasu | Typ czasu wejściowego. Opcje: Moment (pojedynczy punkt czasu), Interwał (przedział czasu z czasem rozpoczęcia i zakończenia) i Brak. | Moment |
Pola czasu, Pola czasu rozpoczęcia i Pola czasu zakończenia | Jeśli zostanie wybrana opcja Moment, zostaną wyświetlone Pola czasu. Jeśli zostanie wybrana opcja Przedział, zostaną wyświetlone Pola czasu rozpoczęcia i Pola czasu zakończenia. Te opcje określają pola i formatowanie używane do zdefiniowania czasu w danych wejściowych. Definicja czasu może wykorzystywać jedno lub większą liczbę pól i może używać jednego lub większej liczby formatów dla pojedynczego pola. Domyślnie pierwsze pole o nazwie time (czas) jest używane jako pole czasu z szacunkowym formatem czasu. Jeśli istnieje plik shape, używane jest pierwsze pole typu date (data). W przypadku tych tabel musi być wypełniony co najmniej jeden wiersz. Więcej informacji o formatowaniu zawiera sekcja Formaty czasu. Tabela formatowania czasu jest dostępna tylko wtedy, gdy w polu Typ czasu nie znajduje się wartość Brak. | Przykład z pojedynczym polem używanym do reprezentowania czasu w dwóch różnych formatach
Przykład z dwoma polami używanymi do reprezentowania czasu
|
Strefa czasowa | Strefa czasowa czasu wejściowego. Ta opcja jest dostępna tylko wtedy, gdy w polu Typ czasu nie znajduje się wartość Brak. Wartością domyślną jest UTC. | UTC |
Formaty czasu
Poniższa tabela przedstawia opis sposobu reprezentacji formatowania czasu. Wszystkie przykłady przedstawiają sposób reprezentacji czasu: 2 stycznia 2016 r. 21:45:02.05.
Formaty czasu w udostępnionych plikach dużych zbiorów danych
| Format | Znaczenie | Przykład |
|---|---|---|
yy | Rok reprezentowany przez dwie cyfry. | 16 |
yyyy | Rok reprezentowany przez cztery cyfry. | 2016 |
MM | Miesiąc reprezentowany liczbowo. | 01 lub 1 |
MMM | Miesiąc reprezentowany za pomocą trzech liter. | Jan |
MMMM | Miesiąc reprezentowany całym wyrazem. | January |
st. dziesiętne | Data. | 02 lub 2 |
HH | Godzina w formacie 24-godzinnym, wartości z zakresu od 0 do 23. | 21 |
hh | Godzina w formacie 12-godzinnym, wartości z zakresu od 1 do 12. | 9 |
mm | Minuty, wartości z zakresu od 0 do 59. | 45 |
ss | Sekundy, wartości z zakresu od 0 do 59. | 02 |
SSS | Milisekundy, wartości z zakresu od 0 do 999. | 50 |
a | Oznaczenie pory doby (AM/PM). | PM |
epoch_millis | Czas w milisekundach, który upłynął od początku epoki. | 1509581781000 |
epoch_seconds | Czas w sekundach, który upłynął od początku epoki. | 1509747601 |
Z | Przesunięcie strefy czasowej wyrażone w godzinach. | -0100 lub -01:00 |
ZZZ | Przesunięcie strefy czasowej wyrażone przy użyciu identyfikatorów. | America/Los_Angeles |
'' | Należy użyć pojedynczego cudzysłowu do dodania tekstu, który nie reprezentuje wartości wskazanej w tej tabeli. | 'T' |
W poniższej tabeli przedstawiono przykłady różnych formatów tej samej daty, 2 stycznia 2016 r. 21:45:02.05:
Przykłady formatu czasu
| Data wejściowa | Format |
|---|---|
01/02/2016 9:45:02PM | MM/dd/yyyy hh:mm:ssa |
Sty02-16 21:45:02 | MMMdd-yy HH:mm:ss |
Styczeń 02 2016 9:45:02.050PM | MMMM dd yyyy hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/dd/yyyy'T'HH:mm:ssZ |
Plik
W sekcji pliku znajduje się format, w którym wyrażone są dane. Data może mieć jeden z następujących formatów:
- Plik shape (.shp)
- Plik rozdzielany (na przykład .csv)
- Plik parquet
- Plik ORC
Dostępne parametry różnią się w zależności od zestawu danych. W przypadku plików shape, ORC i Parquet jedynym parametrem jest typ pliku, którego nie można modyfikować. Jeśli wejściowym zestawem danych jest plik rozdzielany, można modyfikować wiele parametrów. Aby zmodyfikować wartości dla pliku rozdzielanego, użyj pliku wskazówek i ponownie wygeneruj manifest. Parametry te zostały opisane w następującej tabeli:
Formaty zestawu danych
| Parametr | Opis |
|---|---|
Rozszerzenie nazwy pliku | Zawiera rozszerzenie typu pliku wejściowego zestawu danych. Powszechnie stosowane formaty to .csv i .txt. |
Ogranicznik pola | Określa ogranicznik dla każdego pola. Powszechnie stosowane formaty to , i ;. |
Zakończenie rekordu | Określa zakończenie dla każdego wiersza danych. Powszechnie stosowane formaty to \n i \t. |
Znak cudzysłowu | Określa używany znak cudzysłowu. |
Czy ma wiersz nagłówka | Wartość logiczna (Boolean) określająca, czy tabela wejściowa zawiera wiersz nagłówka. Jeśli zawiera wiersz nagłówka, jako nazwy pól zostaną użyte nagłówki. Informacja o nazwie pola przewiduje pola geometrii i czasu. |
Kodowanie | Typ kodowania używany w pliku. Domyślnie jest to UTF-8. |
Parametry edycji szablonu danych wynikowych udostępnionych plików dużych zbiorów danych
Edytor szablonów danych wynikowych udostępnionych plików dużych zbiorów danych zawiera trzy następujące sekcje:
- Nazwa i typ pliku
- Formatowanie geometrii
- Formatowanie czasu
Notatka:
Udostępnione pliki dużych zbiorów danych mają sekcję pól. Szablony danych wynikowych nie mają sekcji pól, ponieważ pola wynikowe są określane przez narzędzie GeoAnalytics Tools tworzące wynik. Format ORC obsługuje wyłącznie te nazwy pól, które zawierają znaki alfabetu i cyfry należące do bloku Basic Latin. Wszystkie pozostałe znaki w nazwie pola są zastępowane znakiem podkreślenia.
Formaty geometrii wynikowej
Sekcja geometrii określa pożądany sposób formatowania geometrii wynikowej dla każdego typu geometrii (punkt, linia, poligon). Istnieją dwie części służące do określania geometrii wynikowej:
- Odniesienie przestrzenne — możesz zostawić tę część pustą, będą używane wyniki narzędzia (działanie domyślne). Opcjonalnie podaj ciąg znakowy WKID lub WKT, a wszystkie wyniki zostaną odwzorowane na to odniesienie przestrzenne. Ta wartość jest udostępniana dla wszystkich geometrii wynikowych.
- Pola i typ formatowania geometrii — te elementy opisano dokładniej poniżej.
Formaty geometrii wynikowej
| Typ geometrii | Pola wynikowe | Pliki rozdzielane | Pliki shape | Pliki ORC | Pliki parquet |
|---|---|---|---|---|---|
XYZ — pola X, Y i opcjonalnie pole Z. Ta opcja jest dostępna tylko dla punktów. | Domyślnie tworzone są trzy nowe pola o nazwach X, Y i Z. Te nazwy pól można zmienić. |  | | | |
WKT | Domyślnie tworzone jest jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | | | |
GeoJSON | Domyślnie tworzone jest jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | | | |
EsriJSON | Domyślnie tworzone jest jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | | | |
WKB | Domyślnie tworzone jest jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | | ||
EsriShape | Domyślnie tworzone jest jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | |
Formaty czasu wynikowego
W sekcji czasu znajdują się informacje o tym, jak reprezentowany jest czas wynikowy. Do sformatowania czasu wymagane są następujące informacje:
- Formatowanie dla momentów i przedziałów.
- Nazwy pól, do których zapisywany jest czas.
- Format (ciąg znakowy lub data), który jest używany do zapisywania czasu. Należy pamiętać o tym, że pliki rozdzielane mogą być formatowane tylko z użyciem ciągu znakowego.
- W przypadku przedziałów należy określić pola, które będą reprezentowały czas rozpoczęcia i zakończenia.
Formatowanie czasu jest takie samo jak w przypadku wejściowych plików dużych zbiorów danych. Więcej informacji zawiera sekcja Formaty czasu w udostępnionych plikach dużych zbiorów danych.
Format zestawu danych wynikowych
W sekcji Format zestawu danych podano format danych wynikowych, w którym zapisywane są dane. Data może mieć jeden z następujących formatów:
- Plik shape (.shp)
- Plik rozdzielany (na przykład .csv)
- Plik parquet
- Plik ORC
Dostępne parametry różnią się w zależności od zestawu danych. W przypadku plików shape, ORC i Parquet jedynym parametrem jest typ pliku, którego nie można modyfikować. Jeśli zestaw danych jest plikiem rozdzielanym, można modyfikować wiele parametrów w aplikacji ArcGIS Server Manager. Zostały one opisane w poniższej tabeli:
Formaty zestawu danych
| Parametr | Opis |
|---|---|
Rozszerzenie nazwy pliku | Rozszerzenia nigdy nie są stosowane do wynikowego zestawu danych. |
Ogranicznik pola | Określa ogranicznik dla każdego pola. Powszechnie stosowane formaty to , i ;. |
Zakończenie rekordu | Nie można skonfigurować zakończenia dla każdego wiersza danych. W systemie Windows zakończeniem jest \r\n. W systemie Linux jest to \n. |
Znak cudzysłowu | Określa używany znak cudzysłowu. |
Czy ma wiersz nagłówka | Wartość logiczna (Boolean) określająca, czy tabela wynikowa zawiera wiersz nagłówka reprezentujący nazwy pól. Wartością domyślną jest true. |
Kodowanie | Zawsze jest to UTF-8. |