Udostępnione pliki dużych zbiorów danych są rejestrowane jako magazyn danych w aplikacji ArcGIS Server Manager na serwerze ArcGIS GeoAnalytics Server. Udostępniony plik dużych zbiorów danych wymaga manifestu zawierającego schemat danych wejściowych, jak również pola i formaty reprezentujące geometrię i czas w zestawie danych. Manifest jest generowany automatycznie podczas rejestrowania udostępnionego pliku dużych zbiorów danych. W przypadku zmiany danych lub jeśli podczas generowania manifestu nie można było określić wszystkich wymaganych informacji (na przykład w automatycznie wygenerowanym manifeście nie zostało zaznaczone poprawne pole dla geometrii lub czasu), może wystąpić konieczność zmodyfikowania manifestu. Udostępniony plik dużych zbiorów danych może mieć szablony danych wynikowych używane do określania formatu wyników zapisywanych do tego udostępnionego pliku dużych zbiorów danych. Szablony danych wynikowych są generowane podczas rejestrowania udostępnionego pliku dużych zbiorów danych i wybierania do użycia tego udostępnionego pliku dużych zbiorów danych jako lokalizacji wynikowej. Może zaistnieć potrzeba zmodyfikowania jednego lub większej liczby szablonów, na przykład formatu pól czasu i geometrii. Może też być konieczne dodanie lub usunięcie szablonu.
Zestawy danych i informacje o manifeście, a także szablony danych wynikowych można wyświetlać i edytować za pomocą aplikacji ArcGIS Server Manager na serwerze ArcGIS GeoAnalytics Server.
Edytowanie udostępnionego pliku dużych zbiorów danych
Po zarejestrowaniu udostępnionego pliku dużych zbiorów danych można wyświetlić i zmienić atrybuty oraz ustawienia dla zarejestrowanych zestawów danych tego elementu, otwierając edytor manifestów udostępnionych plików dużych zbiorów danych. Ponadto można edytować atrybuty i ustawienia dla opcjonalnych szablonów danych wynikowych, które określają sposób zapisywania danych wynikowych w udostępnionym pliku dużych zbiorów danych.
Na przykład dla danych wejściowych można zweryfikować liczbę zestawów danych w zarejestrowanym udostępnionym pliku. Po stwierdzeniu, że w zarejestrowanym udostępnionym pliku nie ma oczekiwanej liczby zestawów danych, należy sprawdzić, czy zarejestrowana lokalizacja zawiera poprawne zestawy danych.
Dla szablonu danych wynikowych można sformatować dane wynikowe pliku rozdzielanego w celu zapisania pliku rozdzielanego tabulatorami i użycia dobrze znanego tekstu (WKT) do zapisania geometrii.
Można również przejrzeć schematy zestawów danych dla zarejestrowanego udostępnionego pliku dużych zbiorów danych. Schemat wybranego zestawu danych można zmodyfikować, aktualizując jego geometrię, definicję czasu i nazwy pól w jego powiązanym zasobie manifestu.
Na karcie Zaawansowane edytora manifestów udostępnionych plików dużych zbiorów danych można przesłać plik wskazówek, aby wprowadzić informacje o zestawie danych, takie jak obecność lub brak wiersza nagłówka, kodowanie, ogranicznik pola czy zakończenie rekordu. Ponowne wygenerowanie manifestu po przesłaniu pliku wskazówek spowoduje użycie podanych informacji w celu wygenerowania manifestu.
Opcjonalnie można pobrać manifest, edytować go i przesłać zmieniony plik.
Edycja wejściowych zestawów danych udostępnionych plików dużych zbiorów danych
W edytorze manifestów udostępnionych plików dużych zbiorów danych można wyświetlić wybrany udostępniony plik dużych zbiorów danych i zestawy danych, które pomyślnie w nim zarejestrowano. Przy wybieraniu zestawu danych z menu rozwijanego edytora są uzupełniane odpowiednie parametry. Szczegóły dotyczące poszczególnych opcji tego okna dialogowego zawiera sekcja edytowanie parametrów w udostępnionych plikach dużych zbiorów danych. Aby zmienić parametry zestawu danych, wykonaj następujące czynności:
- W oknie dialogowym Zarejestrowane magazyny danych znajdź udostępniony plik dużych zbiorów danych, który chcesz edytować.
- Kliknij ikonę Edytuj (ołówek), aby wyświetlić szczegóły i opcje dla odpowiednich zestawów danych.
- Kliknij kartę Zestawy danych, aby wyświetlić zarejestrowane zestawy danych i ich odpowiednie parametry.
- Wybierz zestaw danych z menu rozwijanego, aby wyświetlić informacje przedstawione w jego manifeście. Wprowadź odpowiednie zmiany we właściwościach zestawu danych.
- Po zakończeniu edycji właściwości zestawu danych kliknij przycisk Zapisz.
Edycja manifestu udostępnionego pliku dużych zbiorów danych lub pliku wskazówek
Na karcie Zaawansowane edytora udostępnionych plików dużych zbiorów danych można edytować powiązany plik manifestu lub plik wskazówek, wybierając odpowiadającą mu kartę. Przesłanie manifestu spowoduje zastąpienie wszystkich zmian wprowadzonych w manifeście udostępnionego pliku dużych zbiorów danych w edytorze. Przesłany manifest zastąpi bieżący manifest. Więcej informacji dotyczących manifestu udostępnionego pliku dużych zbiorów danych zawiera sekcja Podstawowe informacje o pliku manifestu udostępnionego pliku dużych zbiorów danych. Więcej informacji o używaniu pliku wskazówek zawiera sekcja Informacje na temat pliku wskazówek. Aby zmienić manifest udostępnionego pliku dużych zbiorów danych lub plik wskazówek, wykonaj następujące czynności:
- W oknie dialogowym Zarejestrowane magazyny danych znajdź udostępniony plik dużych zbiorów danych, który chcesz zmodyfikować.
- Kliknij ikonę Edytuj (ołówek), aby wyświetlić opcje modyfikowania zasobu manifestu.
- Kliknij kartę Zaawansowane.
- Na karcie Zaawansowane wybierz kartę Manifest lub Wskazówki, w zależności od modyfikowanego elementu.
- Aby pobrać plik manifestu, kliknij Manifest > Pobierz.
- Aby pobrać plik wskazówek, kliknij Wskazówki > Pobierz.
- Użyj edytora tekstowego do zmodyfikowania i zapisania zmian lokalnie w pobranym .jsonpliku manifestu lub .dat pliku wskazówek.
Wskazówka:
Domyślny format pliku wskazówek to .dat. Po pobraniu pliku można zmienić rozszerzenie jego nazwy na .txt i edytować ten plik. - Aby przesłać zmieniony plik, kliknij ikonę Edytuj (ołówek) dla udostępnionego pliku dużych zbiorów danych, który chcesz zmienić.
- Aby edytować manifest, kliknij Zaawansowane > Manifest > Prześlij i przejdź do zaktualizowanego pliku .json.
- Aby edytować plik wskazówek, kliknij Zaawansowane > Wskazówki > Prześlij i przejdź do zaktualizowanego pliku .txt.
- Kliknij Prześlij.
Po przesłaniu pliku wskazówek konieczne jest ponowne wygenerowanie manifestu. Po ponownym wygenerowaniu manifestu zaktualizowane zostaną tylko zestawy danych ze wskazówkami lub nowe zestawy danych, a wszystkie pozostałe, które nie zostały uwzględnione w pliku wskazówek, nie zostaną zmodyfikowane.
Ponowne generowanie manifestu dla udostępnionego pliku dużych zbiorów danych
Po utworzeniu udostępnionego pliku dużych zbiorów danych i wygenerowaniu manifestu dla każdego wpisu w oknie dialogowym Zarejestrowane magazyny danych jest wyświetlany przycisk ponownego generowania manifestu.
Manifest można wygenerować ponownie po dodaniu nowych danych lub po przesłaniu pliku wskazówek przy użyciu zasobu edycji. Plik wskazówek zawiera specyfikacje używane podczas ponownego generowania manifestu.
Notatka:
Po ponownym wygenerowaniu manifestu zostanie zaktualizowany manifest dla istniejących zestawów danych, które mają plik wskazówek, lub nowych zestawów danych. Wszystkie zmiany wprowadzone w manifeście zostaną zastąpione regułami zdefiniowanymi w pliku wskazówek.Parametry edycji udostępnionych plików dużych zbiorów danych
Edytor udostępnionych plików dużych zbiorów danych zawiera pięć następujących sekcji:
- Selektor zestawu danych
- Pola
- Geometria
- Czas
- Format zestawu danych
Jeśli podczas generowania manifestu nie zostały poprawnie określone nazwy pól, kodowanie, ograniczniki pól lub znaki cudzysłowu, zalecane jest użycie plików wskazówek przed edycją danych.
Selektor zestawu danych
Manifest składa się z co najmniej jednego zestawu danych. Liczba zestawów danych jest zależna od liczby folderów w lokalizacji udostępnionego pliku dużych zbiorów danych. Po otwarciu menedżera manifestów można wyświetlić zestawy danych, które zostały pomyślnie zarejestrowane w udostępnionym pliku dużych zbiorów danych. Po wybraniu zestawu danych z menu rozwijanego parametry zestawu danych zostaną uzupełnione informacjami o zestawie danych.
Jeśli w manifeście miało znaleźć się więcej zestawów danych lub jeśli jakichś w nim brakuje, wykonaj następujące czynności:
- Sprawdź, czy folder najwyższego poziomu został poprawnie zarejestrowany. Więcej informacji zawiera temat Rejestrowanie danych za pomocą aplikacji ArcGIS Server Manager.
- Sprawdź, czy dane wejściowe mają dozwolony format, taki jak zbiór plików rozdzielanych, plików shape, parquet lub ORC.
- Sprawdź, czy schemat danego wejściowego zestawu danych jest spójny dla zbioru plików (wszystkie pliki w jednym zestawie danych muszą mieć takie same pola).
Pola
Sekcja pól zawiera wszystkie pola w zestawie danych. Po wybraniu zestawu danych dla każdego pola będą widoczne następujące informacje:
- Nazwa pola
- Typ pola
Nazwa i typ pola mogą być modyfikowane w plikach rozdzielanych. Jeśli modyfikowana jest więcej niż jedna nazwa pola, zaleca się użycie pliku wskazówek.
Jeśli wejściowym zestawem danych jest plik rozdzielany, w manifeście w aplikacji ArcGIS Server Manager będzie można zmodyfikować wiele parametrów.
Geometria
W sekcji geometrii znajdują się informacje o typie geometrii i sposobie jej prezentacji. Poniższa tabela zawiera opis dostępnych opcji z uwagami dotyczącymi zmian, które można wprowadzić, w zależności od typu wejściowego zestawu danych:
Parametry geometrii
| Parametr | Opis | Pliki rozdzielane | Pliki shape | Pliki ORC | Pliki parquet |
|---|---|---|---|---|---|
Geometria | Typ geometrii. Dostępne opcje to Punkt, Polilinia, Poligon i Brak. W przypadku braku geometrii dane wejściowe mają formę tabeli. | Edytowalne | Nie można modyfikować | Edytowalne | Edytowalne |
Odniesienie przestrzenne (WKID/WKT) | Odniesienie przestrzenne zestawu danych. Ta opcja jest wyświetlana tylko wtedy, gdy zestaw danych nie jest tabelą. | Tę wartość można modyfikować. Domyślnie ta wartość zostanie skonfigurowana na 4326, WGS 1984. | Nie można modyfikować | Edytowalne | Edytowalne |
Typ formatowania geometrii | Jak jest formatowana geometria dla każdego obiektu. Dostępne opcje to: XYZ (pola reprezentujące wartości X, Y i opcjonalnie Z — wartość XYZ ma zastosowanie tylko do punktów), WKT (well known text - dobrze znany tekst), GeoJson, EsriJson i shape. Ta opcja jest dostępna tylko wtedy, gdy zestaw danych nie jest tabelą ani plikiem shape. | Edytowalne | Niedostępne | Edytowalne | Edytowalne |
Czas
W sekcji czasu znajdują się informacje o tym, jak reprezentowany jest czas. Poniższa tabela zawiera opis dostępnych opcji z uwagami dotyczącymi zmian, które można wprowadzić, w zależności od typu wejściowego zestawu danych. Opcje czasu są takie same dla wszystkich typów danych, chyba że została podana inna informacja.
Parametry czasu
| Parametr | Opis | Przykład |
|---|---|---|
Typ czasu | Typ czasu wejściowego. Opcje: Moment (pojedynczy punkt czasu), Interwał (przedział czasu z czasem rozpoczęcia i zakończenia) i Brak. | Moment |
Strefa czasowa | Strefa czasowa czasu wejściowego. Ta opcja jest dostępna tylko wtedy, gdy w polu Typ czasu nie znajduje się wartość Brak. | UTC |
Nazwa i tabela formatowania dla czasu | W tej tabeli wybierane jest pole lub pola czasu i sposób definiowania czasu. Definicja czasu może wymagać jednego lub większej liczby pól, jak również użycia jednego lub większej liczby formatów dla pojedynczego pola. Domyślnie pierwsze pole o nazwie "time" (czas) będzie używane jako pole czasu z szacunkowym formatem czasu. Jeśli istnieje plik shape, zostanie użyte pierwsze pole typu "date" (data). Jeśli typem czasu jest Interwał, należy podać czas rozpoczęcia i zakończenia. Tabela formatowania czasu jest dostępna tylko wtedy, gdy w polu Typ czasu nie znajduje się wartość Brak. | Przykład z pojedynczym polem używanym do reprezentowania czasu w dwóch różnych formatach:
Przykład z dwoma polami używanymi do reprezentowania czasu:
|
Formaty czasu
Poniższa tabela przedstawia opis sposobu reprezentacji czasu przy edycji udostępnionego pliku dużych zbiorów danych w aplikacji ArcGIS Server Manager lub bezpośrednio w manifeście. Przykłady przedstawiają sposób reprezentacji czasu: 2 stycznia 2016 r. 21:45:02.05.
Formaty czasu w udostępnionych plikach dużych zbiorów danych
| Symbol | Znaczenie | Przykład |
|---|---|---|
yy | Rok reprezentowany przez dwie cyfry. | 16 |
yyyy | Rok reprezentowany przez cztery cyfry. | 2016 |
MM | Miesiąc reprezentowany liczbowo. | 01 lub 1 |
MMM | Miesiąc reprezentowany za pomocą trzech liter. | Jan |
MMMM | Miesiąc reprezentowany całym wyrazem. | January |
DD | Dzień. | 02 lub 2 |
HH | Godzina w formacie 24-godzinnym, wartości z zakresu 0-23. | 21 |
hh | Godzina w formacie 12-godzinnym, wartości z zakresu 1-12. | 9 |
mm | Minuty, wartości z zakresu 0-59. | 45 |
ss | Sekundy, wartości z zakresu 0-59. | 02 |
SSS | Milisekundy, wartości z zakresu 0-999. | 50 |
a | Oznaczenie pory doby (AM/PM). | PM |
epoch_millis | Czas w milisekundach, który upłynął od początku epoki. | 1509581781000 |
epoch_seconds | Czas w sekundach, który upłynął od początku epoki. | 1509747601 |
Z | Przesunięcie strefy czasowej wyrażone w godzinach. | -0100 lub -01:00 |
ZZZ | Przesunięcie strefy czasowej wyrażone przy użyciu identyfikatorów. | America/Los_Angeles |
'' | Należy użyć pojedynczego cudzysłowu do dodania tekstu, który nie reprezentuje wartości wskazanej w tej tabeli. | 'T' |
W poniższej tabeli przedstawiono przykłady różnych formatów tej samej daty, 2 stycznia 2016 r. 21:45:02.05:
Przykłady formatu czasu
| Data wejściowa | Format daty |
|---|---|
01/02/2016 9:45:02PM | MM/dd/yyyy hh:mm:ssa |
Sty02-16 21:45:02 | MMMdd-yy HH:mm:ss |
Styczeń 02 2016 9:45:02.050PM | MMMM dd yyyy hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/dd/yyyy'T'HH:mm:ssZ |
Format zestawu danych
W sekcji formatu zestawu danych znajduje się format, w którym wyrażone są dane. Data może mieć jeden z następujących formatów:
- Plik shape (.shp)
- Plik rozdzielany (na przykład .csv)
- Plik parquet
- Plik ORC
Dostępne parametry różnią się w zależności od zestawu danych. W przypadku plików shape, ORC i parquet jedynym parametrem jest typ pliku, którego nie można modyfikować. Jeśli wejściowym zestawem danych jest plik rozdzielany, będzie można zmodyfikować wiele parametrów. Aby zmodyfikować wartości dla pliku rozdzielanego, użyj pliku wskazówek i ponownie wygeneruj manifest. Zostały one opisane w poniższej tabeli:
Formaty zestawu danych
| Parametr | Opis |
|---|---|
Rozszerzenie nazwy pliku | Zawiera rozszerzenie typu pliku wejściowego zestawu danych. Powszechnie stosowane formaty to .csv i .txt. Zmodyfikuj tę informację dla pliku rozdzielanego za pomocą pliku wskazówek. |
Ogranicznik pola | Określa ogranicznik dla każdego pola. Powszechnie stosowane formaty to , i ;. Zmodyfikuj tę informację dla pliku rozdzielanego za pomocą pliku wskazówek. |
Zakończenie rekordu | Określa zakończenie dla każdego wiersza danych. Powszechnie stosowane formaty to \n i \t. Zmodyfikuj tę informację dla pliku rozdzielanego za pomocą pliku wskazówek. |
Znak cudzysłowu | Określa używany znak cudzysłowu. Zmodyfikuj tę informację dla pliku rozdzielanego za pomocą pliku wskazówek. |
Czy ma wiersz nagłówka | Wartość logiczna (Boolean) określająca, czy tabela wejściowa zawiera wiersz nagłówka. Jeśli zawiera wiersz nagłówka, jako nazwy pól zostaną użyte nagłówki. Informacja o nazwie pola przewiduje pola geometrii i czasu. Skonfiguruj wiersze nagłówka za pomocą pliku wskazówek. |
Kodowanie | Typ kodowania używany w pliku. Domyślnie jest to UTF-8. Tę informację konfiguruje się za pomocą pliku wskazówek. |
Parametry edycji szablonu danych wynikowych udostępnionych plików dużych zbiorów danych
Edytor szablonów danych wynikowych udostępnionych plików dużych zbiorów danych zawiera cztery następujące sekcje:
- Selektor szablonu danych wynikowych
- Formatowanie geometrii
- Formatowanie czasu
- Format zestawu danych
Selektor zestawu danych
Udostępniony plik dużych zbiorów danych opcjonalnie składa się z jednego lub większej liczby szablonów. Liczba szablonów jest określana przez różne formaty, w których chcesz zapisywać wyniki. Po otwarciu menedżera szablonów danych wynikowych można wyświetlić szablony, które zostały pomyślnie zarejestrowane w udostępnionym pliku dużych zbiorów danych. Po wybraniu szablonu z menu rozwijanego parametry szablonu zostaną uzupełnione informacjami o formatowaniu danych wynikowych. Jeśli chcesz dodać nowy szablon, wybierz opcję Dodaj szablon, a także typ i nazwę nowego szablonu. Jeśli chcesz usunąć szablon, wybierz go w selektorze szablonów, a następnie wybierz opcję Usuń szablon. Istniejący szablon można zmodyfikować, wybierając go i zmieniając dowolne z poniższych sekcji odpowiednio do potrzeb.
Notatka:
Udostępnione pliki dużych zbiorów danych mają sekcję pól. Szablony danych wynikowych nie mają sekcji pól, ponieważ pola wynikowe są określane przez narzędzie GeoAnalytics Tools tworzące wynik. Format ORC obsługuje wyłącznie te nazwy pól, które zawierają znaki alfabetu i cyfry należące do bloku Basic Latin. Wszystkie pozostałe znaki w nazwie pola zostaną zastąpione znakiem podkreślenia.
Geometria
Sekcja geometrii określa pożądany sposób formatowania geometrii wynikowej dla każdego typu geometrii (punkt, linia, poligon). Istnieją dwie części służące do określania geometrii wynikowej:
- Odniesienie przestrzenne — możesz zostawić tę część pustą. Zostaną użyte wyniki narzędzia (działanie domyślne). Opcjonalnie podaj ciąg znakowy WKID lub WKT, a wszystkie wyniki będą odwzorowywane na to odniesienie przestrzenne. Ta wartość jest udostępniana dla wszystkich geometrii wynikowych.
- Pola i typ formatowania geometrii. Te elementy opisano dokładniej poniżej.
Formaty geometrii wynikowej
| Typ geometrii | Pola wynikowe | Pliki rozdzielane | Pliki shape | Pliki ORC | Pliki parquet |
|---|---|---|---|---|---|
XYZ — pola X, Y i opcjonalnie pole Z. Ta opcja jest dostępna tylko dla punktów. | Domyślnie, zostaną utworzone trzy nowe pola o nazwach X, Y i Z. Te nazwy pól można zmienić. |  | | | |
WKT | Domyślnie, zostanie utworzone jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | | | |
GeoJSON | Domyślnie, zostanie utworzone jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | | | |
EsriJSON | Domyślnie, zostanie utworzone jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | | | |
SHP | Domyślnie, zostanie utworzone jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | |||
WKB | Domyślnie, zostanie utworzone jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | | ||
Shape Buffer (Bufor Shape) | Domyślnie, zostanie utworzone jedno nowe pole o nazwie Geometry. Nazwy pól danych wynikowych można zmienić. | | |
Czas
W sekcji czasu znajdują się informacje o tym, jak reprezentowany jest czas wynikowy. Do sformatowania czasu wymagane są następujące informacje:
- Formatowanie dla momentów i przedziałów.
- Nazwy pól, do których będzie zapisywany czas.
- Format (ciąg znakowy lub data), który zostanie użyty do zapisania czasu. Należy pamiętać o tym, że pliki rozdzielane mogą być formatowane tylko z użyciem ciągu znakowego.
- W przypadku przedziałów należy określić pola, które będą reprezentowały czas rozpoczęcia i zakończenia.
Formatowanie czasu jest takie samo jak w przypadku wejściowych plików dużych zbiorów danych. Zapoznaj się z tematem Formaty czasu w udostępnionych plikach dużych zbiorów danych.
Format zestawu danych
W sekcji Format zestawu danych podano format danych wynikowych, w którym dane zostaną zapisane. Data może mieć jeden z następujących formatów:
- Plik shape (.shp)
- Plik rozdzielany (na przykład .csv)
- Plik parquet
- Plik ORC
Dostępne parametry różnią się w zależności od zestawu danych. W przypadku plików shape, ORC i parquet jedynym parametrem jest typ pliku, którego nie można modyfikować. Jeśli wejściowym zestawem danych jest plik rozdzielany, będzie można zmodyfikować wiele parametrów w aplikacji ArcGIS Server Manager. Zostały one opisane w poniższej tabeli:
Formaty zestawu danych
| Parametr | Opis |
|---|---|
Rozszerzenie nazwy pliku | Rozszerzenia nigdy nie są stosowane do wynikowego zestawu danych. |
Ogranicznik pola | Określa ogranicznik dla każdego pola. Powszechnie stosowane formaty to , i ;. |
Zakończenie rekordu | Nie można skonfigurować zakończenia dla każdego wiersza danych. W przypadku systemu Windows zakończeniem jest \r\n. W przypadku systemu Linux jest to \n. |
Znak cudzysłowu | Określa używany znak cudzysłowu. |
Czy ma wiersz nagłówka | Wartość logiczna (Boolean) określająca, czy tabela wynikowa zawiera wiersz nagłówka reprezentujący nazwy pól. Wartością domyślną jest true. |
Kodowanie | Zawsze jest to wartość UTF-8. |