빅데이터 파일 공유는 포털의 콘텐츠 페이지를 통해 등록됩니다. 포털에 빅데이터 파일 공유를 추가하면 관련 데이터 저장소 항목도 생성됩니다. 클라우드 저장소 빅데이터 파일 공유를 추가하면 빅데이터 파일 공유 항목, 빅데이터 파일 공유 유형의 데이터 저장소 항목, 클라우드 저장소 유형의 데이터 저장소 항목이 생성됩니다. 빅데이터 파일 공유 포털 항목에 포함되는 탭은 다음과 같습니다.
- 오버뷰 - 빅데이터 파일 공유 및 관련 데이터 저장소 항목에 대한 일반 정보를 제공합니다. 관련 데이터 저장소 항목은 빅데이터 파일 공유와 함께 공유되고 삭제될 수 있습니다.
- 데이터셋 - 데이터셋이 나열되며 입력 데이터의 스키마를 간략하게 설명합니다. 데이터셋 정보에는 지오메트리와 시간을 나타내는 필드 및 형식이 포함됩니다.
- 결과 - 선택 사항이자 빅데이터 파일 공유에 결과를 기록할 수 있는 결과 템플릿을 간략하게 설명합니다. 결과 템플릿은 선택 사항이며 빅데이터 파일 공유를 등록한 후에 생성됩니다. 결과 템플릿 생성 또는 편집 방법에 대한 자세한 내용은 결과 템플릿 생성, 편집, 확인을 참고하세요.
- 설정 - 콘텐츠 상태, 범위, 삭제 방지를 설명합니다.
빅데이터 파일 공유 항목을 통해 데이터셋, 스키마, 결과 템플릿을 보고 편집할 수 있습니다.
비고:
빅데이터 파일 공유 항목을 공유하려면 루트 데이터 저장소 항목을 공유해야 합니다. 클라우드 유형의 빅데이터 파일 공유에 대한 루트 데이터 저장소는 동일한 이름의 데이터 저장소(클라우드) 항목입니다. 다른 모든 빅데이터 파일 공유 유형(File Share, HDFS, HIVE)의 경우 루트 데이터 저장소는 이름이 동일한 데이터 저장소(빅데이터 파일 공유) 항목입니다.빅데이터 파일 공유 편집
포털을 통해 빅데이터 파일 공유를 생성했다면 해당 빅데이터 파일 공유 항목을 사용하여 데이터셋을 보거나, 데이터셋의 형식을 편집하거나, 빅데이터 파일 공유를 동기화하여 데이터셋을 더 추가할 수 있습니다.
빅데이터 파일 공유는 하나 이상의 데이터셋으로 구성됩니다. 데이터셋의 수는 빅데이터 파일 공유 위치에 있는 폴더의 수에 따라 달라집니다. 빅데이터 파일 공유에 등록되어 있는 데이터셋을 볼 수 있습니다.
빅데이터 파일 공유의 데이터셋이 예상보다 더 많거나 부족한 경우에는 다음을 수행합니다.
- 최상위 폴더를 올바르게 등록했는지 확인합니다. 자세한 내용은 데이터 준비를 참고하세요.
- 입력 데이터가 허용된 형식(예시: 구분된 파일, 쉐이프파일, Parquet 또는 ORC(Optimized Row Columnar)의 컬렉션)인지 확인합니다.
- 입력 데이터셋의 스키마가 파일 컬렉션에 일관적인지 확인합니다(단일 데이터셋에 있는 모든 파일은 같은 필드를 포함해야 함).
데이터셋을 사용하여 빅데이터 파일 공유의 데이터셋 개수를 확인하거나 등록된 데이터셋의 데이터셋 스키마를 검토할 수 있습니다. 아래 단계를 통해 해당 지오메트리, 시간 정의, 필드 이름을 업데이트하여 선택된 데이터셋의 스키마를 수정할 수 있습니다.
빅데이터 파일 공유 입력 데이터셋 편집
빅데이터 파일 공유 항목을 편집하면 데이터가 등록되고 분석에 사용되는 방법을 수정할 수 있습니다. 편집 옵션을 사용하여 데이터가 현재 등록된 방법을 볼 수도 있습니다. 이 대화 상자의 각 옵션에 대한 자세한 내용은 빅데이터 파일 공유에서 매개변수 편집을 참고하세요. 데이터셋 매개변수를 편집하려면 다음을 수행합니다.
- 포털 콘텐츠에서 빅데이터 파일 공유 항목을 엽니다.
- 데이터셋 탭을 클릭합니다.
- 편집할 데이터셋 옆에 있는 편집 버튼을 클릭합니다.
- 필드, 지오메트리, 시간, 파일 옵션을 사용하여 데이터셋을 수정합니다.
- 데이터셋 등록정보에 대한 편집을 완료하고 나면 저장을 클릭합니다.
빅데이터 파일 공유 입력 데이터셋 삭제
데이터셋을 삭제하면 빅데이터 파일 공유에서 사용할 수 있는 데이터셋을 사용자 정의할 수 있습니다. 데이터셋을 삭제해도 원본 위치의 데이터는 삭제되지 않습니다. 삭제된 데이터셋을 나중에 빅데이터 연결에서 사용할 수 있도록 하려는 경우 동기화 옵션을 사용할 수 있습니다. 빅데이터 파일 공유에서 데이터셋을 삭제하려면 다음을 수행합니다.
- 포털 콘텐츠에서 빅데이터 파일 공유 항목을 엽니다.
- 데이터셋 탭을 클릭합니다.
- 삭제하려는 데이터셋 옆의 체크 박스를 선택합니다.
- 데이터셋 테이블 상단의 삭제 버튼을 클릭하여 빅데이터 파일 공유에서 해당 데이터셋을 제거합니다.
빅데이터 파일 공유 매니페스트 또는 힌트 파일 편집
빅데이터 파일 공유의 데이터셋 탭에 있는 고급 보기 옵션에서 매니페스트 또는 힌트 파일을 보고, 다운로드하고, 업로드할 수 있습니다. 매니페스트를 업로드하면 빅데이터 파일 공유 데이터셋에 대해 변경한 모든 내용을 덮어쓰고 기존의 데이터셋 및 스키마를 대체합니다. 빅데이터 파일 공유 매니페스트에 대한 자세한 내용은 빅데이터 파일 공유 매니페스트를 참고하세요. 힌트 파일 사용에 대해 자세히 알아보려면 힌트 파일을 참고하세요. 빅데이터 파일 공유 매니페스트 또는 힌트 파일을 편집하려면 다음을 수행합니다.
- 포털 콘텐츠에서 빅데이터 파일 공유 항목을 엽니다.
- 데이터셋 탭을 클릭합니다.
- 고급 보기 토글 버튼을 클릭하여 켭니다.
- 매니페스트 파일을 다운로드하려면 매니페스트 섹션에서 다운로드를 클릭합니다.
- 힌트 파일을 다운로드하려면 힌트 섹션에서 다운로드를 클릭합니다.
- 텍스트 편집기를 사용하여 수정한 후 변경 내용을 다운로드된 .json 매니페스트 파일이나 .dat 힌트 파일에 로컬로 저장합니다.
팁:
힌트 파일의 기본 파일 형식은 .dat입니다. 파일을 다운로드한 후에는 파일 확장자를 .txt로 변경한 다음 파일을 편집할 수 있습니다. - 편집된 파일을 업로드하려면 빅데이터 파일 공유에서 데이터셋 탭으로 이동하여 고급 보기를 켭니다.
- 매니페스트를 업로드하려면 매니페스트 섹션의 업로드를 클릭하고 업데이트된 .json 파일로 이동합니다.
- 힌트 파일을 업로드하려면 힌트 섹션의 업로드를 클릭하고 업데이트된 .txt 파일로 이동합니다.
- 업로드를 클릭합니다.
힌트 파일을 업로드한 경우 빅데이터 파일 공유를 동기화합니다. 동기화하면 힌트가 있는 데이터셋이나 새 데이터셋만 업데이트되며 힌트 파일에 없는 다른 데이터셋에 대한 변경 사항은 그대로 유지됩니다.
빅데이터 파일 공유 동기화
새 데이터셋을 데이터 원본에 추가하거나 힌트 파일을 업로드하는 경우 빅데이터 연결을 동기화할 수 있습니다. 힌트 파일은 빅데이터 파일 공유가 다시 생성될 때 사용되는 사양을 제공합니다.
비고:
빅데이터 파일 공유가 동기화되면 힌트 파일이나 새 데이터셋이 있는 기존 데이터셋에 대한 빅데이터 파일 공유만 업데이트됩니다. 힌트 파일에 있는 데이터셋에 대한 모든 편집 사항은 힌트 파일에 정의된 규칙으로 덮어씁니다.- 포털 콘텐츠에서 빅데이터 파일 공유 항목을 엽니다.
- 데이터셋 탭을 클릭합니다.
- 동기화 버튼을 클릭하여 동기화를 켭니다.
결과 템플릿 생성, 편집, 보기
결과 템플릿을 생성하고 보거나 편집할 수 있습니다. 결과가 빅데이터 파일 공유에 기록될 방법을 설명하는 결과 템플릿의 속성 및 설정을 편집할 수도 있습니다.
결과 템플릿을 생성하려면 다음 단계를 완료합니다.
- 포털 콘텐츠에서 빅데이터 파일 공유 항목을 엽니다.
- 결과 탭을 클릭합니다.
- 결과 템플릿 추가 버튼을 클릭합니다.
- 결과 템플릿의 이름을 생성하고 결과 템플릿이 기록할 파일 형식을 선택합니다.
- 지오메트리 탭을 클릭하여 이 템플릿의 지오메트리 형식을 설정합니다. 한 개, 두 개 또는 모든 지오메트리 유형에 대해 설정할 수 있습니다. 형식을 지정하는 옵션은 입력 빅데이터 파일 공유와 동일합니다.
- 시간 탭을 클릭하여 이 템플릿의 시간 형식을 설정합니다. 시간을 비워 두거나 인스턴트 또는 간격 중 하나로 설정하거나 둘 다로 설정할 수 있습니다. 시간 형식을 지정하는 옵션은 입력 빅데이터 파일 공유 시간 형식과 동일합니다.
- 완료되면 저장을 클릭합니다.
템플릿을 보거나 편집하려면 동일한 단계를 수행합니다.
빅데이터 파일 공유 편집 매개변수
빅데이터 파일 공유 편집기는 다음과 같은 4개 섹션으로 구성됩니다.
- 필드
- 지오메트리
- 시간
- 파일
매니페스트 생성으로, 구분된 파일의 필드 이름, 인코딩, 필드 구분 기호 또는 인용 문자를 올바르게 확인하지 못한 경우 데이터를 편집하기 전에 힌트 파일을 사용하는 것을 권장합니다.
필드
필드 섹션에는 데이터셋의 모든 필드가 나열됩니다. 데이터셋을 선택하면 각 필드별로 다음과 같은 정보를 확인할 수 있습니다.
- 필드 이름
- 필드 유형
구분된 파일의 경우 필드 이름과 유형만 수정할 수 있습니다. 여러 필드 이름을 수정하려면 힌트 파일을 사용하는 것을 권장합니다.
지오메트리
지오메트리 섹션에는 지오메트리 유형과 해당 지오메트리 유형이 나타나는 방식, 공간 기준 체계가 나열됩니다. 아래 테이블에는 제공되는 옵션과 함께 입력 데이터셋 유형에 따른 수정 가능 여부가 설명되어 있습니다.
지오메트리 매개변수
| 매개변수 | 설명 | 구분된 파일 | 쉐이프파일 | ORC 파일 | Parquet 파일 |
|---|---|---|---|---|---|
지오메트리 | 지오메트리 유형. 사용 가능한 옵션으로는 포인트, 폴리라인, 폴리곤 또는 없음이 있습니다. 지오메트리가 없는 경우(없음) 데이터셋은 테이블입니다. | 편집 가능 | 수정할 수 없음 | 편집 가능 | 편집 가능 |
공간 참조(WKID/WKT) | 데이터셋의 공간 참조입니다. 이 옵션은 지오메트리가 없음이 아닌 경우에만 표시됩니다. | 편집 가능. 기본 설정에 따라 이 옵션은 4326, WGS 1984로 설정됩니다. | 수정할 수 없음 | 편집 가능 | 편집 가능 |
지오메트리 형식 유형 | 각 피처에 대한 지오메트리의 형식입니다. 사용 가능한 옵션으로는 XYZ(x, y 및 필요에 따라 z 값을 나타내는 필드 - XYZ는 포인트에만 적용할 수 있음), WKT(Well-Known Text), WKB(Well-Known Binary), GeoJson, EsriJson, EsriShape가 있습니다. 이 옵션은 지오메트리가 없음이 아닌 경우에만 표시됩니다. | 편집 가능 | 사용할 수 없음, 옵션이 표시되지 않음 | 편집 가능 | 편집 가능 |
지오메트리 필드 | 이 옵션은 지오메트리를 나타내는 필드를 지정하는 데 사용됩니다. 일부의 경우 이 필드는 특정 필드 유형이어야 합니다. WKB 및 EsriShape 형식에는 이진 필드가 필요하며 GeoJSON 및 EsriJSON에는 문자열 필드가 필요합니다. XYZ 필드는 숫자여야 합니다. 이 옵션은 지오메트리가 없음이 아닌 경우에만 표시됩니다. | 편집 가능 | 사용할 수 없음, 옵션이 표시되지 않음 | 편집 가능 | 편집 가능 |
시간
시간 섹션에는 시간을 나타내는 방식이 나와 있습니다. 아래 테이블에는 제공되는 옵션과 함께 입력 데이터셋 유형에 따른 수정 가능 여부가 요약되어 있습니다. 시간 옵션은 따로 언급되지 않는 한 모든 데이터 유형에 동일합니다.
시간 매개변수
| 매개변수 | 설명 | 예시 |
|---|---|---|
시간 유형 | 입력 시간의 유형입니다. 사용 가능한 옵션으로는 인스턴트(시간의 한 순간), 간격(시작 시간 및 종료 시간으로 구성된 일정 기간), 없음이 있습니다. | 인스턴트 |
시간 필드, 시작 시간 필드, 종료 시간 필드 | 인스턴트를 선택하면 시간 필드가 표시됩니다. 간격을 선택하면 시작 시간 필드 및 종료 시간 필드가 표시됩니다. 이 옵션은 입력 데이터에서 시간을 정의하는 데 사용되는 필드와 형식을 지정합니다. 시간을 정의하는 데 하나 이상의 필드를 사용할 수 있으며, 단일 필드에 하나 이상의 형식을 사용할 수 있습니다. 기본 설정에 따라 시간이라는 이름의 첫 번째 필드가 시간 필드로 사용되며 추정 시간 형식이 적용됩니다. 쉐이프파일이 있는 경우 날짜 유형의 첫 번째 필드가 사용됩니다. 해당 테이블에 최소 하나의 행을 채워야 합니다. 형식 지정에 대해 자세히 알아보려면 시간 형식을 참고하세요. 시간 형식 테이블은 시간 유형이 없음이 아닌 경우에만 제공됩니다. | 단일 필드로 두 가지 형식의 시간을 나타낸 예시
두 개의 필드로 시간을 나타낸 예시
|
시간대 | 입력 시간의 시간대입니다. 이 옵션은 시간 유형이 없음이 아닌 경우에만 제공됩니다. 기본값은 협정 세계시(UTC)입니다. | UTC |
시간 형식
다음 테이블에는 시간 형식을 나타내는 방식이 간략하게 설명되어 있습니다. 모든 예시는 2016년 1월 2일 오후 9:45:02.05를 나타내는 방식을 보여줍니다.
빅데이터 파일 공유의 시간 형식
| 형식 | 의미 | 예시 |
|---|---|---|
yy | 2자리로 표현된 연도입니다. | 16 |
yyyy | 4자리로 표현된 연도입니다. | 2016 |
MM | 숫자로 표현된 월입니다. | 01 또는 1 |
MMM | 3개 문자로 표현된 월입니다. | Jan |
MMMM | 전체 철자로 표현된 월입니다. | January |
dd | 날짜입니다. | 02 또는 2 |
HH | 24시간 시간제로 표현된 시간(값: 0~23)입니다. | 21 |
hh | 12시간 시간제로 표현된 시간(값: 1~12)입니다. | 9 |
mm | 분(값: 0~59)입니다. | 45 |
ss | 초(값: 0~59)입니다. | 02 |
SSS | 밀리초(값: 0~999)입니다. | 50 |
a | AM/PM 표시입니다. | PM |
epoch_millis | 에포크(epoch) 이후의 시간(밀리초)입니다. | 1509581781000 |
epoch_seconds | 에포크(epoch) 이후의 시간(초)입니다. | 1509747601 |
Z | 시간에 표현된 시간대 오프셋입니다. | -0100 또는 -01:00 |
ZZZ | ID를 사용하여 표현된 시간대 오프셋입니다. | America/Los_Angeles |
" | 작은따옴표를 사용하여 이 테이블에 설명된 값을 나타내지 않는 텍스트를 추가할 수 있습니다. | ‘T' |
다음 테이블에는 동일한 날짜인 2016년 1월 2일 오후 9:45:02.05를 여러 형식으로 나타낸 예시가 나와 있습니다.
시간 형식 예시
| 입력 날짜 | 형식 |
|---|---|
01/02/2016 9:45:02PM | MM/dd/yyyy hh:mm:ssa |
Jan02-16 21:45:02 | MMMdd-yy HH:mm:ss |
January 02 2016 9:45:02.050PM | MMMM dd yyyy hh:mm:ss.SSSa |
01/02/2017T9:45:14:05-0000 | MM/dd/yyyy'T'HH:mm:ssZ |
파일
파일 섹션에는 포함되어 있는 데이터의 형식이 나와 있습니다. 데이터의 형식은 다음 중 하나입니다.
- 쉐이프파일(.shp)
- 구분된 파일(예시: .csv)
- Parquet 파일
- ORC 파일
사용 가능한 매개변수는 데이터셋에 따라 다릅니다. 쉐이프파일, ORC, Parquet 파일의 경우 파일 유형이 유일한 매개변수이며 이 매개변수는 수정할 수 없습니다. 입력 데이터셋이 구분된 파일인 경우 여러 매개변수를 수정할 수 있습니다. 구분된 파일의 값을 수정하려면 힌트 파일을 사용하여 매니페스트를 다시 생성합니다. 다음 테이블에 이러한 매개변수가 간략하게 설명되어 있습니다.
데이터셋 형식
| 매개변수 | 설명 |
|---|---|
파일 확장자 | 입력 데이터셋에 대한 파일 형식 확장자를 나열합니다. 일반 형식은 .csv 및 .txt입니다. |
필드 구분 기호 | 각 필드의 구분 기호를 결정합니다. 일반 형식은 , 및 ;입니다. |
레코드 종결자 | 각 데이터 행의 종결자를 결정합니다. 일반 형식은 \n 및 \t입니다. |
인용 문자 | 인용 문자로 사용되는 문자를 지정합니다. |
헤더 행 포함 여부 | 입력 테이블에 헤더 행이 포함되는지 여부를 결정하는 불린(Boolean) 값입니다. 헤더 행이 포함되면 해당 헤더가 필드 이름으로 사용됩니다. 필드 이름 정보로 지오메트리 및 시간 필드를 예측할 수 있습니다. |
인코딩 | 파일에 사용되는 인코딩 유형입니다. 기본 설정에 따라 UTF-8이 사용됩니다. |
빅데이터 파일 공유 결과 템플릿 편집 매개변수
빅데이터 파일 공유 결과 템플릿 편집기는 다음과 같은 3개 섹션으로 구성됩니다.
- 이름 및 파일 유형
- 지오메트리 형식 지정
- 시간 형식 시정
비고:
입력 빅데이터 파일 공유에는 필드 섹션이 있습니다. 결과 필드는 결과를 생성하는 GeoAnalytics Tools로 결정되므로 결과 템플릿에는 필드 섹션이 없습니다. ORC는 기본 라틴어 알파벳과 숫자가 포함된 필드 이름만 지원합니다. 그 외 모든 문자는 필드 이름에서 밑줄로 바뀝니다.
결과 지오메트리 형식
지오메트리 섹션에는 결과 지오메트리에 각 지오메트리 유형(포인트, 라인, 폴리곤)의 형식을 지정하는 방법이 나와 있습니다. 결과 지오메트리를 결정하는 2개의 부분이 있습니다.
- 공간 기준 체계 - 빈 상태로 둘 수 있으며 도구 결과를 사용합니다(기본값). 선택적으로 WKID 또는 WKT 문자열을 제공하면 모든 결과가 해당 공간 기준 체계로 투영됩니다. 이 값은 모든 결과 지오메트리에서 공유됩니다.
- 지오메트리 형식 지정 유형 및 필드 - 아래의 세부정보에 설명되어 있습니다.
결과 지오메트리 형식
| 지오메트리 유형 | 결과 필드 | 구분된 파일 | 쉐이프파일 | ORC 파일 | Parquet 파일 |
|---|---|---|---|---|---|
XYZ - X, Y 및 선택적으로 Z 필드 이 옵션은 포인트에만 사용할 수 있습니다. | 기본 설정에 따라 3개의 새 필드가 X, Y, Z(이)라는 이름으로 생성됩니다. 필요에 따라 이러한 필드 이름을 변경할 수 있습니다. |  | | | |
WKT | 기본 설정에 따라 하나의 새 필드가 Geometry(이)라는 이름으로 생성됩니다. 필요에 따라 이러한 결과 필드 이름을 변경할 수 있습니다. | | | | |
GeoJSON | 기본 설정에 따라 하나의 새 필드가 Geometry(이)라는 이름으로 생성됩니다. 필요에 따라 이러한 결과 필드 이름을 변경할 수 있습니다. | | | | |
EsriJSON | 기본 설정에 따라 하나의 새 필드가 Geometry(이)라는 이름으로 생성됩니다. 필요에 따라 이러한 결과 필드 이름을 변경할 수 있습니다. | | | | |
WKB | 기본 설정에 따라 하나의 새 필드가 Geometry(이)라는 이름으로 생성됩니다. 필요에 따라 이러한 결과 필드 이름을 변경할 수 있습니다. | | | ||
EsriShape | 기본 설정에 따라 하나의 새 필드가 Geometry(이)라는 이름으로 생성됩니다. 필요에 따라 이러한 결과 필드 이름을 변경할 수 있습니다. | | |
결과 시간 형식
시간 섹션에는 결과 시간을 나타내는 방식이 설명되어 있습니다. 시간 형식을 지정하려면 다음 정보가 필요합니다.
- 인스턴트 및 간격에 대한 형식을 모두 지정합니다.
- 시간이 작성될 필드 이름입니다.
- 시간이 작성될 형식(문자열 또는 날짜)입니다. 구분된 파일은 문자열로만 형식을 지정할 수 있습니다.
- 간격은 시작 및 종료 시간을 나타내는 필드입니다.
시간 형식을 지정하는 방법은 입력 빅데이터 파일 방법과 동일합니다. 빅데이터 파일 공유의 시간 형식을 참고하세요.
결과 데이터셋 형식
데이터셋 형식 섹션에 데이터가 작성될 결과 형식이 간략하게 설명되어 있습니다. 데이터의 형식은 다음 중 하나입니다.
- 쉐이프파일(.shp)
- 구분된 파일(예시: .csv)
- Parquet 파일
- ORC 파일
사용 가능한 매개변수는 데이터셋에 따라 다릅니다. 쉐이프파일, ORC, Parquet 파일의 경우 파일 유형이 유일한 매개변수이며 이 매개변수는 수정할 수 없습니다. 데이터셋이 구분된 파일인 경우 ArcGIS Server Manager에서 여러 매개변수를 수정할 수 있습니다. 이러한 매개변수는 다음 테이블에 요약되어 있습니다.
데이터셋 형식
| 매개변수 | 설명 |
|---|---|
파일 확장자 | 확장은 결과 데이터셋에 적용되지 않습니다. |
필드 구분 기호 | 각 필드의 구분 기호를 결정합니다. 일반 형식은 , 및 ;입니다. |
레코드 종결자 | 각 데이터 행의 종결자는 설정할 수 없습니다. Windows의 경우 종결자는 \r\n입니다. Linux의 경우에는 \n입니다. |
인용 문자 | 인용 문자로 사용되는 문자를 지정합니다. |
헤더 행 포함 여부 | 결과 테이블에 필드 이름을 나타내는 헤더 행이 포함되는지 여부를 결정하는 불린(Boolean) 값입니다. 기본 설정에 따라 이 값은 true입니다. |
인코딩 | 항상 UTF-8 인코딩이 사용됩니다. |