使用 ArcGIS Enterprise 的栅格分析是一种灵活的栅格处理、存储和共享系统,它使用基于 ArcGIS Image Server 的分布式计算和存储技术。使用栅格分析可以应用 ArcGIS 中提供的栅格处理工具和函数、构建您自己的自定义函数和工具,或者将多个工具和函数组合到栅格处理链中,以对大型栅格数据集合执行自定义算法。可以根据您的需要和优先级,在整个企业中存储、发布以及共享源数据和处理结果。
通过利用云计算功能和资源可以进一步扩展此增强功能。最终结果是过去需要几天或几周才能完成的影像处理和分析工作,现在仅需几分钟或几小时即可完成,并且现在能够处理过去因为过大或过于棘手而难以处理的工作。
简介
栅格分析是在处理和存储环境中配置了栅格分析的 ArcGIS Image Server,能够最大限度提高处理速度和效率。内置工具和函数涉及预处理、正射校正和镶嵌、遥感分析以及大量数学和三角学运算符。您的自定义函数可以进一步增强平台的分析功能。
充分利用站点中的现有 ArcGIS Image Server,或者利用诸如 ArcGIS Enterprise on Amazon Web Services 和 ArcGIS Enterprise on Microsoft Azure 等云计算和存储平台的弹性处理和存储容量,从而根据工程的大小和紧迫性,动态增大或减小您的容量。栅格分析的可扩展环境使您能够执行过去无法实现或成本过高的计算密集型影像处理。节省了您的时间、金钱和资源。
栅格分析还可用于简化协作和共享。整个企业的用户可以向您的影像工程贡献数据、处理模型和专业知识,并与企业内的个人、部门或组织共享结果。
配置栅格分析部署
栅格分析的基础包括 3 个主要部件:ArcGIS Enterprise、基于 ArcGIS Image Server 的栅格分析以及基于 ArcGIS Image Server 的影像托管站点,其中包括栅格数据存储。
栅格分析需要 ArcGIS Enterprise 基础部署,它可提供软件和用户界面,用于组织和管理各种设备上的栅格和要素数据、地图以及其他地理信息的处理、存储和共享。这种集成式系统可以管理本地和防火墙后的处理传播及结果存储,可用于云处理和存储环境中,或这两种环境的组合中。
理想的栅格分析部署由三个服务器站点组成,以执行影像托管站点、栅格分析站点和动态影像站点的重要角色。栅格分析、ArcGIS Enterprise 和 ArcGIS Image Server 需要两个许可。
使用三个具有不同角色的服务器来配置栅格分析的优势是能够最大限度地提高效率和生产力。将分布式栅格分析处理与影像服务托管角色分离可以使资源专用于特定任务而不会中断。通过这种方式,请求访问各种栅格产品和服务的多位用户不会相互竞争,也不会影响栅格分析和影像处理资源。
设置 ArcGIS Enterprise
ArcGIS Enterprise 集成栅格分析系统的组件,以支持可扩展栅格处理和存储工作流。
您可以在一台或多台计算机上安装 ArcGIS Enterprise 基础部署,其中任意计算机可以为物理、虚拟或云计算机。有关 ArcGIS Enterprise 组件所需的计算机规格的详细信息,请参阅系统要求。
使用 ArcGIS Enterprise 可以手动或自动完成安装和配置 ArcGIS Enterprise Builder 基础部署的过程。
Esri 还提供用于在云端部署 ArcGIS Enterprise 的模板。这些模板将根据您的所选配置来设置 ArcGIS Enterprise。对于单机部署,请使用以下模板:
- 单机部署,使用 Amazon Web Services 上的 CloudFormation 模板。
对于多机部署,请使用以下模板:
- 本地多机部署,请参阅高可用性系统配置模板。
- 提供 Amazon Web Services 上的高可用性 ArcGIS Enterprise 部署。
栅格分析
分布式栅格处理由分配栅格分析角色的 ArcGIS Image Server 执行。可针对任何支持的栅格数据类型执行栅格函数处理链。源影像和栅格数据可来自分布式栅格数据存储、诸如 ArcGIS Pro 的本地客户端,或者其他未在栅格分析部署中进行配置的服务器。理想情况下,您的数据源将过渡在分布式栅格数据存储中,以实现最佳性能和效率。
门户成员将不会直接与 ArcGIS Image Server 进行交互;他们将使用 ArcGIS Pro、Map Viewer 或者通过 API(例如 ArcGIS REST API、ArcGIS API for Python 或 ArcGIS API for JavaScript)构建的客户端来执行栅格分析。ArcGIS Image Server 将执行实际处理、存储和发布角色。
您需要以栅格分析服务器的角色来设置和联合 ArcGIS Image Server,以执行分布式栅格分析和处理工作流。根据所使用的工具和功能,栅格分析服务器可自动管理和分发块级别或场景级别的图像处理和栅格分析任务。栅格分析服务器将管理分发至托管服务器上用于要素数据产品的 ArcGIS Data Store,或者用于图像和栅格数据产品的栅格数据存储的处理结果。
下面简要介绍针对栅格分析来设置和部署本地 ArcGIS Image Server 的步骤。
设置 ArcGIS Image Server 栅格分析站点
下列说明可能需要您更改在组织中部署 ArcGIS 的方式;继续下一步骤前请仔细查看下列说明。
- 请确保已配置基础 ArcGIS Enterprise 部署。
- 安装 ArcGIS Server 站点作为已分配栅格分析服务器角色的 ArcGIS Image Server。
- 使用 ArcGIS Image Server 许可为 ArcGIS Server 授权。
- 通过 ArcGIS Image Server 注册数据存储。栅格分析服务可将处理过的栅格存储在数据存储中。可以为文件共享或云存储类型的数据存储。
注:
如果在栅格分析部署中指定了影像托管服务器,并且您要发布影像服务,则需要在影像托管服务器和栅格分析服务器中注册相同的栅格存储。
如果从数据存储中访问输入数据,则应在栅格分析和影像托管服务器中注册这些数据存储。
- 要使用文件夹,请使用 ArcGIS Server Manager,在数据存储中注册一个 UNC 共享,并为其命名。
注:
如果定义了多个 _raster_store 实例,例如 raster_store1、raster_store2 等等,则栅格分析将针对任务请求随机挑选一个。
- 要使用云存储,需要提供访问密匙。云存储设置包含子文件夹支持。
- 要使用文件夹,请使用 ArcGIS Server Manager,在数据存储中注册一个 UNC 共享,并为其命名。
- 联合您的 ArcGIS Image Server 站点与门户。
- 分配联合 ArcGIS Image Server 以作为门户的栅格分析服务器。
- 以管理员身份登录到门户,然后转至组织 > 设置 > 服务器。
- 在页面的栅格分析部分中,单击下拉列表,并选择与门户联合的 ArcGIS Image Server 站点。如果已将多个 ArcGIS Image Server 站点添加到门户,则只能将一个站点指定为栅格分析服务器。
- 单击保存。
设置页面会检查该服务器是否具有 ArcGIS Image Server 许可。
- 分配执行栅格分析所需的最低权限。
- 如果仍以管理员身份登录到门户,请转至组织 > 角色。
- 在将执行栅格分析的角色旁边,单击编辑。
- 选中内容窗格下用于发布的最低权限的复选框,包括创建、更新和删除以及发布托管要素图层。
- 选中内容和分析下的栅格分析权限复选框。
- 建议配置栅格分析服务。
- 要提高处理速度和能力,可增加 RasterProcessing 服务的最大实例数。
- 要提高分析结果的可用性,可增加 RasterRendering 服务的最大实例数。
- 要增加可同时执行的任务处理数量,可增加 RasterAnalysisTools 服务的最大实例数。
- 增加 SOC 最大堆大小。
- 使用 URL 格式 http://machine.domain.com:6443/arcgis/admin> 登录到 ArcGIS Server Administrator Directory。
- 在目录主页中,单击计算机。
- 在计算机列表中,选择第一台具有 ArcGIS Image Server 许可的计算机(无论该计算机是用作影像托管服务器还是用作栅格分析服务器)。
- 在服务器计算机属性菜单中,请检查 SOC 最大堆大小的值。如果该值设置为 64MB,则单击支持的操作列表中的编辑。
- 在打开的编辑计算机页面上,将 SOC 最大堆大小的值由 64MB 更改为 128MB。单击保存编辑。服务器重新启动。
- 请对部署中具有 ArcGIS Image Server 许可的每台计算机重复这些步骤。
注:
如果您希望通过 ArcGIS Enterprise on Amazon Web Services 将影像托管服务器部署到云端,请参阅适用于 AWS 的 ArcGIS Enterprise Cloud Builder CLI 以及 AWS CloudFormation 和 ArcGIS。如果希望通过 Microsoft Azure 将栅格分析服务器部署到云端,请参阅在 Microsoft Azure 中部署 ArcGIS Enterprise。为云栅格格式配置临时目录
栅格分析工具可以使用临时目录来加快读写速度。该目录有两个主要用途:
- 缓存云存储 .crf 数据集
- 在读取和写入云存储 .crf 文件时,可以适用所有栅格分析工具
- 磁盘空间使用率由每个打开的 .crf 数据集缓存的最多 30 个程序包控制。通过这一数字,可确定程序包的平均大小(大于 50 MB)、打开的 .crf 数据集的预计数目以及每个 SOC 计算机所需的临时空间。
- 存储分布式处理全局工具(包括水文、距离和栅格综合工具)的临时处理块数据。
- 磁盘空间使用率与主要输入大小成正比。根据工具的不同,它可以是输入大小的 3 到 5 倍,可分布在多台 SOC 计算机上。
在每台 SOC 计算机上,临时文件夹可以是共享文件夹或本地文件夹。如果没有特别配置,默认临时文件夹位于用户的配置文件下,例如,C:\Users\username\AppData\Local\ESRI\LocalCaches\MapCacheV1。
有两个选项可为栅格分析影像服务器配置临时目录。
- "localTempFolder” 属性,位于服务器管理系统属性中,表示单个临时文件夹路径,例如 https://servername:6443/arcgis/admin/system/properties。
也可用于服务器缓存工具,例如 {"localTempFolder":"E:/Temp/RA"}。
- “localTempFolders” 属性,位于服务器管理系统属性中,用于定义临时文件夹路径列表(用分号分隔),例如 https://servername:6443/arcgis/admin/system/properties。栅格分析工具将从列表中随机选择一个临时文件夹。此属性允许在 SOC 计算机上使用多个本地磁盘,例如 {"localTempFolders":"E:/Temp/RA;F:/Temp/RA"}(假设所有 SOC 计算机都具有 E: 和 F: 驱动器)。
如果同时配置了二者,则临时文件夹路径列表 "localTempFolders" 优先级高于单个临时文件夹路径 "localTempFolder"。
为栅格分析工具配置临时位置
栅格分析地理处理工具汇总范围内的栅格和栅格转要素可在多台计算机上并行执行。要使用这些工具在这些计算机之间共享部分结果,必须将指定的条目添加到栅格分析服务器集群的栅格数据存储中。必须在每台计算机上标识一个快速的本地临时目录,同时必须为该目录定义一个包含字符串 machinename_tmp 的 UNC 共享。必须将该共享作为文件共享添加到栅格数据存储中。
例如,假设栅格分析集群具有两台名为 workerA 和 workerB 的计算机。在每台计算机的本地磁盘(要求该磁盘运转速度快且具有充足空间)上创建临时目录,并定义以下 UNC 共享: \workerA_raster_store_workerA_tmp 和 \workerB_raster_store_workerB_tmp。共享名称可以包含任何名称,只要存在文本字符串 machinename_tmp 即可。执行 SummarizeRasterWithin 或 ConverRasterToFeature 作业时,工作计算机将使用这些位置并行写入其部分结果。然后,将通过本地网络读取结果,并根据具体操作需要进行整理。
影像托管站点
影像托管站点可以托管栅格数据存储、管理文件共享存储和云存储,并根据门户成员请求来分发结果。栅格数据存储不是 ArcGIS Data Store 的一部分,而是与 ArcGIS Enterprise 联合的注册文件共享或云共享存储。栅格数据存储由栅格分析服务使用,以在本地或云端以分布式格式存储对读取、写入和存储进行了优化的输出影像。
使用三个具有不同角色的服务器来配置栅格分析的优势是能够最大限度地提高效率和生产力。将分布式栅格分析处理与影像服务托管角色分离可以使资源专用于特定任务而不会中断。通过这种方式,请求访问各种栅格产品和服务的多位用户不会相互竞争,也不会影响栅格分析和影像处理资源。
您需要设置并联合第二个 ArcGIS Image Server 作为影像托管服务器,该影像托管服务器可托管由栅格分析服务器生成的所有分布式影像服务。包括通过 ArcGIS Image Server Manager 配置的栅格数据存储,该管理器可管理分布式文件共享存储和云存储,例如:影像服务的 Amazon 简单存储服务 (S3) 或 Microsoft Azure Blob 存储。影像托管服务器将存储并返回 Enterprise 门户中的成员请求的分布式结果。影像托管服务器需要 ArcGIS Image Server 许可。
下面列出了有关设置和配置影像托管服务器的详细说明。
下列说明可能需要您更改在组织中部署 ArcGIS 的方式;继续下一步骤前请仔细查看下列说明。要配置门户以执行影像托管服务,请执行以下步骤。
- 安装 ArcGIS Server。
- 使用 ArcGIS Image Server 许可为 ArcGIS Server 授权。
- 登录 ArcGIS Server Manager,然后浏览至站点 > 数据存储。注册新的栅格存储。
栅格存储是栅格分析的输出位置,不应用作输入数据目录。文件共享可直接注册为栅格数据存储。对于基于云的存储,请先注册云存储。然后创建栅格存储以使用该云存储。
注:
如果已定义多个栅格存储,则栅格分析服务将随机选取一个栅格存储作为输出位置。
- 联合您的 ArcGIS Server 站点与门户。
- 更新联合 Image Server 作为门户的影像托管服务器。
- 以管理员身份登录到门户网站,然后转至组织 > 设置 > 服务器
- 在页面的影像托管部分中,单击下拉列表,并选择与门户联合的 ArcGIS Image Server 站点。如果已将多个 ArcGIS Image Server 站点添加到门户,则只能将一个站点指定为影像托管服务器。
- 单击保存。
- 请确保您已将 ArcGIS Image Server 的 SOC 最大堆大小增加至 128 MB。请参阅上述设置 ArcGIS 栅格分析服务器部分的 9a 至 9f 步骤。
注:
如果希望通过 Amazon Web Services 将影像托管服务器部署到云端,请参阅适用于 AWS 的 ArcGIS Enterprise Cloud Builder CLI。如果希望通过 Microsoft Azure 将栅格分析服务器部署到云端,请参阅在 Microsoft Azure 中部署 ArcGIS Enterprise。最小栅格分析系统
如果组织在竞争栅格分析处理和影像服务分配资源方面具有资源和有限冲突,则可以将栅格分析服务器和影像托管服务器功能进行组合并托管在一台服务器上。在此实施中,将在配置为栅格分析服务器的 ArcGIS Image Server 站点上执行栅格分析和影像处理操作,并通过同一 ArcGIS Image Server 站点来管理和发布结果。ArcGIS Image Server 站点处理分析请求,存储结果,然后将结果返回给 Portal for ArcGIS 站点中的成员。
最小栅格分析系统的示意图如下所示。
栅格分析和输出影像托管服务器需要 ArcGIS Image Server 许可。
有关设置和配置最小栅格分析系统的说明,请参阅以下栅格分析系统的最低设置部分。
栅格分析系统的最低设置
下列说明可能需要您更改在组织中部署 ArcGIS 的方式;继续下一步骤前请仔细查看下列说明。要配置门户以执行影像托管服务,请执行以下步骤。
- 安装 ArcGIS Server。
- 使用 ArcGIS Image Server 许可为 ArcGIS Server 授权。
- 登录 ArcGIS Server Manager,然后浏览至站点 > 数据存储。注册新的栅格存储。
栅格存储是栅格分析的输出位置,不应用作输入数据目录。
注:
如果已定义多个栅格存储,则栅格分析服务将随机选取一个栅格存储作为输出位置。
- 联合您的 ArcGIS Server 站点与门户。
- 选择联合 ArcGIS Image Server 以作为门户的栅格分析服务器。
- 以管理员身份登录到门户,然后转至组织 > 设置 > 服务器。
- 在页面的栅格分析部分中,单击下拉列表,并选择与门户联合的服务器站点。如果已将多个 ArcGIS Image Server 站点添加到门户,则只能将一个站点指定为栅格分析服务器。
- 单击保存。
- 分配执行栅格分析所需的最低权限。
- 如果仍以管理员身份登录到门户网站,请转至组织 > 角色。
- 在将执行栅格分析的角色旁边,单击编辑。
- 选中内容窗格下用于发布的最低权限的复选框,包括创建、更新和删除以及发布托管要素图层。
- 选中内容和分析下的栅格分析权限复选框。
- 请确保您已将 ArcGIS Image Server 的 SOC 最大堆大小增加至 128 MB。请参阅上述设置 ArcGIS 栅格分析服务器部分的 9a 至 9f 步骤。