GeoAnalytics のヘルスチェック—ArcGIS GeoAnalytics Server

ヘルスチェック操作により、GeoAnalytics Server の compute platform サービスの計算リソースおよびジョブの状態が表示されます。これは、GeoAnalytics Server が複数の GeoAnalytics Server コアおよびコンピューター全体に解析を分散できるようにする基本フレームワークです。

トラブルシューティングおよび監視に使用できる操作は、サーバーまたはポータルの管理者が使用できます。URL 形式 https://gis_geoanalytics_server.domain.com:6443/arcgis/admin で ArcGIS Server Administrator Directory にログインしてアクセスします。ヘルスチェックを開くには、GeoAnalytics Server サイトから、[System] > [Platform Services] > [Compute Platform] > [Health] の順にクリックします。

ヘルスチェック操作で、以下を行います。

解析に使用されている GeoAnalytics Server コンピューターを検証および特定します。
割り当てられたメモリとコアが解析の実行時 (またはツールの実行時) に使用されていることを確認します。
GeoAnalytics Server コンピューターで使用可能なコアおよびメモリの容量を確認します。これは、GeoAnalytics Server の設定を使用している場合に便利です。
GeoAnalytics Server の設定の詳細
GeoAnalytics Server ジョブの jobID を検索して REST エンドポイントを表示します。
エラーメッセージのトラブルシューティングを行い、問題を解決します。
注意:
分散処理プラットフォームサービスを初期化できないという内容のエラーが表示された場合は、ヘルスチェック操作を完了してワーカーノードを確認します。ノードの状態を確認したら、「GeoAnalytics Server の一般的な問題とその解決方法」に記載された手順を完了します。

注意:

GeoAnalytics Server ヘルスチェックには、ArcGIS Monitor を経由してアクセスすることもできます。

ArcGIS Monitor の詳細

compute platform のヘルスチェックは、解析を分散する基本フレームワークの用語を使用します。下表は、このドキュメントで使用する用語および概念についてまとめたものです。


用語	説明
ノード	サーバーコンピューター。
作業者	計算に使用されるコンピューター。ワーカーコンピューターは、プライマリコンピューターから指示を受け取り、それを実行します。プライマリコンピューターに対して 1 台以上のワーカーコンピューターを設置できます。
プライマリ	ワーカーノードを監視するサーバー。サーバーは、プライマリノードとワーカーノードの両方の機能を持つことができます。 Spark では、これはマスターと呼ばれます。
ジョブ	ジョブは、GeoAnalytics Server ツールの実行を意味します。

ヘルスチェックは、単一の値または配列で表されるキーで構成されます。 GeoAnalytics Server ジョブが実行され、完了すると、ヘルスチェックはサイトの各 GeoAnalytics Server コンピューターについて以下のキーを確認します。

{
  "<geoanalytics server machine name>":{
  {.. url ..},
  {.. workers ..},
  {.. aliveworkers ..},
  {.. cores ..},
  {.. coresused ..},
  {.. memory ..},
  {.. memoryused ..},
  {.. activeapps ..},
  {.. completedapps ..},
  {.. activedrivers ..},
  {.. completeddrivers ..},
  {.. status ..}
}

サイトに複数のコンピューターがある場合は、複数の geoanalytics service machine name keys があります。プライマリノードのコンピューターにのみ、リソースおよびジョブの情報が格納されます。ワーカーノードには null および 0 の値のみが格納されます。最上位レベルのサーバーオブジェクト内では、次のキーには値の配列が格納されます: workers、activeapps、completedapps、および activedrivers。最上位レベルのキーの url、cores、coresused、memory、memoryused、および status には単一の値が格納されます。

各キーについて、次の例を用いて説明します。

例 1: 1 台のコンピューターで構成された GeoAnalytics Server サイト。
- 各コンピューターには 32 GB (32768 MB) の RAM と 8 つの CPU コアが搭載されています。
- システムプロパティは、使用可能な RAM とコアの最大 90 % を使用するように設定されています。
  - GeoAnalytics Server は、コンピューターごとに 29491 MB の RAM を使用します。この計算には、次の方程式が使用されます。
```
floor(32768 x .90) = 29491
```
  - GeoAnalytics Server は 7 つのコアを使用します。この計算には、次の方程式が使用されます。
```
floor(8 コア x 1 台のコンピューター x .90) = 7
```
例 2: 3 台のコンピューターで構成された GeoAnalytics Server サイト。
- 各コンピューターには 16 GB (16384 MB) の RAM と 4 つの CPU コアが搭載されています。
- システムプロパティは、使用可能な RAM の最大 80% をデフォルト値として使用します。
  - GeoAnalytics Server は、コンピューターごとに 13107 MB の RAM を使用します。この計算には、次の方程式が使用されます。
```
floor(16384 x .80)= 13107
```
  - GeoAnalytics Server は、すべてのコンピューターを通じて 9 つのコアを使用します。この計算には、次の方程式が使用されます。
```
floor(4 コア x 3 台のコンピューター x .80) = 9
```

サイトの情報とリソース

このセクションでは、url、cores、coresused、memory、memoryused、および status の各キーを説明します。 GeoAnalytics Server サイトに複数のコンピューターが配置されている場合、url キーは複数あります。 url キーのいずれか 1 つに、以下の例のような値が格納されます。残りのすべての url キーには値 0 が格納され、ワーカーはリストされません。値が格納された URL はプライマリノードです。その他の URL は、ワーカーとして表されたコンピューターです。 activedrivers キーは常に空の配列です。

例 1: 1 台のコンピューターで構成されたサイト例 2: 3 台のコンピューターで構成されたサイト

例 1: 1 台のコンピューターで構成されたサイト	例 2: 3 台のコンピューターで構成されたサイト
`{ "machine1.example-esri.com": { "url": "spark://machine1.example-esri.com:7077", "workers": [ { ...worker1... } ], "aliveworkers": 1, "cores": 7, "coresused": 7, "memory": 29491, "memoryused": 29491, "activeapps": [ ... ], "completedapps": [ ... ], "activedrivers": [], "completeddrivers": [], "status": "ALIVE" } }`	{ "machine1.example-esri.com": { "url": "spark://machine1.example-esri.com:7077", "workers": [ { ...worker1... }, { ...worker2... }, { ...worker3... } ], "aliveworkers": 3, "cores": 9, "coresused": 9, "memory": 13107, "memoryused": 13107, "activeapps": [ ... ], "completedapps": [ ... ], "activedrivers": [], "completeddrivers": [], "status": "ALIVE" }, "machine2.example-esri.com": { "url": "spark://machine2.example-esri.com:7077", "workers": [], "aliveworkers": 0, "cores": 0, "coresused": 0, "memory": 0, "memoryused": 0, "activeapps": [], "completedapps": [], "activedrivers": [], "completeddrivers": [], "status": "STANDBY" }, "machine3.example-esri.com": { "url": "spark://machine3.example-esri.com:7077", "workers": [], "aliveworkers": 0, "cores": 0, "coresused": 0, "memory": 0, "memoryused": 0, "activeapps": [], "completedapps": [], "activedrivers": [], "completeddrivers": [], "status": "STANDBY" } }

{
   "machine1.example-esri.com": {
       "url": "spark://machine1.example-esri.com:7077",
       "workers": [
           {
               ...worker1...
           }
       ],
       "aliveworkers": 1,
       "cores": 7,
       "coresused": 7,
       "memory": 29491,
       "memoryused": 29491,
       "activeapps": [ ... ],
       "completedapps": [ ... ],
       "activedrivers": [],
       "completeddrivers": [],
       "status": "ALIVE"
   }
}

{
 "machine1.example-esri.com": {
       "url": "spark://machine1.example-esri.com:7077",
       "workers": [
           {
               ...worker1...
           },
           {
               ...worker2...
           },
           {
               ...worker3...
           }
       ],
       "aliveworkers": 3,
       "cores": 9,
       "coresused": 9,
       "memory": 13107,
       "memoryused": 13107,
       "activeapps": [ ... ],
       "completedapps": [ ... ],
       "activedrivers": [],
       "completeddrivers": [],
       "status": "ALIVE"
   },
   "machine2.example-esri.com": {
       "url": "spark://machine2.example-esri.com:7077",
       "workers": [],
       "aliveworkers": 0,
       "cores": 0,
       "coresused": 0,
       "memory": 0,
       "memoryused": 0,
       "activeapps": [],
       "completedapps": [],
       "activedrivers": [],
       "completeddrivers": [],
       "status": "STANDBY"
   },
   "machine3.example-esri.com": {
       "url": "spark://machine3.example-esri.com:7077",
       "workers": [],
       "aliveworkers": 0,
       "cores": 0,
       "coresused": 0,
       "memory": 0,
       "memoryused": 0,
       "activeapps": [],
       "completedapps": [],
       "activedrivers": [],
       "completeddrivers": [],
       "status": "STANDBY"
   }
}

説明

url - 接頭辞 Spark と Spark のポートを含む、GeoAnalytics Server コンピューターの URL。 URL は、コンピューターごとに 1 つのみリストできます。
cores - サイトのすべての GeoAnalytics Server コンピューターで GeoAnalytics Server が使用できるコアの合計数。使用可能なコアの合計数に percentageMaxAllowedComputeCores の設定 (デフォルトは 80%) を乗じた値です。
percentageMaxAllowedComputeCores の設定の詳細
coresused - GeoAnalytics Server サイトのすべてのコンピューターで、GeoAnalytics Server 解析で現在使用されているコアの合計数。
memory - サイトのすべての GeoAnalytics Server コンピューターで GeoAnalytics Server が使用できる合計メモリ容量 (MB)。各コンピューターのメモリ容量に percentageMaxAllowedComputeMemory とコンピューター数を乗じた値です。
memoryused - GeoAnalytics Server サイトのすべてのコンピューターで、GeoAnalytics Server 解析で現在使用されているメモリの合計容量。
activedrivers - 常に空の配列です。

作業者

workers キーは、GeoAnalytics Server サイトの一部としてコンピューターおよび情報を識別します。

例 1: 1 台のコンピューターで構成されたサイト例 2: 3 台のコンピューターで構成されたサイト

例 1: 1 台のコンピューターで構成されたサイト	例 2: 3 台のコンピューターで構成されたサイト
`{ "machine1.example-esri.com": { "url": "spark://machine1.example-esri.com:7077", "workers": [ { "id": "worker-20180302114515-10.33.9.162-56544", "host": "10.33.9.162", "port": 56544, "cores": 3, "coresused": 3, "coresfree": 0, "memory": 29491, "memoryused": 29491, "memoryfree": 0, "state": "ALIVE", "lastheartbeat": 1520469707880, "lastheartbeatString": "2018-03-07T04:41:47,880", "hostname": "machine1.example-esri.com" } ], ... } } }`	{ "machine1.example-esri.com": { "url": "machine1.example-esri.com:7077", "workers": [ { "id": "worker-20180302114515-10.33.9.162-56544", "host": "10.33.9.162", "port": 56544, "cores": 3, "coresused": 3, "coresfree": 0, "memory": 13107, "memoryused": 13107, "memoryfree": 0, "state": "ALIVE", "lastheartbeat": 1520469707880, "lastheartbeatString": "2018-03-07T04:41:47,880", "hostname": "machine1.example-esri.com" }, { "id": "worker-20180302114111-10.33.10.149-56543", "host": "10.33.10.149", "port": 56543, "cores": 3, "coresused": 3, "coresfree": 0, "memory": 13107, "memoryused": 13107, "memoryfree": 0, "state": "ALIVE", "lastheartbeat": 1520469712961, "lastheartbeatString": "2018-03-07T04:41:52,961", "hostname": "machine2.example-esri.com" }, { "id": "worker-20180302113155-10.33.9.165-56540", "host": "10.33.9.165", "port": 56540, "cores": 3, "coresused": 3, "coresfree": 0, "memory": 13107, "memoryused": 13107, "memoryfree": 0, "state": "ALIVE", "lastheartbeat": 1520469712874, "lastheartbeatString": "2018-03-07T04:41:52,874", "hostname": "machine3.example-esri.com" } ], ... }, "machine2.example-esri.com": {...}, "machine3.example-esri.com": {...} } }

{
   "machine1.example-esri.com": {
       "url": "spark://machine1.example-esri.com:7077",
       "workers": [
           {
               "id": "worker-20180302114515-10.33.9.162-56544",
               "host": "10.33.9.162",
               "port": 56544,
               "cores": 3,
               "coresused": 3,
               "coresfree": 0,
               "memory": 29491,
               "memoryused": 29491,
               "memoryfree": 0,
               "state": "ALIVE",
               "lastheartbeat": 1520469707880,
               "lastheartbeatString": "2018-03-07T04:41:47,880",
               "hostname": "machine1.example-esri.com"
           }
       ],
    ...
    }
   }
}

{
   "machine1.example-esri.com": {
       "url": "machine1.example-esri.com:7077",
       "workers": [
           {
               "id": "worker-20180302114515-10.33.9.162-56544",
               "host": "10.33.9.162",
               "port": 56544,
               "cores": 3,
               "coresused": 3,
               "coresfree": 0,
               "memory": 13107,
               "memoryused": 13107,
               "memoryfree": 0,
               "state": "ALIVE",
               "lastheartbeat": 1520469707880,
               "lastheartbeatString": "2018-03-07T04:41:47,880",
               "hostname": "machine1.example-esri.com"
           },
           {
               "id": "worker-20180302114111-10.33.10.149-56543",
               "host": "10.33.10.149",
               "port": 56543,
               "cores": 3,
               "coresused": 3,
               "coresfree": 0,
               "memory": 13107,
               "memoryused": 13107,
               "memoryfree": 0,
               "state": "ALIVE",
               "lastheartbeat": 1520469712961,
               "lastheartbeatString": "2018-03-07T04:41:52,961",
               "hostname": "machine2.example-esri.com"
           },
           {
               "id": "worker-20180302113155-10.33.9.165-56540",
               "host": "10.33.9.165",
               "port": 56540,
               "cores": 3,
               "coresused": 3,
               "coresfree": 0,
               "memory": 13107,
               "memoryused": 13107,
               "memoryfree": 0,
               "state": "ALIVE",
               "lastheartbeat": 1520469712874,
               "lastheartbeatString": "2018-03-07T04:41:52,874",
               "hostname": "machine3.example-esri.com"
           }
       ],
    ...
    },    
   "machine2.example-esri.com": {...},
   "machine3.example-esri.com": {...}
   }
}

説明

id - ワーカーの一意な ID。
host - コンピューターのホストアドレス。
port - GeoAnalytics Server 解析で使用されるコンピューターのポート。各ワーカーは、専用ポートを割り当てられています。これらのポートは、通信できるよう開いている必要があります。
cores - そのコンピューターでの GeoAnalytics Server 解析に割り当てられたコアの数。これは GeoAnalytics Server の設定を使用して設定され、percentageMaxAllowedComputeCores の設定を表します。
coresused - GeoAnalytics Server 解析で現在使用されているコアの数。 GeoAnalytics Tools が実行されている場合、これは 0 より大きい値になるはずです。
coresfree - このコンピューターの GeoAnalytics Server 解析で、現在未使用でただちに使用できるコアの数。すべてのコンピューターでこの値が cores に等しい場合、GeoAnalytics Tools は現在実行されていません。
memory - コンピューターの GeoAnalytics Server 解析に割り当てられたメモリ容量 (MB)。これは GeoAnalytics Server の設定を使用して設定され、percentageMaxAllowedComputeMemory の設定を表します。
memoryused - 特定コンピューターによって GeoAnalytics Server 解析で現在使用されているメモリ容量 (MB)。
memoryfree - このコンピューターの GeoAnalytics Server 解析で、現在未使用でたただちに使用できるメモリ容量 (MB)。 memoryfree の容量は、GeoAnalytics Tools が実行される各コンピューターのサーバー設定で指定された容量以上でなければなりません。
state - 現在のコンピューターの状態。 ALIVE がオンの場合、ジョブを実行できる状態か、ジョブが 1 つ実行中です。 STANDBY は、ジョブが開始されると ALIVE に切り替わります。 DEAD は、エラーの可能性を示しています。GeoAnalytics Server を再起動する必要があります。 UNKNOWN は、エラーの可能性を示しています。GeoAnalytics Server を再起動する必要があります。コンピューターの状態が DEAD または UNKNOWN から ALIVE または STANDBY に切り替わらない場合は、Esri Support にお問い合わせください。
lastheartbeat - 現在のコンピューターがプライマリノードと通信した最終時間 (エポックからのミリ秒)。この値は、コンピューターのローカル時刻で算出されます。
lastheartbeatString - 現在のコンピューターが最後にプライマリノードと通信した時刻 (文字列形式)。この値は、コンピューターのローカル時刻で算出されます。
hostname - 作業者のコンピューターのホスト名。

完了したアプリ

completedapps キーにより、完了した GeoAnalytics Server ツールおよび情報を確認します。このキーには、正常に完了したツールおよびエラーが発生したツールが格納されます。完了したアプリの情報は、GeoAnalytics Server の再起動時に消去されます。

例 1: 1 台のコンピューターで構成されたサイト例 2: 3 台のコンピューターで構成されたサイト

例 1: 1 台のコンピューターで構成されたサイト	例 2: 3 台のコンピューターで構成されたサイト
`{ "machine1.example-esri.com": { "url": "spark://machine1.example-esri.com:7077", "workers": [...], ..., "activeapps": [...], "completedapps": [ { "starttime": 1520469691617, "id": "app-20180307164131-0008", "name": "ArcGIS GeoAnalytics (jcb8bda25a3f14dc7835dca0b3267b42c)", "cores": 7, "user": "agstest", "memoryperslave": 29491, "submitdate": "Wed Mar 07 16:41:31 PST 2018", "state": "FINISHED", "duration": 21947 } ], "activedrivers": [], "completeddrivers": [], "status": "ALIVE" } }`	{ "machine1.example-esri.com": { "url": "spark://machine1.example-esri.com:7077", "workers": [...], ..., "activeapps": [...], "completedapps": [ { "starttime": 1520469691617, "id": "app-20180307164131-0008", "name": "ArcGIS GeoAnalytics (jcb8bda25a3f14dc7835dca0b3267b42c)", "cores": 9, "user": "agstest", "memoryperslave": 13107, "submitdate": "Wed Mar 07 16:41:31 PST 2018", "state": "FINISHED", "duration": 21947 } ], "activedrivers": [], "completeddrivers": [], "status": "ALIVE" }, "machine2.example-esri.com": {...}, "machine3.example-esri.com": {...} }

{
   "machine1.example-esri.com": {
       "url": "spark://machine1.example-esri.com:7077",
       "workers": [...],
       ...,
       "activeapps": [...],
       "completedapps": [
           {
               "starttime": 1520469691617,
               "id": "app-20180307164131-0008",
               "name": "ArcGIS GeoAnalytics (jcb8bda25a3f14dc7835dca0b3267b42c)",
               "cores": 7,
               "user": "agstest",
               "memoryperslave": 29491,
               "submitdate": "Wed Mar 07 16:41:31 PST 2018",
               "state": "FINISHED",
               "duration": 21947
           }
       ],
       "activedrivers": [],
       "completeddrivers": [],
       "status": "ALIVE"
   }
}

{
   "machine1.example-esri.com": {
       "url": "spark://machine1.example-esri.com:7077",
       "workers": [...],
       ...,
       "activeapps": [...],
       "completedapps": [
           {
               "starttime": 1520469691617,
               "id": "app-20180307164131-0008",
               "name": "ArcGIS GeoAnalytics (jcb8bda25a3f14dc7835dca0b3267b42c)",
               "cores": 9,
               "user": "agstest",
               "memoryperslave": 13107,
               "submitdate": "Wed Mar 07 16:41:31 PST 2018",
               "state": "FINISHED",
               "duration": 21947
           }
       ],
       "activedrivers": [],
       "completeddrivers": [],
       "status": "ALIVE"
   },
   "machine2.example-esri.com": {...},
   "machine3.example-esri.com": {...}
}

説明

starttime - GeoAnalytics Tools のジョブの実行開始時間 (エポックからのミリ秒)。
id - ジョブの一意な ID。
name - ジョブの名前。これは常に ArcGIS GeoAnalytics (<jobID>) の形式になります。 jobID は、ジョブの実行時の REST エンドポイントで使用される jobID と同じです。
cores - すべてのコンピューターの解析で使用されるコアの合計数。
user - ジョブを実行したユーザー。これは、ArcGIS Server を設定したユーザーで、サイト上のユーザーと必ず同じです。ジョブを実行したポータルメンバーではありません。
memoryperslave - 各コンピューターで使用されるメモリ容量。
submitdate - GeoAnalytics Tools のジョブが開始された時間 (判読可能なテキスト形式)。
state - 現在のジョブの状態。 FINISHED は、ジョブが完了していることを示します。ジョブは、正常終了または異常終了している可能性があります。
duration - ジョブの合計実行時間 (ミリ秒)。

アクティブなアプリ

activeapps キーにより、現在実行中の GeoAnalytics Tools とその情報を確認します。ジョブが完了すると、情報は completedapps オブジェクトに移動します。

例 1 - 1 台のコンピューターで構成されたサイト例 2 - 3 台のコンピューターで構成されたサイト

例 1 - 1 台のコンピューターで構成されたサイト	例 2 - 3 台のコンピューターで構成されたサイト
`{ "machine1.example-esri.com": { "url": "spark://machine1.example-esri.com:7077", "workers": [...], ..., "activeapps": [ { "starttime": 1520464610794, "id": "app-20180307151650-0007", "name": "ArcGIS GeoAnalytics (j4b986eb5c603426fae7abe8e9d5d7afa)", "cores": 7, "user": "agstest", "memoryperslave": 29491, "submitdate": "Wed Mar 07 15:16:50 PST 2018", "state": "RUNNING", "duration": 5105025 } ], "completedapps": [...] } }`	`{ "machine1.example-esri.com": { "url": "spark://machine1.example-esri.com:7077", "workers": [...], ..., "activeapps": [ { "starttime": 1520464610794, "id": "app-20180307151650-0007", "name": "ArcGIS GeoAnalytics (j4b986eb5c603426fae7abe8e9d5d7afa)", "cores": 9, "user": "agstest", "memoryperslave": 13107, "submitdate": "Wed Mar 07 15:16:50 PST 2018", "state": "RUNNING", "duration": 5105025 } ], "completedapps": [...] }, "machine2.example-esri.com": {...}, "machine3.example-esri.com": {...} }`

{
   "machine1.example-esri.com": {
       "url": "spark://machine1.example-esri.com:7077",
       "workers": [...],
       ...,
       "activeapps": [
           {
               "starttime": 1520464610794,
               "id": "app-20180307151650-0007",
               "name": "ArcGIS GeoAnalytics (j4b986eb5c603426fae7abe8e9d5d7afa)",
               "cores": 7,
               "user": "agstest",
               "memoryperslave": 29491,
               "submitdate": "Wed Mar 07 15:16:50 PST 2018",
               "state": "RUNNING",
               "duration": 5105025
           }
       ],
       "completedapps": [...]
   }
}

{
   "machine1.example-esri.com": {
       "url": "spark://machine1.example-esri.com:7077",
       "workers": [...],
       ...,
       "activeapps": [
           {
               "starttime": 1520464610794,
               "id": "app-20180307151650-0007",
               "name": "ArcGIS GeoAnalytics (j4b986eb5c603426fae7abe8e9d5d7afa)",
               "cores": 9,
               "user": "agstest",
               "memoryperslave": 13107,
               "submitdate": "Wed Mar 07 15:16:50 PST 2018",
               "state": "RUNNING",
               "duration": 5105025
           }
       ],
       "completedapps": [...]
   },
   "machine2.example-esri.com": {...},
   "machine3.example-esri.com": {...}
}

説明

starttime - GeoAnalytics Tools の実行開始時間 (エポックからのミリ秒)。
id - ジョブの一意な ID。
name - ジョブの名前。これは常に ArcGIS GeoAnalytics (<jobID>) の形式になります。 jobID は、ジョブの実行時の REST エンドポイントで使用されるジョブ ID と同じです。
cores - すべてのコンピューターの解析で使用されるコアの合計数。
user - ジョブを実行したユーザー。これは、ArcGIS Server を設定したユーザーで、サイト上のユーザーと必ず同じです。ジョブを実行したポータルメンバーではありません。
memoryperslave - 各コンピューターで使用されるメモリ容量。
submitdate - GeoAnalytics Tools が開始された時間 (判読可能なテキスト形式)。
state - 現在のジョブの状態。 RUNNING はジョブが開始された時間を示します。 WAITING は、リソースが十分かどうかを判別するため、ジョブが 1 分間待機することを示します。 1 分以内に十分なリソースが準備できなかった場合、そのジョブはキャンセルされます。リソースがある場合は、RUNNING になります。
duration - ジョブの現在までの実行時間 (ミリ秒)。

このトピックへのフィードバック

注意:

注意:

サイトの情報とリソース

作業者

完了したアプリ

アクティブなアプリ

このトピックの内容