ArcGIS Notebook Server vous permet d’appliquer plusieurs méthodes pour automatiser les processus, notamment en utilisant des notebooks planifiés, des webhooks ou vos propres scripts personnalisés à l’aide de l’API d’administration Execute Notebook.
Remarque :
Pour automatiser un notebook à l’aide de tâches planifiées, de webhooks ou de l’API d’exécution du notebook, le notebok doit utiliser un runtime de version 3.0 ou ultérieure.
Planifier des tâches de notebook
Depuis la version 10.8.1, les créateurs de notebooks peuvent planifier ArcGIS Notebooks pour une exécution automatisée à heure fixe dans le futur, une seule fois ou de manière récurrente. La création de tâches pour programmer des notebooks permet d’automatiser des processus classiques, exécuter aux heures creuses des traitements qui utilisent un grand volume de données et mettre à jour régulièrement des jeux de données. Vous pourriez ainsi programmer un notebook pour réaliser les opérations suivantes :
- Importer des données à partir d’une source en ligne mise à jour tous les mois, nettoyer les données automatiquement, appliquer les transformations nécessaires et transférer les données dans votre espace de travail.
- Exécuter un processus d’analyse de Big Data impliquant des traitements lourds au cours de la nuit au moment où les ressources de votre machine sont inutilisées.
- Gérer les utilisateurs ayant créé un compte dans votre portail la semaine précédente et vous envoyer la liste par e-mail.
Vous pouvez créer une ou plusieurs tâches pour un notebook. Par défaut, un administrateur ou créateur de notebooks peut créer un maximum de 20 tâches. En cas de changement de propriétaire d’un notebook, les tâches qui lui sont associées sont désactivées et attribuées à son nouveau propriétaire.
Vous pouvez utiliser les tâches planifiées pour paramétrer les notebooks. Un notebook paramétré vous permet d’écrire un code générique qui peut s’adapter aux différentes entrées sans intervention de votre part. Lors de l’exécution de la tâche, les paramètres choisis sont insérés dans le notebook, où ils peuvent éventuellement être enregistrés. Par exemple, vous pouvez utiliser un notebook paramétré pour produire des rapports sur la pollution de l’air par région de façon récurrente. Ce notebook peut comporter plusieurs tâches planifiées, une pour chaque région à étudier. Par ailleurs, pour chaque tâche, une entrée paramétrée comme le nom de la ville et le type de pollution peuvent être transmis au notebook.
Remarque :
Le nombre d’exécutions simultanées de tâches de notebook est limité par la propriété système maxExecuteNotebookContainersPerNode dans Notebook Server.
Vous pouvez configurer la tâche pour enregistrer l’état du notebook dans l’élément de notebook d’origine à l’issue de l'exécution.
Une vue HTML statique est enregistrée pour chaque tâche planifiée exécutée. Par défaut, seuls les résultats des 30 dernières exécutions sont enregistrés.
À l’aide de la page Tasks (Tâches) dans ArcGIS Notebook Server Manager, les administrateurs peuvent afficher de façon détaillée, modifier, interrompre, reprendre ou supprimer chaque tâche d’un notebook actif sur le site. Les administrateurs et créateurs de notebooks doivent posséder le privilège permettant de planifier un notebook pour pouvoir afficher de façon détaillée, modifier, interrompre, reprendre ou supprimer une tâche de notebook dans la page des détails du notebook ou dans la fenêtre des tâches de l’éditeur de notebooks.
Pour éviter les problèmes d’exécution récurrents sur un notebook, une tâche planifiée est désactivée après cinq échecs successifs. Avant de la réactiver, le propriétaire de la tâche doit vérifier que l’exécution du notebook peut aboutir sans intervention de la part de l’utilisateur.
Si l’exécution précédente d’une tâche est toujours en cours, la nouvelle exécution de la tâche planifiée est ignorée. Par exemple, si l’exécution d’une tâche est programmée toutes les 15 minutes, mais qu’une instance de cette tâche est en cours depuis 20 minutes, l’exécution planifiée suivante est ignorée. Si cela se produit souvent, le propriétaire de la tâche doit ajuster l’intervalle temporel planifié de façon à ce que les exécutions ne se chevauchent pas.
Pour plus d’informations sur les tâches de notebook planifiées, reportez-vous à la rubrique d’aide Planifier une tâche de notebook.
À l’aide de la fenêtre Gérer les tâches sur la page d’accueil de ArcGIS Notebook Server ou de la page Tâches dans ArcGIS Notebook Server Manager, les administrateurs peuvent afficher des détails, mettre à jour, interrompre, reprendre et supprimer des tâches de notebook actives sur le site. Les administrateurs et créateurs dotés du privilège Planifier un notebook peuvent afficher les détails, mettre à jour, interrompre, reprendre et supprimer une tâche de notebook dans la page des détails du notebook ou dans la fenêtre Tâche de l’éditeur de notebooks.
Limites des tâches planifiées
Il existe certaines limites au niveau de l’utilisateur, de l’organisation et du site ArcGIS Notebook Server (machine) associées aux tâches de notebook planifiées.
Nombre maximal d’exécutions automatiques simultanées de notebooks (maxExecuteNotebookContainersPerNode)
Lors de l’exécution d’un notebook par une tâche planifiée, d’un webhook ou de l’API d’exécution du notebook, ArcGIS Notebook Server ouvre automatiquement un nouveau conteneur et exécute le notebook sans intervention de l’utilisateur. Par défaut, ArcGIS Notebook Server est configuré pour traiter un maximum de 10 exécutions de notebooks simultanées par machine Notebook Server. En tenant compte des ressources (processeur et RAM) disponibles sur chaque machine du site Notebook Server, un administrateur peut ajuster cette limite en modifiant la propriété système maxExecuteNotebookContainersPerNode dans Notebook Server. Les demandes de notebooks automatisés envoyées après le dépassement de cette limite seront ajoutées dans une file d’attente et exécutées une fois que le nombre d’exécutions de tâches automatisées sera retombé sous cette limite. Les tâches en file d’attente échouent si le temps d’attente dépasse le délai d’expiration.
Remarque :
Cela ne limite pas le nombre de notebooks qui sont exécutés interactivement à partir de l’éditeur de notebooks.
Vous pouvez modifier la limite maxExecuteNotebookContainersPerNode en procédant comme suit.
Remarque :
L’augmentation de la limite peut entraîner l’utilisation de ressources supplémentaires dans Notebook Server.
- Connectez-vous à votre portail ArcGIS Enterprise en tant qu’administrateur.
- Ouvrez ArcGIS Notebook Server Manager.
- Cliquez sur Settings (Paramètres) > Site
- Modifiez la valeur de la propriété maxExecuteNotebookContainersPerNode.
- Cliquez sur Save (Enregistrer).
- Lisez l’avertissement concernant le redémarrage de votre Notebook Server et cliquez sur Save and Restart (Enregistrer et redémarrer) pour enregistrer les modifications.
Nombre maximal de tâches de notebook planifiées actives par utilisateur
Chaque auteur de notebook doté du privilège Planifier des notebooks peut créer jusqu’à 20 tâches de notebook actives au maximum. Une fois cette limite atteinte, l’utilisateur ne pourra pas créer de nouvelles tâches planifiées. Une nouvelle tâche peut être créée dès lors qu’une tâche existante passe de l’état Actif à Terminé, Échec ou Inactif. Vous pouvez modifier cette limite en mettant à jour la propriété ExecuteNotebooksUserLimit à l’aide de l’opération Mettre à jour les limites système dans l’API Administrateur d’ArcGIS Enterprise.
Nombre maximal de tâches de notebook planifiées actives par organisation
Le nombre maximal de tâches de notebook planifiées actives pour une organisation est limité à 200. Cette limite représente le nombre total de tâches actives qui peuvent appartenir à tous les utilisateurs dans un portail ou une organisation. Une fois cette limite atteinte, les utilisateurs ne pourront pas créer de nouvelles tâches de notebook planifiées. Vous pouvez modifier cette limite en mettant à jour la propriété ExecuteNotebooksOrgLimit à l’aide de l’opération Mettre à jour les limites système dans l’API Administrateur d’ArcGIS Enterprise.
Nombre de résultats signalés pour une tâche planifiée
Les résultats d’une tâche sont signalés et conservés pendant 30 exécutions. Les exécutions de tâche antérieures aux 30 exécutions les plus récentes d’une tâche sont supprimées définitivement. Vous pouvez modifier cette limite en mettant à jour la propriété TaskRunHistoryCount à l’aide de l’opération Mettre à jour les limites système dans l’API Administrateur d’ArcGIS Enterprise.
Échec automatique d’une tâche
Les tâches qui échouent 5 fois de manière consécutive basculeront automatiquement à l’état Échec et ne s’exécuteront plus. Pour garantir que les tâches continuent de s’exécuter, le propriétaire de la tâche doit identifier et rectifier l’échec et basculer la tâche à l’état Actif. Vous pouvez modifier cette limite en mettant à jour la propriété FailedRunsDisableTask à l’aide de l’opération Mettre à jour les limites système dans l’API Administrateur d’ArcGIS Enterprise.
Automatiser un notebook à l’aide de webhooks
Un webhook est un mécanisme qui permet à une application de fournir à d’autres applications des informations liées aux événements. En tant qu’administrateur ArcGIS Enterprise Portal ou qu’utilisateur doté du privilège Webhooks d’organisation, vous pouvez créer, gérer et configurer des webhooks. Vous pouvez configurer des webhooks pour exécuter automatiquement un notebook dont vous êtes propriétaire lorsque des événements associés à vos éléments de portail, groupes ou utilisateurs surviennent. Votre ArcGIS Notebook Server joue le rôle de récepteur de la charge utile du webhook. Lorsqu’un webhook est déclenché, une requête HTTP est adressée à Notebook Server pour exécuter un notebook choisi sans intervention de la part de l’utilisateur.
Remarque :
Le nombre d’exécutions simultanées de notebooks via des webhooks est limité par la propriété système maxExecuteNotebookContainersPerNode dans Notebook Server.
Créer un webhook
Les webhooks peuvent être administrés sur la page Organization settings (Paramètres d’organisation) de votre portail. Procédez comme suit pour créer un webhook :
- Connectez-vous en tant qu’administrateur par défaut ou rôle personnalisé avec le privilège Webhooks d’organisation.
- Accédez à Organization (Organisation) > Settings (Paramètres) > Webhooks.
- Cliquez sur Create webhook (Créer un webhook).
- Spécifiez un nom de webhook.
Name=mynotebook_webhook
- Sélectionnez le type d’événement qui déclenchera le webhook.
Par défaut, tous les types d’événements (Éléments, Utilisateurs, Groupes et Rôles) sont pris en compte.
- Utilisez Trigger (Déclencheur) pour accepter la valeur par défaut (/) ou spécifier une ou plusieurs valeurs comme événements déclencheurs.
Events (Événements)=/éléments, /éléments/<ID d’élément>,/utilisateurs
Reportez-vous à la rubrique Événements déclencheurs pris en charge pour plus d’informations.
Pour des exemples supplémentaires, reportez-vous à la rubrique Événements déclencheurs.
- Sélectionnez le type de charge utile Notebook.
Remarque :
Si l’option Notebook n’est pas disponible, Notebook Server n’a pas été configuré avec votre portail. Si Notebook est disponible, mais impossible à sélectionner, aucun notebook disponible pour configurer des webhooks ne vous appartient. L’élément de notebook qui servira pour le webhook doit vous appartenir. - Sélectionnez le notebook qui s’exécutera au déclenchement du webhook.
- Vous pouvez aussi saisir une valeur Secret Key (Clé secrète) qui sera incluse dans la charge utile des webhooks.
Vous pouvez en outre utiliser des valeurs aléatoires et prégénérées pour la valeur Secret key (Clé secrète).
- Cliquez sur Create webhook (Créer un webhook) pour enregistrer les paramètres de webhook et créer un webhook.
Gérer les webhooks
Les webhooks peuvent être administrés sur la page Organization settings (Paramètres d’organisation) de votre portail. Procédez comme suit pour gérer les webhooks existants :
- Connectez-vous en tant qu’administrateur par défaut ou en tant que rôle personnalisé avec le privilège Webhooks d’organisation.
- Accédez à Organization (Organisation) > Settings (Paramètres) > Webhooks pour voir une liste de webhooks créés par vous et d’autres administrateurs de webhooks.
Vous pouvez gérer vos webhooks existants avec les opérations suivantes.
- Désactiver un webhook : lorsqu’un webhook est actif, cliquez sur Active (Actif). Vous êtes invité à confirmer le changement de statut. Cliquez sur Confirm (Confirmer) pour désactiver le webhook. La désactivation du webhook empêche la livraison des charges utiles lorsque le webhook est déclenché.
- Activer un webhook : lorsqu’un webhook est inactif, cliquez sur Inactive (Inactif). Vous êtes invité à confirmer le changement de statut. Cliquez sur Confirm (Confirmer) pour activer le webhook. Une fois le webhook activé, la livraison des charges utiles reprend.
- Mettre à jour un webhook : cliquez sur le bouton des options dans le webhook et sur Edit (Mise à jour) pour modifier les événements déclencheurs du webhook ou le notebook spécifié pour le webhook.
- Supprimer un webhook : cliquez sur le bouton des options dans le webhook et sur Delete (Supprimer). Cliquez sur Confirm (Confirmer) pour supprimer le webhook.
Paramètres de webhook avancés
Utilisez les paramètres de webhook avancés pour modifier des propriétés telles que le nombre de tentatives de livraison pouvant être effectuées, les notifications du temps écoulé et les propriétés d’expiration des notifications pour les webhooks. Ces paramètres avancés s’appliquent à tous les webhooks du portail. Procédez comme suit pour modifier les paramètres de webhook avancés :
- Connectez-vous en tant qu’administrateur par défaut ou en tant que rôle personnalisé avec le privilège Webhooks d’organisation.
- Accédez à Organization (Organisation) > Settings (Paramètres) > Webhooks > Advanced webhook settings (Paramètres de webhook avancés) pour modifier les valeurs par défaut des propriétés de webhook avancées.
Charge utile d'un webhook
Lorsqu'un notebook est exécuté via un webhook, les informations sur la charge utile de ce dernier sont automatiquement injectées dans le notebook dans une cellule initiale. Une fois injectées, les informations fournies sur la charge utile du webhook peuvent être utilisées dans le notebook pour d'autres processus d'automatisation.
Informations sur la charge utile d'un webhook incluses dans un notebook :{
"properties": {
"itemId": "<itemId of the current notebook>"
},
"events": [
{
"source": "items",
"id": "<itemId of the item that resulted in webhook trigger>",
"userId": "<webhook user>",
"when": \<epoch time in ms when webhook was triggered\>,
"operation": "<type of operation that resulted in webhook trigger>",
"properties": {},
"username": "<webhook username>"
}
],
"info": {
"webhookId": "<webhookId>",
"portalURL": "<public portal url>",
"webhookName": "<webhook name>",
"when": \<epoch time in ms when webhook was triggered\>,
}
}
API Execute Notebook
Les administrateurs et créateurs de notebooks peuvent également automatiser l’exécution d’un notebook sans intervention de la part de l’utilisateur à l’aide de l'opération Execute Notebook dans le répertoire administrateur d’ArcGIS Notebook Server. Lorsqu’elle est invoquée, cette opération exécute automatiquement le notebook. Toutefois, si vous utilisez votre propre script personnalisé, vous pouvez planifier son exécution automatique à une heure précise ou la répéter à intervalles réguliers. Vous pouvez également utiliser une tâche cron ou un planificateur Windows pour programmer l’exécution de l’opération Execute Notebook à une heure précise ou la répéter à intervalles réguliers.
Pour en savoir plus, reportez-vous à la rubrique Exécuter un notebook du guide de référence du répertoire administrateur.
Vous avez un commentaire à formuler concernant cette rubrique ?