Construire un pipeline depuis le Workflow

En résumé

  • Le Workflow permet de visualiser et d’organiser facilement le pipeline de tâches d’une Planification

  • Seul le Propriétaire et les contributeurs de la Planification peuvent gérer le Workflow des tâches

  • Tous les Utilisateurs DC-Maestro peuvent consulter le Workflow d’une Planification Publique

  • Une fonction permet de calculer le Workflow optimal pour mettre à jour les éléments de sortie d’un Projet

  • Le nombre et le type de tâches n’est pas limité

  • Sélectionner une tâche dans le Workflow pour afficher le détail et réaliser des actions

  • Le cas échéant, une tâche est toujours exécutée après la tâche qui la précède, et uniquement en cas de succès

  • Survoler les tâche pour afficher les informations détaillées des éléments liés

  • Activer l’option d’accentuation Accentuation dans le menu du Workflow pour mettre en évidence les liens directs en amont et en aval d’une tâche

Vue Workflow

Le Workflow permet de visualiser et d’organiser facilement un pipeline de tâches.
Seul le Propriétaire et les contributeurs de la Planification peut créer, modifier et supprimer les tâches.

Les tâches peuvent être reliées entre elles pour définir l’ordre d’exécution.

Si les tâches ne sont pas reliées, DC-Maestro envoie toutes les demandes d’exécution simultanément.

task no link
Workflow -Aucune tâche n’est reliée

Si les tâches sont reliées, DC-Maestro envoie les demandes d’exécutions en fonction de l’ordre défini dans le Workflow.
Dans l’exemple ci-dessous, l’exposition sera exécutée après les 2 tâches de persistance, et seulement si celles-ci sont exécutées avec succès.

task linked
Workflow -Toutes les tâches sont reliées
Pour suivre pas à pas la création d’un Pipeline de tâches, rendez-vous sur la page du tutoriel Construire un Workflow.

Génération automatique du Workflow

La fonction de calcul automatique permet d’optimiser de manière globale les performances d’exécution pour la mise à jour des éléments de sortie d’une chaîne de traitement d’un Projet.
Elle analyse l’intégralité du Projet lié à la Planification pour déterminer les éléments de la chaîne qui doivent être persisté afin de garantir une mise à jour rapide des éléments partagés (Publications de Tableaux de bord et d’API).
Si des tâches d’Export sont déjà paramétrées dans le Workflow, elles peuvent être prisent en compte dans le calcul. La fonction de calcul automatique permet d’optimiser de manière globale les performances d’exécution pour la mise à jour des éléments de sortie d’une chaîne de traitement d’un Projet.
Elle analyse l’intégralité du Projet de la Planification pour déterminer les éléments de la chaîne qui doivent être persistés pour garantir une mise à jour rapide des éléments partagés (Publications de Tableaux de bord et d’API).
Si des tâches d’Export sont déjà paramétrées dans le Workflow, elles peuvent être prises en compte dans le calcul.

La présence de persistances en dehors des éléments calculés par DC-Maestro perturbe le bon fonctionnement de la chaîne.
Il est donc nécessaire de dépersister l’ensemble des éléments du Projet avant de commencer l’exécution du pipeline.

Tous les éléments du Projet qui peuvent être persisté ne sont pas systématiquement présents dans le Workflow généré : seuls les éléments pour lesquels une persistance permet un gain de performances sont présents.

Si aucune action de persistance n’est nécessaire seules les tâches de mise à jour des Publications de Tableau de bord et d’API seront présentes. Si aucune action de persistance n’est nécessaire, seules les tâches de mise à jour des Publications de Tableau de bord et d’API seront présentes.
Il est possible de créer le workflow d’une chaîne sans éléments de sortie présents dans le Projet (expositions ou publication) en configurant et enregistrant une tâche d’export sur un Datablock final puis en lançant le calcul automatique à partir de cette tâche.

Si le résultat du calcul automatique est vide cela peut signifier qu’aucun élément de sortie n’a été trouvé dans la chaîne (Exposition API, publications de Tableaux de bord, Tâche d’Exports) ou que vous n’avez pas les droits Datachain suffisant sur ces éléments.

Générer un calcul

Pour que le workflow généré soit cohérent par rapport au Projet il est nécessaire que l’utilisateur qui lance le calcul du Workflow possède tous les droits sur les éléments du projet. Pour que le workflow généré soit cohérent par rapport au projet, il est nécessaire que l’utilisateur qui lance le calcul du workflow possède tous les droits sur les éléments du projet.

La fonction de génération automatique du Workflow est accessible via le menu d’action.
Cliquer sur l’icon Calcul automatique . La fonction de génération automatique du Workflow est accessible via le menu d’action en cliquant sur l’icône Calcul automatique .

menu workflow maestro
Workflow -Menu d’action

Le déclenchement du calcul automatique affiche une modale de configuration qui permet ou non d’inclure les tâches d’export.

Seules les tâches d’exports enregistrées sont prises en compte dans le calcul.
generation auto wf maestro
Workflow -Modale de configuration

Dès que le calcul est terminé, le nouveau Workflow s’affiche à l’écran.
Vous devez enregistrer les modifications pour conserver le nouveau Workflow.
Pour annuler ces changements vous pouvez cliquer sur l’icon Annuler du menu du Workflow. Vous devez enregistrer les modifications pour conserver le nouveau Workflow.
Pour annuler ces changements, vous pouvez cliquer sur l’icône annuler du menu du Workflow.

Si plusieurs chaînes de traitement indépendantes (c’est-à-dire qui ne partagent aucun élément en commun) sont présentes dans le Projet, ces deux chaînes apparaissent disjointes dans le Workflow.
Vous devrez les relier entre elles dans l’interface si nécessaire.
En l’absence de lien, ces chaînes seront exécutées en parallèle.

Pour éviter les incohérences de mise à jour des données, il n’est pas recommandé de définir plusieurs Planifications sur un même Projet DataChain.
Il est préférable de dupliquer le Projet s’il contient plusieurs chaîne disjointes à automatiser et de conserver une chaîne de traitement unique dans chacun des Projets. Il est préférable de dupliquer le Projet s’il contient plusieurs chaînes disjointes à automatiser et de ne conserver qu’une seule chaîne dans chacun des Projets.

Menu Workflow

La modification des tâches et du pipeline s’effectue depuis l’onglet du Workflow.

Page Workflow avec menu
Workflow -Tâche sélectionnée avec menu
Boutons
  • Enregistrer Enregistre l’ensemble des tâches et des liens du pipeline

  • Réorganiser Réorganise l’ensemble des éléments

Menu d’actions
  • Connection impossible Annuler la dernière action (maximum 10)

  • Zoomer Zoomer / Dézoomer Dézoomer

  • Afficher Afficher / Masquer Masquer la grille

  • Verrouiller Verrouiller / Déverrouiller Déverrouiller les éléments

Le menu de droite permet d’ajouter et de modifier les tâches du Workflow.

Menu des tâches
  • Ajouter Sélection des tâches à ajouter dans le Workflow

  • Paramètres Paramètres de la tâche sélectionnée

Le paramétrage varie en fonction du type de tâche.

Pour sélectionner un élément DataChain cliquez sur Sélectionner puis sélectionner l’élément dans la liste.
Pour modifier un élément déjà sélectionné, cliquez sur l’icône Éditer

Vous pouvez voir des informations détaillées sur l’élément sélectionné dans le menu à droite.
Pour voir la page de l’élément dans DataChain, cliquez sur le numéro d’identifiant dans le cadre gris.

Survol de l’identifiant

Si vous travaillez dans DataChain dans un autre onglet, et qu’un Projet différent de celui de l’élément est déjà sélectionné, l’élément ne pourra pas être trouvé.
Dans ce cas, sélectionnez le Projet lié à la Planification puis cliquez à nouveau sur l’identifiant depuis DC-Maestro.
Si vous ne faites pas partie du Projet lié à la Planification, il ne sera pas possible de voir l’élément correspondant dans DataChain.

Si l’instance est injoignable, que l’élément DataChain est supprimé, ou si l’utilisateur ne possède pas les droits suffisants, ces informations sont inaccessibles et le message suivant s’affiche à côté de l’identifiant :

Element DataChain inaccessible

Les tâches supprimées du pipeline depuis le Workflow ne sont plus exécutées.
Une tâche supprimée est toujours visible depuis l’historique d’exécution, mais il n’est plus possible d’accéder à son journal d’exécution.