Documentation Dc-Maestro
À qui s’adresse DC-Maestro ?
DC-Maestro s’adresse en particulier à tous les utilisateurs DataChain membres d’un Projet, qui souhaitent orchestrer et automatiser l’exécution de tâches DataChain.
Quel apport pour les processus de traitement des données ?
DC-Maestro permet de passer le traitement de données en production et de s’inscrire dans une démarche DataOps : les données utilisées et les traitements effectués sont mis à jour automatiquement à une fréquence choisie.
Comment fonctionne DC-Maestro ?
DC-Maestro permet de référencer une ou plusieurs instance(s) DataChain (partageant le même SSO) et de créer des Planifications.
Une Planification regroupe un ensemble de tâches, appelé pipeline.
Différentes tâches permettent de planifier des traitements à effectuer sur des jeux de données issus de DataChain, telle qu’une Persistance de DataBlock.
Les tâches du pipeline peuvent être ordonnancées à partir d’un Workflow et s'exécuter automatiquement à une fréquence définie.
Chaque exécution de tâche génère un statut et un journal d’exécution qui permettent d’assurer le suivi et la bonne exécution des tâches.
Principales fonctionnalités de DC-Maestro
Orchestration
Gérez et orchestrez des pipelines de tâches complexes de façon intuitive à partir de la vue Workflow.
Sélectionnez un Projet DataChain puis ajoutez et connectez un nombre illimité de tâches à exécuter. Ordonnancez les tâches pour qu’elle s’exécutent dans l’ordre que vous avez défini depuis la vue Workflow.
Automatisation
Définissez la fréquence d’exécution de vos Planifications en fonction de vos besoins : chaque jour à une heure précise, une fois par mois, toutes les heures…
Exécutez les Planifications quand vous en avez besoin, en dehors de la fréquence définie et mettez en pause l’automatisation quand vous le souhaitez.
Suivi d’exécution
Accédez en un clic au journal des tâches afin de résoudre les problèmes d’exécution de tâches.
Suivez l’évolution de vos pipelines grâce l’historique d’exécution des Planifications.
Multi-instances
Référencez l’ensemble de vos instances DataChain qui partagent le même gestionnaire de comptes utilisateurs (SSO).
Chaque instance référencée à DC-Maestro peut être sélectionnée comme Instance de travail et permet d’accéder à l’ensemble des Projets et aux éléments DataChain à orchestrer.