Export de DataBlocks
Introduction
Les jeux de données issus des DataBlocks peuvent être exportés vers les différents Connecteurs (serveurs distants ou base de données) du Projet sélectionné ou des Projets publics ou téléchargé vers votre poste de travail (via le Connecteur local).
L’export peut être réalisé depuis :
-
la liste des DataBlocks, au clic sur l’icône d’export
-
la page d’un DataBlock, au clic sur l’icône du menu, sous menu "Exporter"
Il est possible de charger un Modèle d’export pour remplir automatiquement le formulaire de configuration de l’export, et de paramétrer un export personnalisé.
Exporter un DataBlock
Il est possible de réaliser un export soit depuis la liste des DataBlock, soit depuis le menu d’action du DataBlock.
Vous pouvez utiliser un modèle d’export afin de remplir le formulaire de paramétrage automatiquement.
| La durée de l’export varie en fonction des paramètres et du volume des données exportées. |
Modèle d’export
Vous pouvez sélectionner un modèle d’export pour remplir automatique le formulaire d’export.
Seuls les modèles liés à des connecteurs auxquels vous avez accès sont disponibles.
Il est possible de modifier le formulaire ou de cliquer immédiatement sur Exporter.
Paramètres généraux
-
Connecteur : Connecteur utilisé pour réaliser l’export.
Seuls les Connecteurs sur lesquels l’utilisateur connecté possède les droits suffisants sont disponibles dans la liste. Tous les Connecteurs du Projet courant et des Projets publics dont l’utilisateur est membre sont disponibles dans la liste, hormis les Connecteurs de type HTTP.
Le Connecteur "Local" permet d’exporter les données localement et de les télécharger ensuite. -
Format de sortie : Format du fichier d’export
Cette option n’est disponible que pour les Connecteurs autorisant un export de type fichier (CSV, Parquet, Json, XML, Excel).
Configuration
La configuration et les paramètres d’écriture dépendent du type de Connecteur et du format de sortie sélectionnés.
La section Configurer un export détaille les options disponibles.
Paramètres d’écriture
Il est possible de configurer un chemin ou un nom de fichier dynamiquement ou de le définir manuellement.
L’option uuid génère automatique un identifiant unique lors de l’export.
Chemin et nom de fichier dynamique
Il est possible de générer le chemin et/ou le nom de fichier dynamiquement lors de l’export.
Pour cela, utilisez les éléments du langage disponibles dans les champs chemin/fichier afin de créer un pattern d’écriture.
| Élément de langage | Detail | Exemple |
|---|---|---|
%uuid |
Génération d’un nom unique |
475cf59e-990d-48bc-9df0-1ff4e43227e4 |
%date |
Informations temporelles de date/heure (1). Par défaut, l’heure est YYYY-MM-DD |
2023-10-30 |
%date{yyyy-MM-dd_HH-mm} |
Informations temporelles de date/heure (1) formatés selon le masque d’écriture défini |
2023-10-30_16-17 |
%dbcode |
Code du DataBlock (unique et stable dans le temps) |
LIBELLE_DATABLOCK_5678 |
%dblabel |
Libellé du DataBlock |
Mon DataBlock |
%projectcode |
Code du projet (unique et stable dans le temps) |
MON_PROJET_9123 |
%projectlabel |
Libellé du Projet |
Mon Projet |
(1) Les dates et heures générées sont les heures universelles, impliquant donc un décalage horaire de 1 ou 2 heures par rapport à l’heure de Paris par exemple
Options par type de Connecteur
Exporter en local
Le Connecteur Local DataChain permet de réaliser des exports de type fichier téléchargeable sur votre poste de travail.
Il ne permet pas de spécifier de chemin : une fois le fichier généré, vous pouvez télécharger le fichier : il sera stocké selon les paramètres de votre navigateur.
Le paramétrage de l’export varie selon le format de sortie du fichier sélectionné.
| Champs | Detail | CSV | XML | JSON | PARQUET | EXCEL |
|---|---|---|---|---|---|---|
Conserver les libellés d’origine |
Cocher pour conserver les libellés des colonnes du DataBlock |
|
|
|
|
|
Compresser |
Cocher pour compresser le fichier (ZIP) afin de diminuer le volume final |
|
|
|
|
|
Encodage |
Format dans lequel les caractères Unicodes sont encodés |
|
||||
Séparateur |
Caractère utilisé pour séparer les différentes valeurs |
|
||||
Identificateur de chaines de caractères (1) |
Caractère ajouté autour d’une valeur de type chaîne de caractère dans le cas où le caractère utilisé comme séparateur est présent dans la valeur |
|
||||
Sur toutes les chaines de caractères |
Si coché, l’identificateur est ajouté sur toutes les chaînes de valeurs de type chaîne de caractère. |
|
||||
Caractère d’échappement (1) |
Caractère ajouté devant les caractères identiques à l’identificateur lorsqu’ils sont contenus dans les valeurs |
|
||||
Garder les blancs à gauche / à droite |
Cocher pour préserver les espaces situés autours des valeurs (par défaut seuls les espaces entre les valeurs d’une même cellule sont conservés) |
|
||||
Exporter les entêtes |
Sélectionner pour créer une ligne d’entête |
|
|
|||
Nombre de partitions |
Nombre de fichiers à générer (à privilégier pour les exports de volume important) |
|
|
|
|
|
Tags de racine et de ligne |
Texte à utiliser dans les balises (par défaut ROWS et ROW) |
|
||||
Coordonnées de la cellule |
Cellule cible à partir de laquelle débute d’écriture des données |
|
||||
Libellé du fichier |
Valeur utilisée comme nom de fichier (UID ou valeur spécifiée) |
|
|
|
|
|
(1) Exemple d’usage du caractère d’échappement sur l’identificateur
-
Valeur en entrée : Ceci est "un exemple"
-
Valeur en sortie : "Ceci est \"un exemple\""
Exporter vers un serveur distant
Les Connecteurs de type serveur distant permettent de réaliser des exports de type fichier.
Les connecteurs de type S3 suppriment et remplacent automatiquement les données.
Le paramétrage de l’export varie selon le format de sortie du fichier sélectionné.
| Champs | Detail | CSV | XML | JSON | PARQUET | EXCEL |
|---|---|---|---|---|---|---|
Conserver les libellés d’origine |
Cocher pour conserver les libellés des colonnes du DataBlock |
|
|
|
|
|
Compresser |
Cocher pour compresser le fichier (ZIP) afin de diminuer le volume final |
|
|
|
|
|
Encodage |
Format dans lequel les caractères Unicodes sont encodés |
|
||||
Séparateur |
Caractère utilisé pour séparer les différentes valeurs |
|
||||
Identificateur de chaines de caractères (1) |
Caractère ajouté autour d’une valeur de type chaîne de caractère dans le cas où le caractère utilisé comme séparateur est présent dans la valeur |
|
||||
Sur toutes les chaines de caractères |
Si coché, l’identificateur est ajouté sur toutes les chaînes de valeurs de type chaîne de caractère. |
|
||||
Caractère d’échappement (1) |
Caractère ajouté devant les caractères identiques à l’identificateur lorsqu’ils sont contenus dans les valeurs |
|
||||
Garder les blancs à gauche / à droite |
Cocher pour préserver les espaces situés autours des valeurs (par défaut seuls les espaces entre les valeurs d’une même cellule sont conservés) |
|
||||
Exporter les entêtes |
Sélectionner pour créer une ligne d’entête |
|
|
|||
Nombre de partitions |
Nombre de fichiers à générer (à privilégier pour les exports de volume important) |
|
|
|
|
|
Tags de racine et de ligne |
Texte à utiliser dans les balises (par défaut ROWS et ROW) |
|
||||
Coordonnées de la cellule |
Cellule cible à partir de laquelle débute d’écriture des données |
|
||||
Chemin |
Emplacement des données dans le serveur (utiliser la loupe située en bout de ligne pour explorer et sélectionner le dossier.) |
|
|
|
|
|
Libellé du fichier |
Valeur utilisée comme nom de fichier (UID ou valeur spécifiée) |
|
|
|
|
|
Exporter vers une base de données
Les Connecteurs de type Base de données (SQL, NoSQL ou Base Graphe) permettent des exports de type écriture de données.
Les Connecteurs Base Graphe (NEO4J) ne permettent pas de spécifier de schema.
Le paramétrage de l’export varie selon le type de la base de donnée et le mode d’écriture sélectionné.
| Champs | Detail | SQL | NOSQL | Base Graphe (NEO4J) |
|---|---|---|---|---|
Conserver les libellés d’origine (2) |
Cocher pour conserver les libellés des colonnes du DataBlock. Décocher pour utiliser les codes normalisés des colonnes. |
|
|
|
Schéma |
Libellé du schéma le cas échéant |
|
||
Cible |
Libellé de la cible (UID ou valeur spécifiée) |
|
|
|
Noeud |
Libellé du nœud (uniquement pour l’option "Ecraser") |
|
||
Mode d’écriture |
Précise le comportement de l’export dans la base de données (Ajouter / Remplacer) |
|
|
|
(2) 
Attention, si cette option est choisie lors d’un export vers des bases de données, certains caractères spéciaux peuvent entraîner une erreur lors de l’export.
Quick Référence
Réalisation d’un export
| Étapes | Objectif | Action | Repères |
|---|---|---|---|
1 |
Accès au module GenericsData |
Clic sur icône dans menu Gauche de DataChain |
|
2 |
Accès à la liste des DataBlocks |
Clic sur icône DataBlocks |
|
4 |
Recherche du DataBlock |
Utilisation des fonctions de recherche disponibles |
|
5 |
Accès à la fonction Export |
Clic sur l’icône |
|
6 |
Fenêtre surgissante Export |
Saisie des paramètres d’Export |
|
7 |
Réalisation de l’export |
Bouton Exporter |
