Export de DataBlocks
Introduction
Les jeux de données issus des DataBlocks peuvent être exportés vers les différents Connecteurs (serveurs distant ou base de donnée) du Projet sélectionné ou des Projets publics, ou téléchargé vers votre poste de travail (via le Connecteur local).
L’export peut être réalisé depuis
-
la liste des DataBlocks, au clic sur l’icône d’export
-
la page d’un DataBlock, au clic sur l’icône du menu, sous menu "Exporter"
Le formulaire de configuration de l’export permet de chercher un Modèle d’export à appliquer ou de paramétrer un export personnalisé.
Les options disponibles dépendent du Connecteur et du format de sortie sélectionnés.
Exporter les données d’un DataBlock
Format et options d’export disponibles
Différents types d’exports sont disponibles en fonction du type du Connecteur choisi
| Type de connecteur | CSV | XML | JSON | PARQUET | EXCEL | ÉCRITURE DE DONNEES |
|---|---|---|---|---|---|---|
Local (sur votre poste de travail) |
|
|
|
|
|
|
Serveur distant (HDFS, S3 et SFTP) |
|
|
|
|
|
|
BDD |
|
Exemple : Paramétrage d’un export CSV utilisant un connecteur Local à partir d’un modèle d’export
-
Modèle : Recherche d’un modèle d’export à charger pour réaliser cet export.
Vous pouvez voir et sélectionner uniquement les modèles liés à des connecteurs auxquels vous avez accès. -
Connecteur : Choix du Connecteur qui va être utilisé pour réaliser l’export. Les Connecteurs proposés correspondent à ceux qui ont été créés et paramétrés dans le module Connecteurs de GenericsData.
Le Connecteurs Local présent dans DataChain permet d’exporter les données localement.
La plupart des connecteurs paramétrés dans la fonction connecteurs de GenericsData sont consommables dans la fonction export.
La liste des connecteurs proposés prend en compte les droits utilisateurs : seuls les connecteurs autorisés pour l’utilisateur en cours sont visibles. -
Format : Définit le format de l’export
Cette option n’est disponible que pour les Connecteurs autorisant un export de type fichier (Csv, Parquet, Json, XML, Excel).
Une fois le paramétrage effectué, clique sur "Exporter".
| La durée de l’export varie en fonction des paramètres et du volume des données exportées. |
Exporter avec le Connecteur Local DataChain
Le Connecteur Local DataChain permet de réaliser des exports de type fichier.
Le Connecteur "Local" ne permet pas de spécifier de chemin : une fois le fichier généré, vous pourrez télécharger le fichier : il sera stocké selon les paramètres de votre navigateur.
Le paramétrage de l’export varie selon le format de sortie du fichier sélectionné.
| Champs | Detail | CSV | XML | JSON | PARQUET | EXCEL |
|---|---|---|---|---|---|---|
Conserver les libellés d’origine |
Cocher pour conserver les libellés des colonnes du DataBlock |
|
|
|
|
|
Compresser |
Cocher pour compresser le fichier (ZIP) afin de diminuer le volume final |
|
|
|
|
|
Encodage |
Format dans lequel les caractères Unicodes sont encodés |
|
||||
Séparateur |
Caractère utilisé pour séparer les différentes valeurs |
|
||||
Identificateur de chaines de caractères (1) |
Caractère ajouté autour d’une valeur de type chaîne de caractère dans le cas où le caractère utilisé comme séparateur est présent dans la valeur |
|
||||
Sur toutes les chaines de caractères |
Si coché, l’identificateur est ajouté sur toutes les chaînes de valeurs de type chaîne de caractère. |
|
||||
Caractère d’échappement (1) |
Caractère ajouté devant les caractères identiques à l’identificateur lorsqu’ils sont contenus dans les valeurs |
|
||||
Garder les blancs à gauche / à droite |
Cocher pour préserver les espaces situés autours des valeurs (par défaut seul les espaces entre les valeurs d’une même cellule sont conservés) |
|
||||
Exporter les entêtes |
Sélectionner pour créer une ligne d’entête |
|
|
|||
Nombre de partitions |
Nombre de fichiers a générer (à privilégier pour les exports de volume important) |
|
|
|
|
|
Tags de racine et de ligne |
Texte à utiliser dans les balises (par défaut ROWS et ROW) |
|
||||
Coordonnées de la cellule |
Cellule cible à partir de laquelle débute d’écriture des données |
|
||||
Libellé du fichier |
Valeur utilisée comme nom de fichier (UID ou valeur spécifiée) |
|
|
|
|
|
(1) Exemple d’usage du caractère d’échappement sur l’identificateur
-
Valeur en entrée : Ceci est "un exemple"
-
Valeur en sortie : "Ceci est \"un exemple\""
Exporter vers un serveur distant
Les Connecteurs de type serveur distant permettent de réaliser des exports de type fichier.
Les connecteurs de type S3 suppriment et remplacent automatiquement les données.
Le paramétrage de l’export varie selon le format de sortie du fichier sélectionné.
| Champs | Detail | CSV | XML | JSON | PARQUET | EXCEL |
|---|---|---|---|---|---|---|
Chemin |
Emplacement des données dans le serveur (utiliser la loupe située en bout de ligne pour explorer et sélectionner le dossier.) |
|
|
|
|
|
Conserver les libellés d’origine |
Cocher pour conserver les libellés des colonnes du DataBlock |
|
|
|
|
|
Compresser |
Cocher pour compresser le fichier (ZIP) afin de diminuer le volume final |
|
|
|
|
|
Encodage |
Format dans lequel les caractères Unicodes sont encodés |
|
||||
Séparateur |
Caractère utilisé pour séparer les différentes valeurs |
|
||||
Identificateur de chaines de caractères (1) |
Caractère ajouté autour d’une valeur de type chaîne de caractère dans le cas où le caractère utilisé comme séparateur est présent dans la valeur |
|
||||
Sur toutes les chaines de caractères |
Si coché, l’identificateur est ajouté sur toutes les chaînes de valeurs de type chaîne de caractère. |
|
||||
Caractère d’échappement (1) |
Caractère ajouté devant les caractères identiques à l’identificateur lorsqu’ils sont contenus dans les valeurs |
|
||||
Garder les blancs à gauche / à droite |
Cocher pour préserver les espaces situés autours des valeurs (par défaut seul les espaces entre les valeurs d’une même cellule sont conservés) |
|
||||
Exporter les entêtes |
Sélectionner pour créer une ligne d’entête |
|
|
|||
Nombre de partitions |
Nombre de fichiers a générer (à privilégier pour les exports de volume important) |
|
|
|
|
|
Tags de racine et de ligne |
Texte à utiliser dans les balises (par défaut ROWS et ROW) |
|
||||
Coordonnées de la cellule |
Cellule cible à partir de laquelle débute d’écriture des données |
|
||||
Libellé du fichier |
Valeur utilisée comme nom de fichier (UID ou valeur spécifiée) |
|
|
|
|
|
Exporter vers une base de données
Les Connecteurs de type Base de données (SQL, NoSQL ou Base Graphe) permettent des exports de type écriture de données.
Les Connecteurs Base Graphe (NEO4J) ne permettent pas de spécifier de schema.
Le paramétrage de l’export varie selon le type de la base de donnée et le mode d’écriture sélectionné.
| Champs | Detail | SQL | NOSQL | Base Graphe (NEO4J) |
|---|---|---|---|---|
Conserver les libellés d’origine (2) |
Cocher pour conserver les libellés des colonnes du DataBlock. Décocher pour utiliser les codes normalisé des colonnes. |
|
|
|
Schéma |
Libellé du schéma le cas échéant |
|
||
Cible |
Libellé de la cible (UID ou valeur spécifiée) |
|
|
|
Noeud |
Libellé du noeud (uniquement pour l’option "Ecraser") |
|
||
Mode d’écriture |
Précise le comportement de l’export dans la base de données (Ajouter / Remplacer) |
|
|
|
(2) 
Attention, si cette option est choisie lors d’un export vers des bases de données, certains caractères spéciaux peuvent entraîner une erreur lors de l’export.
Quick Référence
Réalisation d’un export
| Étapes | Objectif | Action | Repères |
|---|---|---|---|
1 |
Accès au module GenericsData |
Clic sur icône dans menu Gauche de DataChain |
|
2 |
Accès à la liste des DataBlocks |
Clic sur icône DataBlocks |
|
4 |
Recherche du DataBlock |
Utilisation des fonctions de recherche disponibles |
|
5 |
Accès à la fonction Export |
Clic sur l’icône |
|
6 |
Fenêtre surgissante Export |
Saisie des paramètres d’Export |
|
7 |
Réalisation de l’export |
Bouton Exporter |
