Notes de version

Cette page présente les informations techniques liées aux différentes versions de Datachain, les informations de migrations ainsi que les procédures exceptionnelles à appliquer lors de certains changements de version. Pour plus d’informations sur les évolutions fonctionnelles de l’application, merci de vous reporter à la page notes de version.

Version 8.7.1

Quelques migrations techniques de base de données sont effectuées lors de l’installation de la release par rapport à la précédente version. Merci de vous assurer du bon passage des patchs suite au déploiement de la nouvelle version en consultant les logs du service de migration.

Version 8.7.0

Opérations manuelles de mise à jour

Mise à jour console et marketplace

Pour les utilisateurs des versions beta de la console et de l’application marketplace, certaines opérations doivent être effectuées manuellement lors de la migration. La base de données data_view et son schéma sont remplacés par une base/schéma marketplace et certains paramètres ont été renommés pour plus de lisibilité.

La procédure de mise à jour est la suivante :

  • Procéder à l’arrêt des services hors base de données.

  • Procéder à la sauvegarde des bases de données

  • Sur la base data_view/marketplace, effectuer les commandes suivantes :

\c postgres
ALTER DATABASE data_view RENAME TO dc_marketplace;
\c dc_marketplace
ALTER SCHEMA data_view RENAME TO dc_marketplace;
UPDATE dc_marketplace.schema_changes SET checksum='-774607648' WHERE installed_rank=1;

  • Sur la base dc_console, effectuer les commandes suivantes :

\c dc_console
DELETE from dc_console.schema_changes WHERE version='1.1.1';

  • dans le fichier docker-compose de déploiement de l’application marketplace (ex data_view), renommer le nom de l’image data_view en marketplace

  • dans les fichiers d’environnement et/ou docker-compose, renommer tous les paramètres dc.app.view par dc.app.marketplace

  • Si l’URL de la base de données de la marketplace a été surchargé dans la configuration (avec le paramètre dc.app.marketplace.database.main-datasource), adapter l’URL au nouveau nom de la base de donnée. Par exemple :

dc.app.marketplace.database.main-datasource.url=jdbc:postgresql://dc-pg:5432/dc_marketplace?prepareThreshold=0&preparedStatementCacheQueries=0&defaultRowFetchSize=1000

  • Déployer l’application en version 8.7.0

Mise à jour Datachain Core

Un ou plusieurs patchs modifie(nt) la structure de la base de donnée. Merci de vérifier le passage du service de migration.

🚀 Notes techniques

De nouveaux services permettant d’interagir avec les connecteurs, les dépôts et les datablocks ont été ajoutés, modifiés ou simplifiés dans l’API DataChain pour une utilisation facilitée :

  • Duplicate project POST /service/projects/{id}/duplicate : service modifié de duplication des projets. Auparavant, le texte de consentement de l’utilisateur était à réécrire en entier et en anglais. Désormais, un booléen suffit.

  • Check a Connector connectivity POST /service/connectors/detailed/check_connection/{connectorId} : nouveau service de vérification générique des informations de connexion d’un connecteur. Le paramètre ctx y est facultatif.

  • Get a connector by ID and return it with its properties GET /service/connectors/detailed/{connectorId} : nouveau service de consultation d’un connecteur et ses propriétés via son seul identifiant. Les services équivalents imposent de fournir aussi son type.

  • View a list of depots GET /service/depots : service modifié qui retourne la liste des dépôts d’un projet et qui inclut désormais dans son retour les types des dépôts.

  • Create Extraction POST /service/depots/detailed/{depotId}/extractions : nouveau service de création générique d’une extraction dans un dépôt en utilisant son seul identifiant (sans avoir à fournir son type).

  • Get depot file preview GET /service/depots/detailed/{depotId}/remote_file/preview : nouveau service permettant de consulter les données d’un dépôt en ne disposant que de son identifiant et sans avoir à fournir.

  • exec DataBlock And Get JobKey By Element Id POST/service/datablock/exec_by_element_id : nouveau service exécutant un DataBlock pour en obtenir plusieurs données et retournant la clé de cette tâche

  • get Detailed Data By JobKey GET /service/datablock/exec/result/detailed : nouveau service utilisant la clé d’une tâche d’exécution d’un DataBlock et qui en affiche le résultat

Version 8.6.0

Un ou plusieurs patchs modifie(nt) la structure de la base de donnée. Merci de vérifier le passage du service de migration.

Nous avons procédé à un alignement des ports d’écoute des conteneurs, sur les ports associés à la supervision : Le port d’écoute de spark est désormais le 9090. Veillez à mettre à jour ce port dans le health check de Spark dans le fichier docker-compose associé ainsi que la règle Traefik potentiellement associée pour l’ouverture des flux de monitoring actuator ou dans l’outil de monitoring consommant ce service en direct. Rappel : la liste des ports se trouve ici.

🚀 Notes techniques

Intégration dans la documentation d’informations concernant :

Version 8.5.4

Pas d’informations techniques complémentaires.

Version 8.5.3

Un patch ajoute une fonction postgres supplémentaire. Il n’y a pas de modification en termes de données.

Version 8.5.2

Pas d’informations techniques complémentaires.

Version 8.5.1

Mise à jour des drivers de base de données :

Type de base donnée Version Commentaires

PostgreSQL

42.6.0

SQLServer

12.2.0

Oracle

19.22.0.0

Avec prise en compte de l’internationalisation (oraI18n)

Mysql

8.1.0

Mariadb

3.2.0

Version 8.5.0

Quelques migrations techniques de base de données sont effectuées lors de l’installation de la release par rapport à la précédente version. Merci de vous assurer du bon passage des patchs suite au déploiement de la nouvelle version en consultant les logs du service de migration.

Mise à jour des drivers de base de données :

Type de base donnée Version Commentaires

PostgreSQL

42.6.0

SQLServer

12.2.0

Oracle

19.19.0.0

Avec prise en compte de l’internationalisation (oraI18n)

Mysql

8.1.0

Mariadb

3.2.0

Version 8.4.0

Quelques migrations techniques de base de données sont effectuées lors de l’installation de la release par rapport à la précédente version. Merci de vous assurer du bon passage des patchs suite au déploiement de la nouvelle version en consultant les logs du service de migration.
Ajout de paramètres de configuration SMTP, pour effectuer cette configuration lors du déploiement plutôt que via l’interface.

Version 8.3.1/8.3.2

Pas d’informations techniques complémentaires.

Version 8.3.0

🚀 Notes techniques

Modèle de base de donnée

Quelques migrations techniques de base de données sont effectuées lors de l’installation de la release par rapport à la précédente version. Merci de vous assurer du bon passage des patchs suite au déploiement de la nouvelle version en consultant les logs du service de migration.

Version 8.2.0

🚀 Notes techniques

Lors d’une nouvelle exposition de données, les données destinées à être remplacées restent disponibles pendant la durée de l’exposition, afin de garantir un maintien de l’accès aux données.

Modèle de base de donnée

De nombreuses migrations techniques de base de données sont effectuées lors de l’installation de la release par rapport à la précédente version. Merci de vous assurer du bon passage des patchs suite au déploiement de la nouvelle version en consultant les logs du service de migration.

Les patchs mis en oeuvre pour cette migration font aussi des mises à jour de la base de données d’exposition. Merci de vous assurer de la bonne configuration des paramètres du service pg_migration. Plus d’information sur la configuration ici.