Si vous exploitez encore des jobs et transformations Pentaho Data Integration (PDI, ex-Kettle), la question se pose : rester, ou passer à Apache Hop ? Voici les éléments pour décider.
D’où vient Apache Hop
Apache Hop est né en 2019 d’un fork de Kettle, mené par une partie de l’équipe d’origine. Le projet a rejoint l’incubateur Apache en 2020 et est devenu projet de premier niveau de la fondation fin 2021. La version 2 a profondément remanié l’outil : projets et environnements natifs, métadonnées séparées, moteur Beam, interface repensée.
Ce qui change concrètement
- Projets et environnements : là où PDI reposait sur kettle.properties et des variables globales, Hop isole chaque projet et permet de définir des environnements (dev, recette, prod) sans dupliquer les flux.
- Métadonnées : connexions, schémas et configurations d’exécution vivent dans un dossier
metadata/en JSON, lisible et versionnable. - Vocabulaire : les steps deviennent des transforms, les jobs des workflows, les fichiers .ktr/.kjb des .hpl/.hwf.
- Exécution : local, Hop Server, ou Apache Beam (Spark, Flink, Dataflow) avec le même pipeline.
- Tests : les tests unitaires de pipelines sont intégrés à l’outil.
Ce que vous gagnez
Une licence Apache 2.0 sans édition « entreprise » bridée, un projet actif et une communauté qui répond, des fichiers propres à relire en revue de code, et une trajectoire vers le traitement distribué sans réécriture.
Comment migrer sans risque
Hop fournit un outil d’import qui convertit les fichiers PDI. Il fait l’essentiel du travail, mais chaque flux migré doit être audité : certains plugins n’ont pas d’équivalent, quelques comportements diffèrent. La démarche qui fonctionne : inventorier, importer, tester en parallèle (mêmes entrées, comparaison des sorties), basculer progressivement.
C’est exactement le programme de notre formation Migrer de Pentaho Data Integration vers Apache Hop, que nous recommandons en intra-entreprise pour travailler sur vos propres flux.