Apache Hop — Perfectionnement et industrialisation

Objectifs

• Concevoir des pipelines résilients et maintenables
• Mettre en place logging, métriques et alertes
• Déployer et ordonnancer sur Hop Server
• Automatiser les tests dans une chaîne d’intégration continue

Programme

Jour 1 — Robustesse et qualité

• Gestion des erreurs : error handling par transform, reprise, rejets
• Journalisation et métriques : niveaux de log, tables d’audit, pipeline log et workflow log
• Tests unitaires de pipelines : jeux d’entrée, sorties attendues, exécution des tests
• Bonnes pratiques de structuration : sous-pipelines, réutilisation, conventions de nommage
• Performance : lecture par lots, parallélisme, tuning des transforms

Jour 2 — Déploiement et exploitation

• Hop Server : installation, exécution distante, API REST, sécurité
• Conteneurisation avec les images Docker officielles
• Ordonnancement : cron, Apache Airflow, ordonnanceurs d’entreprise
• Intégration continue : tests et déploiement automatiques avec GitLab CI ou GitHub Actions
• Supervision et alertes, gestion des environnements et des secrets
• Atelier de synthèse : mise en production d’un projet complet