HOP-401

Apache Hop à l’échelle avec Apache Beam

Exécuter les mêmes pipelines sur Spark, Flink ou Google Dataflow via le moteur Apache Beam, sans les réécrire.

Expert

Objectifs

  • Comprendre le modèle d’exécution Beam et ses runners
  • Configurer l’exécution d’un pipeline Hop sur Spark, Flink ou Dataflow
  • Concevoir des traitements batch et streaming compatibles Beam
  • Identifier les limites et les transforms non supportés

Programme

  • Apache Beam : modèle unifié batch et streaming, runners, portabilité
  • Pipeline run configurations Beam dans Hop : Direct, Spark, Flink, Dataflow
  • Transforms Beam spécifiques : entrées et sorties fichiers, BigQuery, Kafka, Pub/Sub
  • Fenêtrage, déclencheurs et traitement en continu avec Kafka
  • Transforms compatibles, transforms à éviter, contournements
  • Déploiement, suivi d’exécution et optimisation des coûts
  • Atelier : exécution d’un même pipeline en local puis sur un runner distribué

Un projet Apache Hop ? Parlons-en.

Devis et programme détaillé sous 48 h ouvrées. Financement OPCO accompagné.

Demander un devis