Le présent appel d'offre a pour objet la sélection d'un Data Engineer Senior afin d'accompagner le pôle Data Services de notre client secteur transport public dans la conception, l'industrialisation et l'évolution de ses solutions data.***Concevoir, développer et optimiser des pipelines de données à grande échelle***Mettre en œuvre des flux batch, streaming et ingestion via API***Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold)***Développer et industrialiser les pipelines via DBT , Spark et Iceberg***Contribuer à l'évolution de l'architecture Lakehouse
Livrables***Déployer et maintenir les pipelines dans un environnement cloud ( AWS ou équivalent)***Orchestrer les workflows ETL/ELT via Airflow***Mettre en œuvre l'Infrastructure as Code ( Terraform Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes)***Garantir la disponibilité, la supervision et l'observabilité des traitements***Participer à la gestion des incidents et à l'amélioration continue***Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés)***Documenter les architectures, pipelines et règles métier***Garantir la conformité des flux, notamment dans le cadre RGPD
Description du profil 8 années minimum d'expérience en Data Engineering***Une maîtrise avancée des architectures Big Data et Lakehouse***Expertise réelle sur Spark , DBT , Iceberg , AWS et Terraform***Maîtrise des services AWS (Glue, EMR, S3 Connaissance de Trino/Starburst, Datadog***Forte capacité d'analyse, rigueur, autonomie et culture de l'amélioration continue