Ingénieur de données senior
PROBIS est une start-up PropTech en pleine expansion, basée à Munich, qui redéfinit actuellement la gestion financière des projets immobiliers à l'échelle mondiale grâce à sa plateforme cloud, qu'il s'agisse de gratte-ciel à New York ou de mégaprojets en Arabie saoudite. Notre logiciel est techniquement sophistiqué et complexe sur le plan du contenu, mais il doit néanmoins rester simple et intuitif à utiliser pour nos utilisateurs.
Aujourd'hui, alors que nous entrons dans la phase la plus passionnante de notre croissance, nous recherchons un ingénieur de données senior pour rejoindre notre équipe.
L'ingénieur de données senior est chargé de concevoir, de mettre en œuvre et d'assurer la maintenance de solutions d'architecture de données à l'échelle de l'entreprise. Ce poste consiste à concevoir et à développer un système de data lakehouse entièrement nouveau, comprenant des pipelines d'ingestion de données, l'optimisation du stockage et des API de requête hautes performances. Le poste requiert des compétences pratiques en matière de mise en œuvre technique, associées à des compétences en conception architecturale stratégique, et le candidat doit parler anglais.
Fonctions essentielles du poste
1. Conception de l'architecture des données
o Comprendre le modèle de données PROBIS, identifier les goulots d'étranglement et les traduire en
conceptions exploitables
o Concevoir une architecture moderne de data lakehouse pour une mise en œuvre sur site vierge
o Concevoir des solutions évolutives de stockage et de traitement des données à l'aide d'Azure
écosystème et composants open source applicables
o Concevoir la meilleure pile technique pour le projet, en tenant compte de la souveraineté des données et du stockage
exigences des marchés cibles
2. Mise en œuvre technique
o Mettre en place des pipelines d'ingestion de données à partir des systèmes de bases de données Postgres existants
et intégrations
o Améliorer l'accès aux données via .NET du système Postgres existant
o Développer et valider des API de requête hautement performantes sur la base d'une conception entièrement nouvelle, permettant une augmentation exponentielle du volume de données tout en améliorant les performances
o Développer et optimiser les processus de transformation des données
o Mettre en place un système de surveillance et d'observabilité pour garantir la fiabilité de l'exploitation en temps réel
3. Intégration de systèmes
o Intégrer le data lakehouse aux systèmes d'entreprise existants
o Concevoir et mettre en œuvre des moteurs de requêtes performants pour les interfaces utilisateur
o Garantir la cohérence et la qualité des données dans l'ensemble des systèmes intégrés
4. Documentation et conformité
o Effectuer des tests de performance et de cohérence sous des charges accrues
o Recueillir des éléments de preuve et documenter l'architecture
o Garantir la conformité et accompagner les processus de certification nécessaires
Qualifications requises
Expérience
● Au moins 6 ans d'expérience en ingénierie des données
● Au moins 4 ans d'expérience pratique des services de données Microsoft Azure
● Expérience avérée dans la mise en œuvre de projets de données performants sur Azure / Postgres / Data Factory / Databricks
Compétences techniques
● Experune maîtrise approfondie de la plateforme de données Microsoft Azure (Synapse, Data Factory, bases de données SQL, Data Lake)
● Bonnes compétences en développement .NET Core
● Solides compétences en optimisation SQL et des bases de données (psql)
● Expérience des techniques et méthodologies de modélisation des données
● Idéalement, une expérience dans le domaine des solutions de données souveraines, notamment en matière d'entreposage de données basé sur Spark
● Connaissance des processus ETL/ELT et de la conception de pipelines de données
Indicateurs de réussite
● Optimisation réussie de l'accès à la base de données existante pour les requêtes problématiques
● Mise en place réussie d'un entrepôt de données partant de zéro
● Atteinte des objectifs de performance des requêtes (temps de réponse inférieurs à une seconde)
● Indicateurs de fiabilité et de disponibilité du pipeline de données
● Satisfaction des clients vis-à-vis des solutions d'architecture de données.