Vous rejoignez le Centre d'Expertise Databricks d'Intelli5 pour concevoir, faire approuver et piloter des plateformes Databricks de bout en bout — ingestion, Lakehouse, gouvernance, analytique et IA, en Azure ou AWS. Selon les mandats, vous travaillez directement chez nos clients ou aux côtés des équipes de Databricks.
Le Centre d'Expertise regroupe nos architectes et ingénieurs Databricks : il porte nos offres de déploiement et de migration, nos accélérateurs et notre partenariat avec Databricks. Vous en êtes un membre à part entière : vous appliquez ses pratiques dans vos mandats et vous les faites évoluer avec vos pairs, retours d'expérience, accélérateurs, normes d'architecture.
Responsabilités principales
- Définir l'architecture cible Databricks (workspaces, catalogues, zones médaillon, calcul, réseau, sécurité) et la faire approuver par les comités d'architecture.
- Concevoir et encadrer les pipelines d'ingestion et de transformation (batch, streaming, CDC) avec Lakeflow, Spark et Delta Lake, en imposant les standards de qualité, de tests et de CI/CD.
- Déployer et administrer Unity Catalog : modèle de gouvernance, contrôles d'accès fins, lignage, partage de données, conformité (Loi 25, exigences sectorielles).
- Mener des migrations vers Databricks (dbt, Snowflake, Dremio, entrepôts et lacs existants, Hadoop/Synapse) : évaluation, plan, exécution, validation.
- Concevoir les couches analytiques et IA : Databricks SQL, tableaux de bord AI/BI et Genie, MLflow, Agent Bricks, Unity AI Gateway et Databricks AI Search.
- Optimiser coûts et performance (serverless, dimensionnement, Photon, Liquid Clustering, tables système, FinOps) et instaurer l'observabilité.
- Produire la documentation d'architecture, les normes et les gabarits ; former et encadrer les ingénieurs de données.
- Livrer en collaboration directe avec les architectes et les équipes de services professionnels de Databricks lorsque le mandat le demande.
- Contribuer à l'avant-vente technique : estimation, démonstrations, preuves de concept, réponses techniques aux appels d'offres.
Compétences techniques requises: couverture globale de la plateforme
- Lakehouse et stockage (expert) : Delta Lake, architecture médaillon, Liquid Clustering, Deletion Vectors, modélisation dimensionnelle et Data Vault, Iceberg/UniForm.
- Ingénierie de données (expert) : Lakeflow Declarative Pipelines (ex-DLT), Lakeflow Connect (CDC, SaaS), Lakeflow Jobs, Spark/PySpark, Spark SQL, Structured Streaming, Auto Loader.
- Gouvernance et sécurité (expert) : Unity Catalog (catalogues, schémas, volumes, lignage, ABAC, masquage, RLS/CLS), Delta Sharing, Lakehouse Federation, Clean Rooms, SCIM/SSO, réseau privé.
- Analytique et BI (avancé) : Databricks SQL, entrepôts serverless, tableaux de bord AI/BI, Genie, Power BI/Tableau sur Databricks, metric views.
- IA et apprentissage machine (avancé) : MLflow (expériences, registre, évaluation, traçage), Agent Bricks et Custom Agents, Model Serving et Foundation Model APIs, Databricks AI Search (ex-Vector Search), Unity AI Gateway, Genie Agents, feature engineering.
- Plateforme et opérations (expert) : Azure et AWS (idéalement les deux), Terraform et Databricks Asset Bundles, CI/CD (GitHub/Azure DevOps), workspaces et comptes, Serverless compute, tables système, FinOps, observabilité.
- Applications et transactionnel (intermédiaire) : Databricks Apps, Lakebase, intégration API et événementielle.
- Migration (avancé) : dbt vers Databricks, Snowflake, Dremio, Synapse/Hadoop, outils d'évaluation et de conversion, validation et réconciliation des données.
Langages :
Python et SQL courants ; Scala un atout. Connaissance des outils voisins (dbt, Fivetran, Kafka/Event Hubs, Airflow/ADF) attendue pour les intégrations.
Expérience, certifications et profil recherché
- 5 ans et plus en ingénierie ou architecture de données, dont 3 ans et plus sur Databricks en production et 3 ans et plus en rôle d'architecte.
- Au moins deux déploiements de plateforme Databricks menés de bout en bout, dont une migration (Unity Catalog, Snowflake, dbt ou équivalent).
- Expérience en environnement d'entreprise à forte exigence de gouvernance (finance, assurance, secteur public ou grande entreprise) un atout.
- Databricks Certified Data Engineer Professional, atout (etre pret a la passer si la personne ne l'a pas).
- Databricks Certified Generative AI Engineer Associate ou Machine Learning Professional (atout).
- Databricks Certified Data Analyst Associate ou Platform Administrator (atout).
- Microsoft Azure Solutions Architect Expert ou AWS Solutions Architect Professional (atout).
Compétences relationnelles, langue et conditions
- Capacité à présenter et défendre une architecture devant des directions TI, des comités d'architecture et des équipes de sécurité.
- Leadership technique : encadrement d'équipes de 3 à 8 ingénieurs, revues de code et d'architecture, transfert de connaissances.
- Autonomie en contexte multi-intervenants (client, Databricks, fournisseur infonuagique, Intelli5).
- Français professionnel requis ; anglais professionnel requis pour les mandats avec Databricks et hors Québec.
#J-18808-Ljbffr
Senior Data Architect in Montréal employer: Intelli5
Intelli5 is an exceptional employer that fosters a collaborative and innovative work culture, making it an ideal place for professionals seeking to make a meaningful impact in the technology sector. With a strong emphasis on employee growth and development, team members are encouraged to enhance their skills through various training opportunities while working on complex projects for a prestigious financial client. Located in a vibrant area, Intelli5 offers a dynamic environment where employees can thrive both personally and professionally.
