At a Glance
- Tasks: Evaluate and enhance AI systems for performance and reliability in complex business environments.
- Company: Join Systematix, a leader in strategic AI projects with a collaborative team.
- Benefits: Comprehensive benefits package including health insurance, employee assistance, and vacation time.
- Other info: Opportunities for both permanent employees and incorporated freelancers.
- Why this job: Make a real impact on innovative AI solutions while working with top experts in the field.
- Qualifications: Experience in AI quality assurance, evaluation, and incident analysis required.
The predicted salary is between 82800 - 101200 $ per year.
Systematix est à la recherche d’un(e) Spécialiste en évaluation et assurance de l’intelligence artificielle pour contribuer à des initiatives stratégiques en IA et participer à l’amélioration continue de solutions innovantes déployées dans des environnements d’affaires complexes. Vous jouerez un rôle clé dans l’évaluation, la validation et l’amélioration de la qualité des systèmes d’intelligence artificielle afin d’assurer leur performance, leur fiabilité et leur maîtrise opérationnelle.
Vos responsabilités
- Concevoir, maintenir et enrichir les jeux d’évaluation, les cas d’essai et les ensembles de référence utilisés pour mesurer la performance des solutions d’IA;
- Réaliser des évaluations automatisées et humaines avant le déploiement et en production;
- Effectuer des essais de robustesse et des tests adverses afin d’identifier les risques, les comportements indésirables et les signaux critiques manqués;
- Mesurer et analyser la qualité des réponses générées par les systèmes d’IA;
- Suivre les taux de correction humaine, d’escalade et les indicateurs de qualité opérationnelle;
- Analyser les incidents liés à l’IA et contribuer à la mise en place de mesures correctives;
- Produire des rapports d’évaluation rigoureux distinguant clairement les faits observés, les hypothèses et les éléments à valider;
- Participer à l’amélioration continue des règles d’affaires, des invites (prompts), des mécanismes de contrôle et des garde-fous.
Profil recherché
- Vous possédez une expérience pertinente dans plusieurs des domaines suivants :
- Assurance qualité de solutions d’intelligence artificielle;
- Évaluation de modèles d’IA ou d’IA générative;
- Élaboration de scénarios de tests et de protocoles d’évaluation;
- Analyse de résultats, métriques de performance et indicateurs de qualité;
- Validation de systèmes automatisés;
- Gestion et analyse d’incidents;
- Amélioration continue et contrôle qualité.
Niveau de français avancé, tant à l'oral qu'à l'écrit. Permis de travail valide permettant de travailler au Canada.
Atouts
- Expérience avec des solutions d’IA générative ou des grands modèles de langage (LLM);
- Connaissance des enjeux liés à l’IA responsable, à la gouvernance ou à la gestion des risques.
Pourquoi joindre Systematix?
En vous joignant à Systematix, vous intégrerez une équipe reconnue pour son expertise et sa contribution à des projets stratégiques auprès de grandes organisations canadiennes. Pour les employés permanents admissibles, nous offrons un programme complet d'avantages sociaux, comprenant notamment :
- Assurance collective (soins médicaux, dentaires, vie et invalidité);
- Programme d'aide aux employés et à leur famille;
- Congés et vacances;
Systematix accueille également les candidatures de consultants incorporés souhaitant réaliser leur mandat à titre de pigiste.
Spécialiste en évaluation et assurance de l'IA in Montréal employer: Systematix
At Systematix, we pride ourselves on being an exceptional employer that fosters a collaborative and innovative work culture. Our hybrid contract role for a DevSecOps Specialist not only offers competitive compensation but also provides opportunities for professional growth and development within the dynamic field of technology. With a focus on operational excellence and a commitment to employee well-being, working with us means being part of a team that values your expertise and encourages you to unlock your full potential.
