Développeur·euse QA, Assistant IA in Montréal

Chez Poka, nous changeons la façon dont les équipes industrielles du monde entier travaillent — en captant le savoir de leurs meilleurs employés et en le mettant entre les mains de chaque opérateur. Notre plateforme pour travailleurs connectés est conçue spécifiquement pour le secteur manufacturier et l'industrie au sens large, avec une IA industrielle intégrée au cœur du quart de travail.

Aperçu du poste

Notre équipe développe l'assistant IA intégré à Poka. Les travailleurs et les superviseurs l'utilisent chaque jour sur les planchers de production. On le construit avec des prompts, des outils, de la récupération d'information (retrieval) et des agents. En tant que spécialiste en assurance qualité (QA) dans cette équipe, tu t'assures que ce qu'on livre fonctionne : les réponses de l'assistant et les fonctionnalités qui l'entourent. Tu le fais avec l'automatisation, l'IA et des outils que tu construis, pas avec des tests manuels.

En quoi c'est différent de la QA traditionnelle

• Aucune passe de tests manuels. Si quelque chose doit être vérifié plus d'une fois, tu l'automatises, avec du code, de l'IA ou l'outil qui convient.
• Une grande partie de ce que tu testes n'a pas de réponse unique. Une même question peut recevoir 50 bonnes réponses formulées différemment.
• Tu écris du Python chaque semaine.
• Automatiser la QA des fonctionnalités de l'équipe et construire les outils qui la facilitent.
• Construire et maintenir des suites d'evals à partir de l'utilisation réelle.
• Définir avec l'équipe ce qu'est une bonne réponse pour nos utilisateurs.
• Exécuter des vérifications de régression dans le CI chaque fois qu'on modifie un prompt, un outil, le retrieval ou la version du modèle Claude.
• Passer en revue de vraies conversations et regrouper les échecs par tendances.
• Contribuer aux tests adverses.
• Faire des tests exploratoires sur les fonctionnalités qui changent ce que l'assistant peut décider ou faire.
• Participer aux lancements de fonctionnalités pour aider à définir les critères d'acceptation.

Qualifications

• AEC, DEC ou BAC dans un domaine lié au poste, ou expérience équivalente.
• De 2 à 4 ans d'expérience pertinente.
• Un parcours en automatisation des tests ou comme SDETT.
• À l'aise avec plusieurs langages de programmation, dont Python et TypeScript.
• Une vraie curiosité pour le comportement des LLM et les raisons de leurs échecs.
• Curiosité pour l'univers de nos utilisateurs.

Atouts

• Expérience avec des outils d'IA pour accélérer les tests.
• Notions de base en statistiques.
• Expérience en tests de sécurité ou en tests adverses.
• Connaissance de la pyramide des tests et de l'approche shift-left.
• Connaissance de Jira.

Nous croyons fermement que la passion pour les nouvelles technologies, une attitude positive et un véritable esprit d'équipe sont essentiels pour réussir chez Poka. Un environnement de travail dynamique et collaboratif; Politique de vacances généreuse dès ton arrivée; Mode hybride - Les employé.es qui habitent dans un rayon de 40 km de notre bureau de Québec ou de 15 km de notre bureau de Montréal doivent travailler au bureau deux jours par semaine; Travail 100 % à distance si vous ne résidez pas dans les rayons mentionnés ci-dessus; Horaire réellement flexible permettant d’adapter ton emploi du temps; Assurance collective dès ton premier jour; REER collectif avec contribution de l’employeur; MacBook Pro et une allocation de 500$ pour ton bureau à la maison lors de l'embauche; Un généreux budget annuel de formation et développement pour soutenir ta croissance.

À noter: La compréhension de l’anglais est essentielle chez Poka, car c’est la langue utilisée lors de nos réunions de compagnie et de nombreuses communications internes.

Chez Poka, nous nous engageons à favoriser l’équité, la diversité et l’inclusion dans nos pratiques d'embauche.