RiseMe
Poka FR logo
Poka FR Verified
["Software","Manufacturing","Industrial Automation","SaaS"]

Développeur·euse QA, Assistant IA

Québec & MontréalOnsiteFull TimePosted 22 days ago

Is this role right for you?

Upload your resume and get a skill-by-skill breakdown — see exactly where you match, where you're close, and what to highlight. Not a mystery percentage.

Get a tailored resume highlighting what this role needs.

Required skills

  • Python
  • TypeScript
  • QA Automation
  • SDET
  • LLM
  • AI Assistant
  • CI/CD
  • AWS
  • Docker
  • promptfoo

Nice to have

  • Adversarial Testing
  • Test Pyramid
  • Shift-left
  • Jira
  • B2B
  • Industrial Platforms

Role summary

Seeking a QA Automation Specialist to join an AI Assistant development team. This role focuses on automating the testing of AI features, building testing tools, and defining quality metrics for an AI assistant used on production floors. Responsibilities include developing automated tests, creating evaluation suites using real user data, defining response quality with LLM-as-judge, and performing regression and adversarial testing within the CI pipeline. Requires 2-4 years of relevant experience, proficiency in Python and TypeScript, and a strong curiosity for LLM behavior and AI testing methodologies. Experience with AI testing tools and statistical analysis is a plus.

Chez Poka, nous changeons la façon dont les équipes industrielles du monde entier travaillent — en captant le savoir de leurs meilleurs employés et en le mettant entre les mains de chaque opérateur.

Notre plateforme pour travailleurs connectés est conçue spécifiquement pour le secteur manufacturier et l'industrie au sens large, avec une IA industrielle intégrée au cœur du quart de travail, et non ajoutée par-dessus. Résultat : une performance de première ligne qui se transforme en savoir cumulatif et en impact mesurable — à chaque quart, sur chaque site, dans chaque région.

Nous sommes fiers d'accompagner des leaders mondiaux comme Nestlé, Bosch, Mars et Danone, dans plus de 3 000 sites répartis dans plus de 70 pays. Et en tant que division en forte croissance de la famille IFS, tu rejoindras une équipe dont le travail quotidien façonne directement la plateforme derrière le secteur manufacturier d'aujourd'hui.

Aperçu du poste

Notre équipe développe l'assistant IA intégré à Poka. Les travailleurs et les superviseurs l'utilisent chaque jour sur les planchers de production. On le construit avec des prompts, des outils, de la récupération d'information (retrieval) et des agents.

En tant que spécialiste en assurance qualité (QA) dans cette équipe, tu t'assures que ce qu'on livre fonctionne : les réponses de l'assistant et les fonctionnalités qui l'entourent. Tu le fais avec l'automatisation, l'IA et des outils que tu construis, pas avec des tests manuels. Tu travailles avec les devs, l'équipe produit et l'équipe design pour définir ce que « bon » veut dire, puis tu construis les evals, les tests automatisés et les outils qui le vérifient.

En quoi c'est différent de la QA traditionnelle

  • Aucune passe de tests manuels. Si quelque chose doit être vérifié plus d'une fois, tu l'automatises, avec du code, de l'IA ou l'outil qui convient.
  • Une grande partie de ce que tu testes n'a pas de réponse unique. Une même question peut recevoir 50 bonnes réponses formulées différemment, et l'assistant peut répondre autrement d'une exécution à l'autre. Tu aides à définir ce que « bon » veut dire et à le mesurer.
  • Tu écris du Python chaque semaine.

    • Si tu cherches un rôle axé sur les plans de test et les tests de régression manuels, ce n'est pas celui-ci.

    Ce dont tu seras responsable

  • Automatiser la QA des fonctionnalités de l'équipe et construire les outils qui la facilitent, y compris des moyens pour que les non-développeurs puissent ajouter des evals et en analyser les résultats.
  • Construire et maintenir des suites d'evals à partir de l'utilisation réelle : de vraies questions d'utilisateurs, le comportement attendu et les cas limites qui apparaissent en production.
  • Définir avec l'équipe ce qu'est une bonne réponse pour nos utilisateurs, rédiger des grilles d'évaluation et utiliser le LLM-as-judge quand c'est pertinent, en le calibrant sur des échantillons étiquetés par des humains.
  • Exécuter des vérifications de régression dans le CI chaque fois qu'on modifie un prompt, un outil, le retrieval ou la version du modèle Claude, en couvrant la qualité des réponses, les coûts et la rapidité. Tu construis les garde-fous, les evals et les tests qui nous disent si on donne le feu vert à une mise en production ou non.
  • Passer en revue de vraies conversations et regrouper les échecs par tendances : réponses inventées, mauvais appels d'outils, contexte manqué, ton inapproprié. Puis travailler avec les développeurs pour les transformer en correctifs.
  • Contribuer aux tests adverses : injection de prompts, fuite de données entre clients, amener l'assistant à faire des choses qu'il ne devrait pas faire.
  • Faire des tests exploratoires, dans un temps limité, sur les fonctionnalités qui changent ce que l'assistant peut décider ou faire, comme de nouveaux agents, outils ou actions, y compris vérifier que les actions restent sécuritaires quand quelque chose échoue ou est relancé.
  • Participer aux lancements de fonctionnalités pour aider à définir les critères d'acceptation, y compris ceux propres à l'IA.

    • Ce que tu apportes

  • AEC, DEC ou BAC dans un domaine lié au poste, ou expérience équivalente
  • De 2 à 4 ans d'expérience pertinente
  • Un parcours en automatisation des tests ou comme SDET
  • Tu es à l'aise avec plusieurs langages de programmation, dont Python et TypeScript
  • Une vraie curiosité pour le comportement des LLM et les raisons de leurs échecs
  • Tu es à l'aise pour juger la qualité quand il n'y a pas de réponse unique, et pour expliquer ton raisonnement
  • De la curiosité pour l'univers de nos utilisateurs. On ne peut pas juger une réponse sans comprendre ce dont un superviseur a réellement besoin sur un plancher de production.

    • Atouts

  • Tu as aidé à mettre en place un harnais d'évaluation, même dans un projet personnel
  • De l'expérience avec des outils d'IA pour accélérer les tests
  • Des notions de base en statistiques : taux de réussite, variance, taille d'échantillon
  • De l'expérience en tests de sécurité ou en tests adverses
  • Une connaissance de la pyramide des tests et de l'approche shift-left
  • De l'expérience B2B ou sur des plateformes industrielles
  • Une connaissance de Jira

    • Les technologies que tu utiliseras

  • Python
  • TypeScript
  • Claude Code
  • Framework d'évaluation (promptfoo)
  • AWS
  • Docker
  • Et bien d'autres

    • On croit fermement que la passion pour les nouvelles technologies, une attitude positive et un véritable esprit d'équipe sont essentiels pour réussir chez Poka.

    Surtout, on cherche quelqu'un de curieux et de débrouillard. Tu as à cœur le succès du produit et de ton équipe. Tu aimes les problèmes complexes, surtout ceux qui n'ont pas de solution évidente. Tu veux écrire du code propre et de qualité, et continuer d'apprendre.

    Si ça te ressemble, tu es probablement la personne qu'on cherche !

    Nous offrons:

  • Un environnement de travail dynamique et collaboratif;
  • Politique de vacances généreuse dès ton arrivée;
  • Mode hybride - Les employé.es qui habitent dans un rayon de 40 km de notre bureau de Québec ou de 15 km de notre bureau de Montréal doivent travailler au bureau deux jours par semaine.
  • Travail 100 % à distance si vous ne résidez pas dans les rayons mentionnés ci-dessus;
  • Horaire réellement flexible permettant d’adapter ton emploi du temps;
  • Assurance collective dès ton premier jour (dentaire, médicaments, invalidité, assurance voyage, etc.) avec contribution de l’employeur, comprenant l’accès à la télémédecine et à un PAE;
  • REER collectif avec contribution de l’employeur, offert après un an de service via Wealthsimple;
  • MacBook Pro et une allocation de 500$ pour ton bureau à la maison lors de l'embauche;
  • Un généreux budget annuel de formation et développement pour soutenir ta croissance, ainsi que les outils et opportunités nécessaires pour continuer à progresser dans ta carrière.
  • Un programme de référencement d'employés avantageux pour les embauches réussies.
  • Des collations savoureuses à volonté (Fruits frais, collations, viennoiseries, cafés, thés, etc.)

    • Tu veux en savoir plus sur notre culture? Clique ICI.

    À noter: La compréhension de l’anglais est essentielle chez Poka, car c’est la langue utilisée lors de nos réunions de compagnie et de nombreuses communications internes, assurant une collaboration et une prise de décision efficace. De plus, comme Poka évolue dans un environnement international, l’anglais est la langue principale de communication avec nos clients et partenaires, ce qui permet de mieux les servir et de représenter Poka de façon professionnelle.

    Ready to apply?
    You'll be redirected to Poka FR's application page.

    Similar roles

    See how RiseMe works

    Match, tailor, and prep so you send fewer applications and land more interviews.