Ingénieur IA - Agents de test & Qualité - Freelance

Le contexte
Notre client, un grand cabinet d’audit et de conseil, développe et opère en interne une quinzaine de produits applicatifs (C# .NET / Vue.js) sur Microsoft Azure, au service de ses métiers Audit, Advisory et de ses fonctions support.

Il construit aujourd’hui rapidement des POC/POV avec l’IA générative (« vibe coding »), qui s’appuient sur des services d’IA cloud (LLM, RAG, agents). Pour que ces prototypes deviennent des produits fiables, sécurisés et exploitables en production, le client a une ambition forte : confier l’ensemble du contrôle qualité à des agents IA , sur tous les domaines (applications, data, data science).

Vous serez la personne qui conçoit et construit ces agents, et qui définit la stratégie de test qu’ils mettront en œuvre.

Vos missions

• Définir la stratégie de test globale : identifier les types de tests pertinents selon le domaine (applicatif, data, data science, IA générative) et le niveau de risque, avant toute mise en production

• Concevoir, développer et faire évoluer des agents IA capables de prendre en charge le cycle QA de bout en bout :

  • analyse des besoins et génération des cas de test et scénarios

  • écriture et maintenance des scripts de tests automatisés

  • exécution, analyse des résultats et remontée des anomalies

• Couvrir l’ensemble des domaines :

  • Applications : tests fonctionnels, end-to-end, API, non-régression, performance, sécurité

  • Data : qualité et cohérence des données, contrôle des pipelines, réconciliation

  • Data science / IA : validation des modèles, évaluation des LLM, RAG et agents (pertinence, fidélité, hallucinations), non-régression des prompts et des modèles

• Sécuriser le passage du POC au produit : critères d’acceptation, robustesse, sécurité (injection de prompt, fuite de données), performance et maîtrise des coûts

• Intégrer les agents et les tests dans les chaînes CI/CD (Azure DevOps / GitHub)

• Accompagner les équipes produit dans l’adoption de ces agents et des bonnes pratiques qualité