Formulez la même demande un peu différemment et un modèle de langage répond de façon complètement différente. Selon l’équipe du projet QuantPi, c’est le problème le plus fréquent que révèlent les tests de l’intelligence artificielle générative. Les chercheurs ont conçu une plateforme qui crée seule des tests, repère instabilité et biais et prépare la documentation pour les auditeurs. Ils l’ont aussi essayée sur un système de recommandation de candidats — et à la fin, vous pourrez vérifier à quel point vous faites confiance aux réponses de l’IA.
L’intelligence artificielle générative aide de plus en plus à évaluer des candidats, à servir les clients et à soutenir les décisions des entreprises. Sa plus grande force est la rapidité. Elle a toutefois une faiblesse facile à négliger : elle peut réagir de façon complètement différente à un petit changement dans la formulation d’une question, dans la langue ou dans le contexte. Pour les entreprises, la tâche est double. Elles doivent détecter ces anomalies et disposer en plus d’une documentation prouvant que le risque a été testé et qu’il est maîtrisé.
L’équipe du projet QuantPi, soutenu par le Conseil européen de l’innovation, s’est attaquée à ce problème. Elle a mis au point une plateforme de gestion des risques de l’intelligence artificielle générative, dont le cœur est la technologie PiCrystal. L’outil crée automatiquement des suites de tests, vérifie le comportement du modèle et transforme les résultats en documentation prête à être auditée, liée aux exigences du règlement de l’UE sur l’intelligence artificielle. La plateforme examine les systèmes sous trois angles : les sorties instables, les biais et la disponibilité de preuves qu’il est possible de présenter lors d’un audit.
Qu’est-ce qui ressort le plus souvent de ces tests ? Lukas Bieringer, responsable de la politique et des subventions chez QuantPi, répond sans détour : « il s’agit typiquement d’un comportement incohérent ou instable dans le cadre d’une variation réaliste des entrées, la même classe d’invite produit des résultats matériellement différents en fonction de la formulation, de la langue ou du contexte ».
En pratique, un système peut réussir sans peine un simple test de référence, puis échouer au contact d’utilisateurs réels, qui formulent leurs demandes à leur façon. C’est alors seulement qu’apparaissent des biais et des inégalités entre groupes, qui restent invisibles dans les résultats moyens.
L’équipe l’a vérifié sur un cas concret. Elle a évalué un système de recommandation de candidats fondé sur un grand modèle de langage, avec pour partenaires la plateforme de recrutement Stepstone et le laboratoire d’assurance de l’IA TÜV AI.Lab. La conclusion compte pour quiconque pourrait voir son CV traité par un tel système. Les tests des outils d’IA utilisés pour l’embauche exigent des ensembles de données vastes et représentatifs. Eux seuls permettent des tests intersectionnels, où l’on peut vérifier les caractéristiques qui se chevauchent entre différents groupes. Ici, la moyenne agit comme un rideau : elle masque des différences importantes dans la façon dont le système traite chaque segment.
La deuxième idée de QuantPi consiste à séparer la couche des preuves de la couche de présentation. Elle découle d’un constat simple : les différentes personnes d’une entreprise ont besoin d’informations différentes sur le même système.
Pour que ces vues ne divergent pas, une seule règle s’applique. Lukas Bieringer l’explique : « Le principe clé de la conception est le suivant: tous les points de vue doivent découler de la même base de données statistiques, de sorte qu’une déclaration du conseil d’administration puisse toujours être reliée à un résultat de test spécifique ».
L’automatisation ne signifie pas que le jugement humain devient inutile. Ce sont les personnes qui définissent à quoi sert le système, choisissent les critères d’équité ou de sécurité applicables, fixent les seuils d’acceptation et décident de déployer, de reporter ou de retirer un outil. Le partage des rôles est clair : la plateforme mesure le risque, et des personnes responsables décident du niveau de risque acceptable.
Un test réalisé une fois ne suffit pas non plus pour toujours. La surveillance se déclenche chaque fois que la situation change : après une mise à jour du modèle, une demande révisée ou un nouvel indice de récupération. Les écarts d’entrée et de sortie ainsi que les modifications des règles imposent aussi une réévaluation, car chacun de ces éléments peut invalider les résultats antérieurs.
Selon Lukas Bieringer, pour beaucoup d’entreprises, le plus grand obstacle n’est plus la connaissance des règles en vigueur. Il est formel : « Ce qu’ils ne peuvent pas faire, c’est produire des preuves techniques de conformité qui tiennent la route devant un organisme notifié ou un auditeur, en particulier pour les systèmes génératifs, pour lesquels les rapports de référence traditionnels sont insuffisants et les normes harmonisées manquent à ce jour ». La plateforme de QuantPi doit combler précisément cette lacune, en convertissant les tests techniques en preuves que les différentes équipes peuvent exploiter avant et après le déploiement.
L’IA générative peut être capricieuse : la même question posée avec d’autres mots peut donner une réponse tout à fait différente, et les résultats moyens des tests peuvent masquer un traitement inégal de certains groupes. Le projet QuantPi montre qu’une évaluation sérieuse de ces systèmes exige des tests automatiques et reproductibles, des données représentatives et une base de preuves commune à tous, de l’analyste à la direction. Le dernier mot sur le risque acceptable revient toutefois toujours aux humains.
5 questions · une minute
English
Čeština
Deutsch
Español
Français
Magyar
Italiano
Polski
Português
Русский
Slovenčina
Türkçe
Українська
العربية
中文