L’intelligence artificielle (IA) peut-elle repérer avec précision les contenus générés par les TPG ? Une nouvelle étude de l’université de Stanford montre que les détecteurs de TPG ne sont pas fiables, en particulier lorsqu’ils évaluent des contenus rédigés par des auteurs dont l’anglais n’est pas la langue maternelle.
« Cet article est l’un des premiers à examiner systématiquement les biais présents dans les détecteurs GPT et plaide en faveur d’une recherche plus poussée pour remédier à ces biais et affiner les méthodes de détection actuelles afin de garantir un paysage numérique plus équitable et plus sûr pour tous les utilisateurs », ont déclaré les chercheurs de Stanford.
Les GPT (Generative Pre-trained Transformers) sont un type de modèle de langue large (LLM) d’IA qui consiste en des réseaux neuronaux artificiels utilisant une méthode semi-supervisée pour les tâches de compréhension de la langue. Les transformateurs sont un type de modèle d’apprentissage automatique qui utilise l’apprentissage en profondeur. Le GPT subit un pré-entraînement génératif non supervisé utilisant des ensembles de données massives avec du texte non étiqueté pour déterminer les paramètres du modèle, suivi d’un réglage fin supervisé où le modèle est adapté à une tâche discriminante avec des données étiquetées.
Parmi les exemples de TPG figurent Google Bard, Microsoft Bing, Amazon CodeWhisperer, YouChat, ChatSonic, GitHub Copilot, OpenAI Playground, Character AI, Elicit, Perplexity AI, Jasper, Anthropic Claude et le très populaire ChatGPT d’OpenAI. Selon une étude d’UBS basée sur l’analyse des données de Similarweb (NYSE : SMWB), un fournisseur de plateforme d’intelligence numérique, le chatbot IA ChatGPT a gagné plus de 100 millions de visiteurs uniques mensuels deux mois seulement après sa mise à disposition du public en novembre 2022.
ChatGPT a un impact sur l’éducation. Selon une étude réalisée en mars 2023 par la Walton Family Foundation, ChatGPT s’est largement répandu dans l’enseignement. Sur les 1 000 élèves interrogés, 47 % des élèves âgés de 12 à 14 ans et 33 % des élèves âgés de 12 à 17 ans ont déclaré utiliser ChatGPT à l’école. Le chiffre est encore plus élevé pour les éducateurs, puisque 51 % des 1 000 enseignants de la maternelle à la terminale interrogés ont déclaré utiliser ChatGPT.
« De nombreux enseignants considèrent la détection des TPG comme une contre-mesure essentielle pour empêcher « une forme de tricherie du 21e siècle », mais la plupart des détecteurs de TPG ne sont pas transparents », écrivent les chercheurs de Stanford. « Les affirmations selon lesquelles les détecteurs de TPG ont une « précision de 99 % » sont souvent prises au pied de la lettre par un public plus large, ce qui est au mieux trompeur, étant donné l’absence d’accès à un ensemble de données de test accessibles au public, d’informations sur les spécificités du modèle et de détails sur les données d’entraînement. »
Pour cette étude, l’équipe de chercheurs de Stanford, composée de James Zou, Eric Wu, Yining Mao, Mert Yuksekgonul et Weixin Liang, a analysé sept détecteurs GPT couramment utilisés sur 88 essais rédigés par des élèves américains de huitième année provenant de l’ensemble de données ASAP de la Fondation Hewlett et 91 essais TOEFL (Test of English as a Foreign Language) provenant d’un forum chinois.
Les chercheurs ont constaté que, dans l’ensemble, les détecteurs GPT d’IA étaient biaisés par rapport aux auteurs dont l’anglais n’est pas la langue maternelle, avec un taux moyen de faux positifs de plus de 61 % pour les essais du TOEFL rédigés par des locuteurs non natifs, et un détecteur signalant à tort plus de 97 % des essais du TOEFL comme étant générés par l’IA. Selon les chercheurs, c’est l’utilisation de la perplexité du texte par les détecteurs GPT qui est en cause. La perplexité du texte mesure le niveau de difficulté du modèle génératif de langage à prédire le mot suivant.
« Nos résultats soulignent la nécessité de se concentrer davantage sur l’équité et la robustesse des détecteurs GPT, car le fait d’ignorer leurs biais peut entraîner des conséquences involontaires, telles que la marginalisation des locuteurs non natifs dans les contextes d’évaluation ou d’enseignement », concluent les chercheurs de Stanford.
Copyright © 2023 Cami Rosso Tous droits réservés.
