J’ai testé un outil de détection de ChatGPT : j’ai perdu mon temps
Selon l’enquête de l’auteur, 41 % des textes produits en tout ou en partie par GPT-3 ont été classés comme ayant probablement été rédigés par un être humain. Il est donc vain de combattre l’IA par l’IA.
Détecter la bullshit est une déformation professionnelle. Je suis journaliste depuis 35 ans et prof depuis 15 ans. J’ai siégé au comité des infractions académiques de ma faculté. J’en ai vu de toutes les couleurs. ChatGPT m’écœure autant qu’il m’ébahit.
On nous dit qu’il faut faire davantage d’évaluations en personne. Fort bien. Mais allez dire ça aux universités (et aux universitaires) qui ont pris goût au télé-enseignement. Tout le monde cherche des solutions magiques pour s’assurer que les textes qu’on évalue n’ont pas été pondus par ChatGPT ou un autre système de rédaction automatique.
Read more:
La traduction a survécu à l’IA. D’autres métiers qui semblent menacés par ChatGPT survivront aussi
Tester la machine
J’ai testé un outil qui prétend le faire. GPTZero « estime les probabilités qu’un document ait été rédigé par un grand modèle de langue ». Son créateur, Edward Tian, est un étudiant originaire de Toronto. Il a complété à Princeton une majeure en informatique avec mineure en journalisme. Il a travaillé pour Bellingcat, formidable site de journalisme d’enquête et de données. C’est un parcours inspirant et auquel je peux m’identifier.
J’ai testé son outil avec un corpus de 900 textes :
Dans chaque cas, les textes sont composés de trois sous-groupes :
-
100 articles écrits par des journalistes, publiés au cours des cinq dernières années. Les articles en français ont été moissonnés sur le web par des étudiantes et des étudiants de mon cours de journalisme de données 2. J’ai pour ma part moissonné les articles en anglais sur le site web du Globe and Mail.
-
100 articles générés en partie par GPT-3. J’ai pris la première partie d’autres articles en anglais et en français et j’ai demandé à GPT de les compléter avec une commande (prompt) ressemblant à : « Voici le début d’un article, dont le titre est X. Complétez-le avec 1500 à 2500 caractères, pour publication dans un journal canadien. »
-
100 articles générés entièrement par GPT-3 avec une commande qui ressemblait à : « Rédigez, pour…
La suite est à lire sur: theconversation.com
Auteur: Jean-Hugues Roy, Professeur, École des médias, Université du Québec à Montréal (UQAM)
