La détection de l'utilisation de robots conversationnels en contexte universitaire : Le cas de Compilatio Magister+
Résumé
We tested the performance of the Compilatio Magister+ conversational bot detection tool on 86 documents (written by humans, generated by two different conversational bots: ChatGPT 4 and Claude 2 or Claude 2.1) representing compositions close to those encountered in academic environments. The results show that, paradoxically, Compilatio Magister+ achieves 100% scores for the detection of human writings. On the other hand, its detection score is no better than chance, and its F1 score shows that for a correct prediction, CM+ makes more than 10 errors. These results are in line with the increasingly frequent decision by universities, particularly in the USA, to disable detection of the use of these conversational bots.
Nous avons testé les performances de Compilatio Magister+ outil de détection de l’utilisation de robots conversationnels (chatbots) sur 86 documents (écrits par des humains, générés par deux robots conversationnels différents : ChatGPT 4 et Claude 2 ou Claude 2.1) représentant des compositions proches de celles rencontrées en milieu académique. Les résultats montrent que, paradoxalement, Compilatio Magister+ obtient des scores sans erreurs pour la détection des écrits humains. En revanche, son score de détection n’est pas meilleur que le hasard, et son score F1 montre que pour une prédiction correcte, CM+ fait plus de 10 erreurs. Ces résultats sont en ligne avec la décision de plus en plus fréquente, dans les universités, notamment étasuniennes, de désactiver la détection de l’usage de ces robots conversationnels.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
