Si beaucoup d’étudiants ont eu l’idée d’utiliser ChatGPT pour écrire leurs devoirs, des chercheurs de l'école de médecine de l'université du Maryland (UMSOM) ont voulu voir si les conseils de santé du chatbot étaient fiables. Conclusion : si l’intelligence artificielle fournit des informations correctes la plupart du temps, il lui arrive de partager des données inexactes, et même parfois inventées !
Les travaux ont été publiés dans la revue Radiology, le 4 avril 2023.
Dépistage du cancer du sein : 8 bons conseils sur 10 avec ChatGPT
En février 2023, l’équipe de l’UMSOM a dressé une liste de 25 questions concernant le dépistage du cancer du sein pour les poser à ChatGPT. Chacune d’entre elles a été soumise trois fois au programme, car il est connu pour améliorer ses réponses à chaque fois, étant équipé d’un outil d’apprentissage. Ses conseils ont été évalués par trois radiologues spécialistes de la mammographie. Les experts ont indiqué que les réponses étaient appropriées pour 22 des 25 questions.
"Nous avons constaté que ChatGPT répondait correctement aux questions environ 88 % du temps, ce qui est assez étonnant", a expliqué l'auteur de l'étude, Dr Paul Yi, professeur adjoint de radiologie diagnostique et de médecine nucléaire à l'UMSOM dans un communiqué de son établissement. "Il a également l'avantage supplémentaire de résumer les informations sous une forme facilement assimilable pour que les consommateurs les comprennent facilement." Il note qu’il a répondu correctement aux questions sur les symptômes du cancer du sein, les personnes à risques ainsi qu’aux interrogations liées au coût, l’âge et la fréquence des mammographies. Les scientifiques ont toutefois remarqué que les réponses n’étaient pas toujours complètes. "ChatGPT n'a fourni qu'un seul ensemble de recommandations sur le dépistage du cancer du sein, émises par l'American Cancer Society, mais n'a pas mentionné les différentes recommandations émises par les Centers for Disease Control and Prevention (agence américaine de protection de la santé publique, NDLR) ou l’US Preventative Services Task Force (groupe de travail sur les services préventifs des USA, NDLR)."
ChatGPT peut présenter de faux articles pour appuyer ses réponses
L’équipe a, par ailleurs, relevé d’autres problématiques en étudiant les trois erreurs de ChatGPT. La première fournissait une information obsolète concernant la planification d'une mammographie autour de la vaccination contre la Covid-19. L’outil conseillait d’attendre 4 à 6 semaines, recommandation supprimée en février 2022 lorsque le CDC a indiqué qu’au vu de nouvelles recherches, il n’était pas nécessaire de repousser l'examen.
Les deux autres questions problématiques avaient des réponses incohérentes qui variaient considérablement chaque fois que la même question était posée. Plus inquiétant, l’outil peut présenter de fausses preuves.
"Nous avons vu dans notre expérience que ChatGPT invente parfois de faux articles de journaux ou de faux consortiums de santé pour étayer ses affirmations", a prévenu le Dr Yi. "Les consommateurs doivent être conscients qu'il s'agit de nouvelles technologies non éprouvées et doivent toujours compter sur leur médecin, plutôt que sur ChatGPT, pour obtenir des conseils", a-t-il conclu.
L’équipe va renouveler l’expérience avec des questions sur le cancer du poumon. Elle va aussi chercher à identifier des moyens d'améliorer les recommandations de ChatGPT pour qu'elles soient plus précises et compréhensibles pour les personnes n’ayant pas de connaissances scientifiques.
Le Dr Mark T. Gladwin, doyen de la faculté de médecine de l'université du Maryland, a commenté les conclusions de ses chercheurs : "avec l'évolution rapide de ChatGPT et d'autres grands modèles, nous avons la responsabilité, en tant que communauté médicale, d'évaluer ces technologies et de protéger nos patients des dommages potentiels pouvant provenir de recommandations de dépistage incorrectes ou de stratégies de santé préventive obsolètes".