La version gratuite de ChatGPT ne serait pas une très bonne assistante pour les pharmaciens, si on en croit une nouvelle étude présentée au congrès de l'American Society of Health-System Pharmacists organisé du 3 au 7 décembre. Près des trois-quarts des réponses de l'outil concernant des questions sur les médicaments étaient incomplètes ou erronées.
ChatGPT : 73 % de réponse erronées ou incomplètes
Pour cette étude, les chercheurs ont recueilli les questions posées au service d'information sur les médicaments du College of Pharmacy de l'Université de Long Island sur une période de 16 mois entre 2022 et 2023. Les pharmaciens impliqués dans l'étude ont d'abord recherché et répondu à 45 questions. Chaque réponse a été examinée par un deuxième enquêteur pour évaluer son exactitude. Elles ont ensuite servi de référence pour évaluer celles générées par ChatGPT.
Sur les 39 questions auxquelles l'IA a dû répondre, seulement 10 ont été jugées satisfaisantes selon les critères établis par les scientifiques de l'État de New York. Ainsi, l'outil a eu faux sur près des trois-quarts des questions. Dans le détail, les informations fournies par ChatGPT ne répondaient pas directement à la question ou étaient inexactes et/ou incomplètes.
Par exemple, les chercheurs ont demandé à l'outil s’il existait une interaction médicamenteuse entre le Paxlovid utilisé contre la Covid-19 et l'hypotenseur vérapamil. L'IA a indiqué qu’aucune interaction n’avait été signalée pour cette combinaison de traitements. "En réalité, ces médicaments ont le potentiel d'interagir les uns avec les autres, et leur utilisation combinée peut entraîner une baisse excessive de la tension artérielle", explique Sara Grossman, auteure principale de l'étude, dans un communiqué publié le 5 décembre 2023. "Sans connaissance de cette interaction, un patient peut souffrir d'un effet secondaire indésirable et évitable", prévient la scientifique
Son équipe a également demandé à ChatGPT de fournir des références pour expliquer les informations fournies. Mais il lui arrivait de donner de fausses citations pour les étayer.
ChatGPT et santé : il faut rester vigilant
L'exactitude des informations médicales est d'une importance cruciale, en particulier lorsqu'il s'agit de questions sur les médicaments. "Les professionnels de la santé et les patients doivent être prudents lorsqu'ils utilisent ChatGPT comme source faisant autorité pour obtenir des informations relatives aux médicaments", explique Sara Grossman. "Quiconque utilise ChatGPT pour obtenir des informations relatives aux médicaments doit vérifier les informations en utilisant des sources fiables", conclut l'experte.
"Les pharmaciens doivent rester des gardiens vigilants de la sécurité des patients, en évaluant la pertinence et la validité d'outils d'IA spécifiques pour les utilisations liées aux médicaments, et en continuant à informer les patients sur les sources fiables d'informations sur les médicaments", ajoute de son côté sa collègue Gina Luchen.