Une nouvelle étude de L’Institut évalue la fiabilité de ChatGPT comme ressource pour soutenir les familles pendant une immunothérapie orale.
Une nouvelle étude, dirigée par des chercheuses et par des chercheurs de l’Institut de recherche du Centre universitaire de santé McGill (L’Institut), a constaté que ChatGPT, agent conversationnel populaire assisté par intelligence artificielle, peut proposer des réponses généralement précises et intelligibles à des questions courantes posées par des parents qui composent avec l’immunothérapie orale (ITO) administrée à leurs enfants ayant des allergies alimentaires. Tout en mettant en évidence le potentiel de l’outil, l’étude identifie également ses limites importantes — faisant ressortir la nécessité, pour son utilisation, de la complémenter par une orientation médicale professionnelle.
L’ITO implique l’introduction, sous supervision médicale, de petites quantités, mais toujours de plus en plus grandes, d’un allergène alimentaire dans la diète d’une patiente ou d’un patient, avec l’objectif de réduire la sensibilité à cet allergène au fil du temps. Malgré son efficacité, le processus peut s’avérer long et anxiogène pour les familles, qui cherchent souvent des renseignements en ligne dans le but d’enrichir les consultations cliniques. L’étude, publiée dans le périodique Annals of Allergy, Asthma & Immunology, évalue si ChatGPT peut combler ce fossé en tant qu’outil pédagogique autoguidé.
« Les parents viennent consulter leur allergologue munis d’un nombre écrasant de questions, allant des préoccupations de base aux restrictions des activités pendant le traitement, explique Jana Abi-Rafeh, copremière auteure et étudiante au doctorat qui travaille avec Bruce Mazer, M.D., du Programme de recherche translationnelle sur les maladies respiratoires (RESP) à L’Institut et aux Laboratoires Meakins-Christie. Nous voulions savoir si ChatGPT pouvait aider à répondre à ces questions de manière fiable et compréhensible. »
Dans le but d’évaluer l’utilité de l’agent conversationnel ChatGPT, les chercheuses et les chercheurs lui ont posé 14 questions qui reviennent fréquemment et ont analysé les réponses en fonction de leur précision, de leur constance ainsi que de leur lisibilité et de leur intelligibilité. Par la suite, 16 expertes et experts de l’ITO d’Amérique du Nord et du Royaume-Uni ont analysé les réponses. Ces scientifiques ont attribué une note à chaque réponse, sur une échelle allant jusqu’à 10, en fonction de leur qualité et de leur exactitude du point de vue clinique.
« Les résultats ont été encourageants, ajoute Diana Toscano-Rivero, M.D., aussi copremière auteure et étudiante au doctorat sous la direction du Dr Mazer. ChatGPT a obtenu une note particulièrement bonne pour les questions de nature générale ou plus pointues; la plupart des cliniciennes et des cliniciens ont noté ses réponses comme étant très utiles. Cela étant dit, ChatGPT a éprouvé des difficultés avec les sujets médicaux plus nuancés. Dans certains cas, cet agent conversationnel a donné des réponses vagues, voire contradictoires — plus particulièrement lorsqu’on lui a posé des questions sur les risques ou sur les effets secondaires. »
Par exemple, les réponses de ChatGPT à la question [traduction] « Est-ce que l’immunothérapie orale aggrave l’allergie de mon enfant? » — l’une des réponses était [traduction] « Oui », alors qu’une autre était [traduction] « Non ». Pour ce qui est de la lisibilité — mesurée en fonction de la longueur et de la complexité des mots et des phrases — les réponses étaient souvent trop pointues pour la lectrice ou pour le lecteur moyen, ayant obtenu des notes s’appliquant à un niveau de lecture de calibre universitaire. Bien que les notes attribuées à l’intelligibilité — reflétant la manière dont la lectrice ou le lecteur profane peut comprendre les documents — étaient un peu plus élevées (variant entre 73 % et 84 %), les réviseures et les réviseurs ont mentionné que le caractère technique de la langue et la nature passive de la voix pouvaient constituer des obstacles à la clarté.
Malgré les limites susmentionnées, ChatGPT a démontré un niveau élevé de reproductibilité. Lorsque la même question a été posée dans diverses séances et sur divers dispositifs, l’agent conversationnel a donné des réponses similaires dans une proportion de 93 %, comportant seulement des variations mineures quant au style ou quant à la mise en évidence de certains éléments.
« Les travaux dont il est ici question témoignent d’une migration importante vers les outils numériques dans l’éducation des patientes et des patients, a poursuivi Bruce Mazer, M.D., auteur principal de l’étude et scientifique senior au sein du Programme de recherche translationnelle sur les maladies respiratoires à L’Institut. L’intelligence artificielle ne remplacera pas les professionnelles ni les professionnels de la santé. Toutefois, comme cette technologie est devenue un outil très accessible, nous devions comprendre ce qu’elle peut apporter et quelles sont ses limites. »
L’étude susmentionnée attire l’attention sur des considérations éthiques, y compris le risque de mésinformation, l’absence de supervision médicale et les références inventées. Pour ce qui est de la prochaine étape, les chercheuses et les chercheurs recommandent d’explorer plus à fond les modèles d’IA personnalisée, alimentée au moyen de données médicales validées, et optimisée dans le but de convenir à différents niveaux de littératie. »
« Somme toute, notre objectif est d’améliorer l’expérience et la sécurité des familles qui composent avec l’immunothérapie orale (ITO), conclut le Dr Mazer. L’intelligence artificielle peut constituer un élément très utile de l’outil éducatif consacré à l’ITO — à condition toutefois qu’on l’utilise de manière responsable et toujours en partenariat avec une équipe de professionnelles et de professionnels de la santé. »
Les travaux de recherche décrits ci-dessus ont reçu du financement de la Fondation de l’Hôpital de Montréal pour enfants.