Le test de chatgpt health révèle des diagnoses erronés

À retenir :
– chatgpt health a obtenu un diagnostic cardiaque alarmant.
– des incohérences dans les analyses ont été constatées.
– les médecins alertent sur les dangers de ces outils non fiables.
– la FDA réduit son rôle de régulateur pour encourager l’innovation.
– openai prévoit d’améliorer l’expérience et la cohérence des réponses.

---

Le test de ChatGPT Health avec les données d’Apple Santé a récemment suscité une vive polémique. Cette nouvelle fonctionnalité développée par OpenAI a été mise à l’épreuve par un journaliste du Washington Post, qui a voulu tester ses capacités d’analyse en connectant dix années de données biométriques provenant de son Apple Watch.

L’expérience menée par Geoffrey Fowler consistait à fournir à ChatGPT Health un large éventail d’informations personnelles, comprenant 29 millions de pas et 6 millions de mesures de fréquence cardiaque stockées dans l’application Apple Santé. Lorsqu’il a interrogé le chatbot sur l’état de sa santé cardiaque, celui-ci lui a attribué une note très préoccupante : F. Inquiet face à ce diagnostic numérique, le journaliste s’est tourné vers son médecin traitant, qui a rapidement démenti cette évaluation. Le praticien lui a assuré que son risque cardiaque était si faible que les assurances ne jugeraient même pas nécessaire des examens supplémentaires pour contredire les affirmations du chatbot.

Plus alarmant encore, ChatGPT Health n’a pas su faire preuve de cohérence dans ses évaluations. En posant la même question plusieurs fois, les notes attribuées variaient drastiquement entre F et B. De plus, malgré un accès complet aux dossiers médicaux du journaliste, l’IA a négligé des informations essentielles telles que l’âge et le sexe de l’utilisateur.

En parallèle, l’autre IA concurrente développée par Anthropic nommée Claude n’a pas brillé non plus avec une note médiocre C, échouant également à prendre en compte les limites des données fournies par la montre connectée.

Les réactions des professionnels de la santé ont été vives. Le cardiologue Eric Topol du Scripps Research Institute qualifie les analyses fournies par ChatGPT d’infondées et souligne que cette technologie n’est manifestement pas prête pour une utilisation généralisée auprès du grand public. Il met en garde contre les risques associés : ces outils pourraient induire en erreur des utilisateurs en bonne santé ou donner une fausse confiance aux personnes malades. Selon lui, si ces chatbots ne sont pas capables d’évaluer correctement la santé des individus, ils devraient se garder d’attribuer des notes.

Malgré cela, la régulation américaine semble laisser libre cours au développement de telles technologies. La FDA (Food and Drug Administration) a récemment annoncé vouloir se retirer en tant qu’autorité régulatrice afin de favoriser l’innovation technologique tout en établissant une distinction claire concernant uniquement les revendications cliniques directes.

OpenAI et Anthropic tentent quant à eux de justifier leur démarche en précisant qu’ils n’offrent que des informations sans prétendre réaliser des diagnostics médicaux ; ils rappellent que leurs outils ne remplacent pas un professionnel de la santé. OpenAI avait lancé ChatGPT Health plus tôt dans le mois sous forme d’une section distincte dédiée intégrant divers services tiers tels que MyFitnessPal et Peloton pour ajuster au mieux ses réponses.

Suite à ce rapport critique concernant son produit phare, OpenAI s’est exprimé via sa vice-présidente Ashley Alexander qui indique que l’accès est actuellement limité à une liste d’attente afin d’améliorer progressivement cette expérience avant un éventuel lancement généralisé ; elle promet également un travail sur la cohérence des réponses fournies par le système.