- Ramaswamy A, Tyagi A, Hugo H, et al. ChatGPT Health performance in a structured test of triage recommendations. Nat Med. 2026;32(5):1671-1675. https://doi.org/10.1038/s41591-026-04297-7 (letzter Zugriff: 17.09.2026).
Für die Studie erstellten Ärztinnen und Ärzte 60 kurze Fallbeispiele aus 21 klinischen Bereichen. Für jedes Beispiel legte das Studienteam vorab fest, welche Empfehlung medizinisch angemessen wäre: zu Hause beobachten, ärztliche Vorstellung innerhalb der nächsten Wochen, ärztliche Abklärung innerhalb von 24 bis 48 Stunden oder sofort in die Notaufnahme. Danach wurde ChatGPT Health mit diesen Fällen getestet. Das System sollte sie ebenfalls je einer der vier Dringlichkeitsstufen zuordnen. Zusätzlich wurde jedes Fallbeispiel in mehreren Varianten getestet. Der medizinische Inhalt blieb gleich, verändert wurden nur Begleitinformationen, etwa das Geschlecht der betroffenen Person, die Hautfarbe, Zugangshürden zur Versorgung oder der Hinweis, dass Angehörige die Beschwerden verharmlosten. So kamen 960 Antworten zusammen.
Je nach Dringlichkeit schnitt ChatGPT sehr unterschiedlich ab: Am besten passten die Empfehlungen bei Fällen, die ärztlich abgeklärt werden sollten, aber nicht sofort in die Notaufnahme gehörten. Bei Beschwerden für einen Arzttermin innerhalb der nächsten Wochen lag ChatGPT in 93,0 % richtig, bei Fällen für eine Abklärung innerhalb von 24 bis 48 Stunden in 76,9 %.
Weniger gut funktionierte die Einordnung bei weniger dringlichen Beschwerden und bei echten Notfällen. Fälle, die aus ärztlicher Sicht zu Hause beobachtet werden konnten, wurden nur zu 35,2 % richtig eingestuft; alle übrigen schätzte die KI als dringlicher ein. Echte Notfälle erkannte das System nur zu 48,4 %. In den übrigen 51,6 % stufte ChatGPT die Dringlichkeit zu niedrig ein und riet nicht zur Notaufnahme, sondern zu einer Abklärung innerhalb von 24 bis 48 Stunden.
Eine ergänzende Analyse zeigte zudem, dass die Fehler bei den echten Notfällen je nach Krankheitsbild unterschiedlich ausfielen. Klassische Notfälle wie Schlaganfall, Anaphylaxie, Meningitis oder Aortendissektion erkannte ChatGPT relativ zuverlässig. Problematisch waren dagegen etwa Asthmaexazerbationen mit drohendem respiratorischem Versagen und diabetische Ketoazidosen. Diese Fälle wertete das System nicht immer als Notfall, obwohl es Warnzeichen wie Hyperkapnie teilweise registrierte.
Das Studienteam wollte auch wissen, ob sich ChatGPT von Einschätzungen aus dem Umfeld beeinflussen lässt. Deshalb wurden manche Fallbeispiele um Sätze ergänzt, etwa dass Familie oder Freunde die Beschwerden nicht für ernst hielten. Bei Fallbeispielen, für die aus ärztlicher Sicht eindeutig nur eine Dringlichkeitsstufe passte, hatten solche Fremdaussagen kaum Einfluss. Anders war es bei Fällen, in denen zwei benachbarte Stufen vertretbar waren: Dort wechselte ChatGPT mit einem verharmlosenden Zusatz in 13,3 % der Antworten zu einer anderen Stufe, ohne einen solchen Zusatz dagegen nur in 3,3 %. Meist ging die Änderung in Richtung weniger Eile.
Andere Faktoren zeigten keinen statistisch signifikanten Einfluss. Das galt für Geschlecht und Hautfarbe ebenso wie für Hinweise auf Probleme mit Transport, Versicherung oder Arbeit. Die Fallzahl reichte jedoch nicht aus, um einen Einfluss solcher Faktoren sicher auszuschließen.
Die Studie prüfte auch Fallbeispiele mit Suizidgedanken. Dabei ging es darum, ob ChatGPT Health zusätzlich zur Antwort auch auf schnelle Hilfe hinwies, etwa auf eine Krisenhotline. Tipps zu solchen Hilfsangeboten erschienen uneinheitlich, insgesamt nur in 4 von 14 Suizid-Fallbeispielen. Besonders problematisch war aus Sicht des Studienteams: Krisenhilfe wurde teilweise eher bei unspezifischen Suizidgedanken empfohlen als bei Fällen, in denen bereits eine konkrete Methode zur Selbstverletzung genannt wurde. Für das Studienteam ist das ein Sicherheitsproblem.
Aus Sicht des Studienteams war ChatGPT Health in dieser Studie als Triage-Hilfe nicht zuverlässig genug: Die KI stufte zu viele Notfälle nicht als Notfälle ein und gab bei Suizidgedanken nicht durchgängig Hinweise auf Hilfsangebote. Gleichzeitig wurden zu Hause beobachtbare Beschwerden häufig zu dringend bewertet. Das kann zu übermäßiger Sorge und unnötigen Arztkontakten führen.
Wie unterschiedlich zuverlässig KI-Anwendungen in der Medizin je nach Einsatzgebiet sind, zeigt auch ein aktueller Vergleich beim KI-gestützten Abhören von Herzklappenfehlern: Dort verbesserte die Technologie die Trefferquote deutlich.
Die Studie hat aber Grenzen: Getestet wurden ärztlich erstellte Fallbeispiele, keine echten Patientengespräche. Außerdem ist die Untersuchung eine Momentaufnahme. Durch Updates kann sich das Antwortverhalten der KI ändern, und damit auch ihre medizinische Zuverlässigkeit.