Ärzt:innen nutzen künstliche Intelligenz (KI) heutzutage täglich. Doch wie sicher sind die Empfehlungen tatsächlich? Genau diese Frage untersucht NOHARM, der bislang umfassendste unabhängige Sicherheitsbenchmark für klinische KI. Forschende aus Stanford und Harvard verglichen 24 führende KI-Systeme anhand realer ärztlicher Konsultationsfälle hinsichtlich ihrer Patientensicherheit. AMBOSS AI LiSA (US-Variante) belegte erneut den ersten Platz mit Höchstwerten für Korrektheit und Vollständigkeit klinischer Empfehlungen und verzeichnete zugleich die niedrigste Rate potenziell schwerer Fehler. Bei anderen namhaften Anbietern aus den USA lag die Fehlerquote höher.
Der AMBOSS AI Mode, der Ärzt:innen, Pflegefachpersonen und Institutionen in Deutschland zur Verfügung steht, beruht auf der deutschen Variante des untersuchten KI-Systems.
Die Studie zeigte außerdem, dass Ärzt:innen, die KI effektiv einsetzen, besser abschneiden als Kolleg:innen ohne KI-Unterstützung. Diese Ergebnisse machen deutlich: Sowohl die Wahl der richtigen klinischen KI als auch der Verzicht auf ihren Einsatz können die Patientensicherheit maßgeblich beeinflussen.
NOHARM untersucht, was für die klinische Praxis wirklich zählt
NOHARM (Numerous Options Harm Assessment for Risk in Medicine) ist ein Benchmark für klinische Sicherheit, der auf realen elektronischen Arzt-zu-Facharzt-Konsultationen der Stanford Health Care basiert. Jeder Fall bewahrt Unsicherheiten und den fehlenden Kontext, der die tägliche klinische Praxis widerspiegelt. Der Umfang der Studie ist beachtlich:
- 100 reale klinische Konsultationsfälle
- 1.000 von Ärzt:innen abgewandelte Fallbeschreibungen, die prüfen sollen, ob KI-Empfehlungen konsistent bleiben
- 4.249 Handlungsoptionen, bewertet von 29 Fachärzt:innen, mit 12.747 Experten-Anmerkungen zu Angemessenheit der Entscheidungen und Schweregrad des potenziellen Schadens
Die Studie stammt von ARISE (AI Research and Science Evaluation), einem 2024 gegründeten Stanford-Harvard-Netzwerk, das Kliniker:innen und Wissenschaftler:innen zusammenbringt, um KI im Gesundheitswesen unabhängig zu bewerten.
Jede KI-Antwort wurde anhand einer Experten-Metrik auf zwei Arten von Fehlern untersucht:
- Fehler durch Handeln: Die KI empfiehlt aktiv eine unangemessene Maßnahme.
- Fehler durch Unterlassung: Die KI lässt eine wichtige Maßnahme weg.
Beide Fehlerarten wurden danach gewichtet, wie groß der mögliche Schaden für Patient:innen wäre (leicht, moderat oder schwer), und zu einem einzigen schweregradgewichteten F1-Wert zusammengeführt. Je höher der Wert, desto korrekter und vollständiger sind die KI-Empfehlungen.
Ärzt:innen und KI sind gemeinsam stärker, wenn Behandelnde tatsächlich berücksichtigen, was die KI empfiehlt
Untersucht wurden über 20 namhafte generalistische LLMs und 4 klinische KI-Tools. Das Ergebnis war signifikant: Speziell für die Klinik entwickelte KI übertraf generalistische KI-Modelle, darunter Claude Fable 5 und GPT-5.6 Sol. AMBOSS AI LiSA führte das Feld der klinischen KI an. Beim schweregradgewichteten F1-Wert, der sowohl die fachliche Korrektheit als auch die Vollständigkeit der Empfehlungen evaluiert, erzielte AMBOSS AI LiSA (US-Version) mit 86,15 % den höchsten Wert.
Zudem wies AMBOSS AI LiSA die niedrigste Fehlerquote aller getesteten Systeme auf (2,9 %). Insgesamt waren >80 % der aufgetretenen schweren Fehler auf Unterlassung zurückzuführen. Der Benchmark beinhaltete auch eine „Nichtstun“-Referenz, die in 37 % der Fälle das Potenzial für schweren Schaden barg. Eine Erinnerung daran, dass die ehrliche Frage zur KI-Sicherheit immer lautet: „Im Vergleich womit?“
Welchen Mehrwert KI-Systeme bei klinischen Fragestellungen schaffen können, zeigt sich in der Studie noch an anderer Stelle. In einem randomisierten Studienteil trafen Fachärzt:innen deutlich sicherere Entscheidungen, wenn sie KI-Empfehlungen einbezogen. Zugleich blieben wertvolle Empfehlungen häufig ungenutzt. Hätten die Behandelnden sie berücksichtigt, wäre die gemeinsame Einschätzung von Mensch und KI sogar besser gewesen als jede für sich allein.
Was das für Ärzt:innen, Pflegende und Kliniken bedeutet
NOHARM macht zwei Dinge deutlich. Erstens: Generalistische LLMs wie ChatGPT, Gemini oder Claude bergen ein deutlich höheres Risiko für potenziell schwere Fehler in der Patientenversorgung. Zweitens: KI, die speziell für die Klinik entwickelt wurde, bietet einen echten Mehrwert bei der medizinischen Recherche.
Daraus ergeben sich klare Empfehlungen für die Praxis:
Unabhängige Evidenz einfordern. Nicht jede KI ist für medizinisches Fachpersonal gemacht, entscheidend sind medizinische Korrektheit und Vollständigkeit. Vertrauenswürdig sind externe Untersuchungen, auf die Anbieter selbst keinen Einfluss nehmen können. Bevor ein KI-System selbst genutzt oder in einer Klinik eingeführt wird, sollte man eine unabhängige, realitätsnahe Evaluation einfordern oder konsultieren.
Klinische KI bewusst nutzen. KI entfaltet ihren Nutzen nur, wenn Behandelnde wissen, wie sie mit ihr arbeiten. Das heißt: sich aktiv mit klinischer KI auseinandersetzen, ihr nicht blind vertrauen, aber das Potenzial anerkennen und ausschöpfen, statt es ungenutzt zu lassen.
Wie sich das Potenzial hochwertiger klinischer KI im Versorgungsalltag ausschöpfen lässt, zeigt der AMBOSS AI Mode, der auf der deutschen Variante des untersuchten KI-Systems aufbaut. Künftig fließen klinikeigene Behandlungsstandards (SOPs) in die Antworten ein, sodass sich die Informationen an die Gegebenheiten des jeweiligen Hauses anpassen. AMBOSS bindet bereits handverlesene, klinisch relevante Quellen renommierter Institutionen ein, etwa des New England Journal of Medicine (NEJM) und des Robert Koch-Instituts (RKI) sowie deutsche Leitlinien. Darüber hinaus arbeitet AMBOSS aktiv an der Integration des AI Modes in Praxis- und Krankenhausinformationssysteme, damit die Unterstützung genau dort ankommt, wo sie gebraucht wird, ohne den Arbeitsablauf zu unterbrechen.
Dass AMBOSS AI LiSA erneut den ersten Platz in einem unabhängigen Sicherheits-Benchmark belegt, zeigt, dass sich die enge Zusammenarbeit von Ärzt:innen und Ingenieur:innen bei der Produktentwicklung von AMBOSS auszahlt.
Zu den Studienergebnissen: NOHARM Preprint auf arXiv
Zum Leaderboard: ARISE interaktive Ergebnisse
