Unstatistik des Monats Januar 2020: Google AI erkennt Brustkrebs besser als die erfahrensten Radiologen

(c) Pixabay
(c) Pixabay

2020-02-26

Der verantwortungsvolle Umgang mit den Ergebnissen der KI, die in aller Regel statistischer Natur sind, erfordert grundlegende mathematische Kenntnisse, die oft bei den Anwendern nicht vorhanden sind. Speziell bei Pressemitteilungen ist Vorsicht angebracht. Diesem Problem der Fehlinterpretation widmet sich das Harding-Zentrum für Risikokompetenz mit seiner Unstatistik des Monats, dem die folgende Nachricht entnommen ist.

Im Januar 2020 publizierte die Fachzeitschrift „Nature“ eine Studie über ein AI-System zur Brustkrebsfrüherkennung. AI steht dabei für „Artificial Intelligence“, also „künstliche Intelligenz“. Die Schlagzeile von nach-welt.com berichtete „Google AI erkennt Brustkrebs besser als die erfahrensten Radiologen“ /1/. „Der Spiegel“ titelte “Wie künstliche Intelligenz künftig den Job von Ärzten übernimmt” /2/. Ähnliche enthusiastisches Medienecho gab es weltweit. AI-Systeme werden in der Tat immer besser in der Krebsfrüherkennung, aber das ist nicht unser Punkt. Diese Unstatistik zeigt exemplarisch, wie AI-Erfolge in der Presse übertrieben werden und die Frage nach dem Nutzen für Patientinnen und Patienten nicht gestellt wird.

Die Studie wurde federführend von Google-Wissenschaftlern in Palo Alto und London durchgeführt. Man trainierte und testete künstliche neuronale Netzwerke mit Röntgenbildern der Brust von mehr als 25.000 Frauen aus Großbritannien und über 3.000 Frauen aus den USA. In Großbritannien, wo zwei Radiologen jede Röntgenaufnahme beurteilen und im Fall eines unklaren Ergebnisses ein Konsensus-Urteil erstellt wird, war das AI-System im Durchschnitt etwas besser als der erste Radiologe und leicht schlechter als der zweite Radiologe und das Konsensus-Urteil. In den USA, wo nur ein Radiologe das Urteil trifft, war die AI besser. Im zweiten Teil der Untersuchung wurden sechs US-Radiologen getestet, die schlechtere Werte erreichten als die AI. Von diesen hatten jedoch die meisten kein spezielles Training im Beurteilen von Mammogrammen. Die Autoren der Studie stellten selbst klar, dass die Ergebnisse bei spezialisierten Radiologen wahrscheinlich besser ausgefallen wären; die oben berichtete Schlagzeile spricht dagegen von den „erfahrensten Radiologen“.

Die wirkliche Frage, die in den Medienberichten so gut wie nie gestellt wurde, ist: Werden Frauen durch besser werdende AI einen Nutzen haben? Dieser wird suggeriert, aber zwei wissenschaftliche Erkenntnisse raten hier zur Vorsicht. Erstens, je besser die Diagnose-Systeme werden, desto mehr kleine und klinisch irrelevante Krebsformen werden entdeckt, die nur technisch gesehen Krebs sind. Das heißt, man würde diese Formen während seines Lebens nie bemerken, da sie keine negativen Auswirkungen auf die Gesundheit haben. Da man zum Zeitpunkt der Früherkennung diese harmlosen Formen von anderen nicht unterscheiden kann, erhalten bereits heute viele verunsicherte Frauen unnötige Operationen, Strahlen- oder Chemotherapien. Mit mehr AI-Diagnostik werden wahrscheinlich noch mehr Frauen unter dieser Überbehandlung leiden.

Die zweite wissenschaftliche Erkenntnis ist der geringe Nutzen des Mammographie-Screenings – für Frauen, im Gegensatz zur Industrie. Untersuchungen mit etwa 500.000 Frauen zeigen, dass von je 1.000 Frauen, die nicht zum Screening gehen, nach 10 Jahren etwa 5 an Brustkrebs gestorben sind; mit Screening sind es 4. Also etwa eine von tausend stirbt weniger an Brustkrebs. Das bedeutet aber nicht, dass Screening Leben rettet, da auch eine Frau mehr an einem anderen Krebs stirbt. Die Gesamtanzahl der Frauen, die an Krebs (einschließlich Brustkrebs) sterben, ändert sich durch Screening nicht. Sie ist jeweils etwa 22 von tausend Frauen (s. /3/). In Deutschland wird diese Information den Frauen immer noch vorenthalten, anders als etwa in der Schweiz (s. /4/). Das heißt, AI wird zwar immer mehr Krebse frühzeitig erkennen, aber man sollte auch einen Schritt weiter denken und ehrlich sagen, dass all dieser technische Erfolg den Frauen wohl wenig helfen wird.

Ref.:

/1/     Google AI erkennt Brustkrebs besser als die erfahrensten Radiologen

/2/     Wie künstliche Intelligenz künftig den Job von Ärzten übernimmt

/3/     https://www.harding-center.mpg.de/de/faktenboxen/krebsfrueherkennung/brustkrebs-frueherkennung

/4/     https://www.helsana.ch/de/blog/frueherkennung-mammografie?articleSource=gesundheitskompetenz

[Total: 0   Average: 0/5]

Avatar

Gerhard Schimpf, the recipient of the ACM Presidential Award 2016, has a degree in Physics from the University of Karlsruhe. As a former IBM development manager and self-employed consultant for international companies, he has been active in ACM for over four decades. He was a leading supporter of ACM Europe, serving on the first ACM Europe Council in 2009. He was also instrumental in coordinating ACM’s spot as one of the founding organizations of the Heidelberg Laureates Forum. Gerhard Schimpf is a member of the German Chapter of the ACM (Chair 2008 – 2011) and a member of the Gesellschaft für Informatik. --oo-- Gerhard Schimpf, der 2016 mit dem ACM Presidential Award geehrt wurde, hat an der TH Karlsruhe Physik studiert. Als ehemaliger Manager bei IBM im Bereich Entwicklung und Forschung und als freiberuflicher Berater international tätiger Unternehmen ist er seit 40 Jahren in der ACM aktiv. Er war Gründungsmitglied des ACM Europe Councils und gehört zum Founders Club für das Heidelberg Laureate Forum, einem jährlichen Treffen von Preisträgern der Informatik und Mathematik mit Studenten. Gerhard Schimpf ist Mitglied des German Chapter of the ACM (Chairperson 2008 – 2011) und der Gesellschaft für Informatik.


Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

WP2Social Auto Publish Powered By : XYZScripts.com