Dr. Watson for Oncology er upræcis og fuld af fejl

Dr. Watson for Oncology, IBM’s supercomputer, lavede fejl ved hver tredje patient i test og kan slet ikke alle de ting, som producenten, IBM, påstår, lyder det nu fra Rigshospitalet og amerikanske eksperter.

Teknologivirksomheden IBM har i de seneste år med stor succes promoveret Watson Oncology, der angiveligt kan sammenkoble den enkelte patients journal med alle relevante forskningsresultater, relevant faglitteratur, de mest almindelige lærebøger, viden fra andre patientjournaler samt en stribe af de mest gængse databaser i verden for således i løbet af få sekunder at være i stand til finde de bedst mulige behandlingsforslag til den enkelte kræftpatient.

Watson Oncology lover altså således at finde alt relevant materiale, som allerede findes, men som lægen ikke selv har tid til at lede efter eller ikke kender til.

Men Watson Oncology, der i dag ifølge IBM’s oplysninger er i brug på 50 hospitaler i 13 lande på 5 forskellige kontinenter, møder nu alvorlig kritik i det amerikanske sundhedssite, STAT, som ejes af den respekterede avis Boston Globe.

Kritikken kommer, efter at en gruppe medarbejdere på STAT i en lang rapport, IBM pitched its Watson supercomputer as a revolution in cancer care. It’s nowhere close, har sat en kritisk lup på IBM’s løfter om Dr.Watsons præstationer. Og STAT’s kritik af Dr.Watson er sønderlemmende:

”Dr. Watson Oncology skaber ingen ny viden og er ikke i besiddelse af et netværk, som kan feede data om særskilte patientgrupper. Den har svært ved at læse journaler. Der er kun rudimentært tale om kunstig intelligens. Den består primært af information fra det amerikanske hospital Memorial Sloan Kettering Cancer Center. Der foreligger ingen tredjeparts undersøgelse af Watsons kvalitet og ingen former for eksterne reviews. IBM har sluppet markedsføringsmaskinen løs uden at kontrollere, hvordan man skulle konstruere og bygge selve produktet, lyder nogle af kritikpunkterne om Watson for Oncology, som IBM ellers satser på skal være med til at vende virksomheden væk fra at være et hardware selskab til et ”åbent i Skyen” -firma baseret på det globale markeds skarpeste kunstige intelligens.”

Fejlbehæftede svar

Det er ikke lykkedes Onkologisk Tidsskrift trods gentagne forsøg at få en kommentar fra IBM til STAT’s kritik. Men på onkologisk afdeling på Rigshospitalet udførte en række af Danmarks mest anerkendte kræftlæger fra hele landet i efteråret et 14 dages pilotprojekt, som testede Watsons kompetencer overfor lungekræft, brystkræft og mave-tarm kræft. Leif Panduro Jensen, der er centerleder på Finsencentret ved Rigshospitalet udtalte ved projektets start blandt andet:

”Vi bliver flere og flere mennesker, der er syge, og kræftbehandlingen er blevet langt mere kompleks. Watson kan på et øjeblik læse mere, end jeg som læge kan læse på et helt liv. Og det er en teknologisk understøttelse, vi får brug for, hvis vi fortsat skal kunne udarbejde individuelle behandlingsplaner til et stigende antal patienter,” udtalte Leif Panduro. Dengang. Men i dag efter afprøvningen nikker han genkendende til en lang række af STAT’s kritikpunkter:

”Vi troede, at vi fik en specialist ind af døren, men en tredjedel af Watsons svar var fejlbehæftede, en tredjedel var ok, og den resterende tredjedel var ikke præcise nok. Dens behandlingsforslag er for amerikanske i kraft af, at den i alt for høj grad anvender amerikanske studier – også selv om de er af ringere kvalitet end for eksempel europæiske tilsvarende studier af højere kvalitet. Og den gav os behandlingssvar med ringere evidens,” siger Leif Panduro Jensen og fortsætter:

”Markedsføringen var for optimistisk, for den bliver solgt til at kunne mere, end den kan. Konceptet er dog ret genialt og i for eksempel øde landområder uden specialister, vil den sikkert kunne gøre en positiv forskel. Men den er simpelthen ikke færdigudviklet endnu til at kunne fungere på specialistniveau,” konkluderer han.