AI la fel de bun în diagnosticarea bolii ca și oamenii
Prima revizuire sistematică și meta-analiză de acest gen constată că inteligența artificială (AI) este la fel de bună în diagnosticarea unei boli pe baza unei imagini medicale ca și profesioniștii din domeniul sănătății. Cu toate acestea, sunt necesare mai multe studii de înaltă calitate.
Un nou articol examinează dovezile existente într-o încercare de a determina dacă IA poate diagnostica boli la fel de eficient ca profesioniștii din domeniul sănătății.
Din cunoștințele autorilor - adică o vastă echipă de cercetători condusă de profesorul Alastair Denniston de la University Hospitals Birmingham NHS Foundation Trust din Regatul Unit - aceasta este prima analiză sistematică care compară performanța AI cu profesioniștii din domeniul medical pentru toate bolile.
Prof. Denniston și echipa au căutat mai multe baze de date medicale pentru toate studiile publicate în perioada 1 ianuarie 2012 - 6 iunie 2019. Echipa a publicat rezultatele analizei lor în jurnal The Lancet Digital Health.
AI la egalitate cu profesioniștii din domeniul sănătății
Cercetătorii au căutat studii care au comparat eficacitatea diagnosticului algoritmilor de învățare profundă cu cea a profesioniștilor din domeniul sănătății atunci când au pus un diagnostic bazat pe imagistica medicală.
Au examinat calitatea raportării în studiile menționate, valoarea lor clinică și designul studiilor.
Mai mult, atunci când a venit vorba de evaluarea performanței de diagnostic a IA în comparație cu cea a profesioniștilor din domeniul sănătății, cercetătorii au analizat două rezultate: specificitatea și sensibilitatea.
„Sensibilitatea” definește probabilitatea ca un instrument de diagnostic să obțină un rezultat pozitiv la persoanele care au boala. Specificitatea se referă la acuratețea testului de diagnostic, care completează măsurarea sensibilității.
Procesul de selecție a dat doar 14 studii a căror calitate a fost suficient de ridicată pentru a fi incluse în analiză. Prof. Denniston explică: „Am analizat peste 20.500 de articole, dar mai puțin de 1% dintre acestea au fost suficient de robuste în proiectarea și raportarea că recenzenții independenți aveau încredere ridicată în revendicările lor”.
„Mai mult decât atât, doar 25 de studii au validat modelele de AI extern (folosind imagini medicale de la o populație diferită) și doar 14 studii au comparat performanța AI și a profesioniștilor din domeniul sănătății folosind același eșantion de testare.”
„În cadrul acelei mână de studii de înaltă calitate, am constatat că învățarea profundă ar putea detecta într-adevăr bolile care variază de la cancer la boli oculare la fel de precis ca profesioniștii din domeniul sănătății. Dar este important de reținut că AI nu a depășit în mod substanțial diagnosticul uman ”.
Prof. Alastair Denniston
Mai precis, analiza a constatat că IA poate diagnostica corect boala în 87% din cazuri, în timp ce detectarea de către profesioniștii din domeniul sănătății a dus la o rată de precizie de 86%. Specificitatea algoritmilor de învățare profundă a fost de 93%, comparativ cu cea a oamenilor, de 91%.
Tendințele pot exagera performanța AI
Prof. Denniston și colegii săi atrag atenția asupra mai multor limitări pe care le-au găsit în studii care examinează performanța diagnosticului AI.
În primul rând, majoritatea studiilor examinează acuratețea diagnosticului AI și a profesioniștilor din domeniul sănătății într-un cadru izolat care nu imită practica clinică regulată - de exemplu, privând medicii de informații clinice suplimentare de care ar avea nevoie, de obicei, pentru a pune un diagnostic.
În al doilea rând, spun cercetătorii, majoritatea studiilor au comparat doar seturile de date, în timp ce cercetarea de înaltă calitate în ceea ce privește performanța diagnosticului ar necesita efectuarea unor astfel de comparații la oameni.
În plus, toate studiile au suferit de raportări slabe, spun autorii, cu analize care nu țin cont de informațiile care lipseau din seturile de date menționate. „Majoritatea [studiilor] nu au raportat dacă lipsesc date, ce proporție au reprezentat acestea și cum au fost tratate datele lipsă în analiză”, scriu autorii.
Limitările suplimentare includ terminologia incoerentă, care nu stabilește în mod clar un prag pentru analiza sensibilității și specificității și lipsa validării în afara eșantionului.
„Există o tensiune inerentă între dorința de a utiliza diagnostice noi, potențial salvatoare de vieți și imperativul de a dezvolta dovezi de înaltă calitate într-un mod care să poată beneficia pacienții și sistemele de sănătate în practica clinică”, comentează primul autor Dr. Xiaoxuan Liu din Universitatea din Birmingham.
„O lecție cheie din munca noastră este că în AI - la fel ca în orice altă parte a asistenței medicale - contează un proiect bun de studiu. Fără aceasta, puteți introduce cu ușurință o părtinire care vă înclină rezultatele. Aceste prejudecăți pot duce la pretenții exagerate de performanță bună pentru instrumentele de IA care nu se traduc în lumea reală. ”
Dr. Xiaoxuan Liu
„Dovezile cu privire la modul în care algoritmii AI vor schimba rezultatele pacienților trebuie să provină din comparații cu teste de diagnostic alternative în studiile controlate randomizate”, adaugă coautorul Dr. Livia Faes de la Moorfields Eye Hospital, Londra, Marea Britanie.
„Până în prezent, există abia astfel de studii în care se acționează deciziile de diagnostic luate de un algoritm AI pentru a vedea ce se întâmplă atunci cu rezultatele care contează cu adevărat pentru pacienți, cum ar fi tratamentul în timp util, timpul până la externare din spital sau chiar ratele de supraviețuire”.
