Cum evaluezi corect acuratețea unui sistem de dictare medicală

Începe cu întrebarea corectă

„Ce acuratețe are sistemul?” pare o întrebare simplă.

De multe ori, răspunsul este prezentat sub forma:

98% accuracy

sau:

99% accuracy

Dar fără să știm cum a fost calculată valoarea, procentul spune foarte puțin.

Poate reprezenta:

• procentul cuvintelor recunoscute;
• rezultatul unui test intern;
• performanța pe un anumit set de înregistrări;
• o valoare calculată într-o altă limbă;
• un rezultat obținut în condiții de laborator;
• sau pur și simplu o formulare comercială.

Înainte de a compara două sisteme, trebuie stabilit ce măsurăm.

1. Testează aceeași dictare

Cea mai simplă regulă pentru o comparație corectă este:

aceeași intrare trebuie evaluată în ambele sisteme.

Dacă medicul dictează texte diferite, comparația devine foarte dificilă.

Ideal, folosește un set de înregistrări audio reprezentative pentru activitatea reală.

Acestea trebuie să conțină:

• terminologie medicală;
• fraze uzuale;
• negații;
• numere;
• unități;
• dimensiuni;
• denumiri anatomice;
• formulări mai puțin frecvente.

Pentru o evaluare serioasă, o singură propoziție nu este suficientă.

2. Testează în limba și specialitatea în care vei lucra

Performanța unui sistem într-o limbă nu trebuie extrapolată automat la alta.

La fel, performanța pe conversație generală nu spune suficient despre dictarea medicală.

Un test relevant pentru un radiolog român trebuie să conțină, de exemplu, terminologie și formulări pe care radiologul le utilizează efectiv în limba română.

Același principiu se aplică în:

• cardiologie;
• oncologie;
• anatomie patologică;
• consultații;
• alte specialități.

3. Controlează microfonul și mediul

Nu compara:

Sistem A + microfon profesional

cu:

Sistem B + microfon de laptop

și apoi concluziona că diferența aparține exclusiv software-ului.

Sursa audio trebuie controlată cât mai bine.

Ideal:

• aceeași înregistrare;
• același fișier audio;
• aceleași condiții.

Dacă testarea se face live:

• folosește același microfon;
• aceeași poziție;
• același mediu;
• un nivel comparabil de zgomot.

Altfel comparăm simultan motorul de recunoaștere și hardware-ul.

4. Word Error Rate — WER

Cea mai cunoscută metrică pentru automatic speech recognition este Word Error Rate.

Formula:

unde:

• S = substituții;
• D = cuvinte omise;
• I = cuvinte introduse;
• N = numărul cuvintelor din transcriptul de referință.

Exemplu simplificat

Referință:

Fără adenopatii mediastinale.

Output:

Fără adenopatii hilare.

Un cuvânt a fost substituit.

WER permite compararea reproductibilă a transcrierilor.

În general:

Este o metrică foarte utilă.

Dar nu spune totul.

5. Nu toate cuvintele au aceeași importanță clinică

Comparați două erori.

Situația A

Referință:

Ficat cu dimensiuni normale.

Output:

Ficat de dimensiuni normale.

Textul diferă.

Sensul clinic este practic identic.

Situația B

Referință:

Fără adenopatii mediastinale.

Output:

Adenopatii mediastinale.

A dispărut un singur cuvânt.

Dar sensul clinic s-a inversat.

Pentru WER, ambele situații contribuie la numărul de erori.

Pentru medic, ele nu sunt echivalente.

De aceea, când evaluăm un sistem medical, trebuie să privim și ce fel de greșeli produce, nu doar câte.

6. Urmărește separat erorile care pot schimba informația clinică

Într-un test practic merită urmărite explicit cel puțin:

Negațiile

fără → omis

Lateralitatea

dreapta → stânga

Numerele

14 mm → 41 mm

Unitățile

mg → g

Termenii medicali

o structură, patologie sau procedură înlocuită cu alta.

Omisiunile

o informație relevantă dispare complet.

Adăugările

apare o informație care nu a fost dictată.

Aceste categorii permit o analiză mult mai utilă decât simplul:

au existat X cuvinte greșite

7. Nu confunda transcrierea cu documentul final

Această diferență devine importantă în sistemele moderne.

Un sistem clasic produce:

Un sistem modern poate produce:

De exemplu, medicul poate spune:

ficat normal omogen fără leziuni

iar documentul final poate fi:

Ficat cu dimensiuni normale, ecostructură omogenă, fără leziuni focale.

Textul nu este identic cu dictarea.

Dar informația poate fi corect păstrată.

Dacă sistemul este construit să redacteze și să structureze, nu este suficient să evaluăm doar cât de identic este documentul final cu fiecare cuvânt rostit.

Trebuie verificat și dacă informația clinică a rămas fidelă.

8. Uită-te la document înainte și după corectarea medicului

Un test foarte valoros este să păstrezi:

1. documentul generat de sistem;
2. documentul după validarea medicului.

Apoi întreabă:

Nu toate modificările sunt erori.

Medicul poate prefera:

• altă ordine a frazelor;
• altă formulare;
• alt stil;
• o expresie proprie.

Separă modificările stilistice de corecțiile clinice.

Dacă medicul trebuie frecvent să corecteze:

• negații;
• lateralitate;
• măsurători;
• termeni medicali;
• informații omise;

acest lucru este mult mai relevant decât o diferență cosmetică de redactare.

9. Măsoară și timpul

Acuratețea nu este singurul criteriu.

Un sistem poate produce un text foarte bun, dar dacă utilizatorul trebuie să:

• aștepte;
• reia frecvent dictarea;
• navigheze prin multe controale;
• corecteze manual;
• copieze și să lipească textul;

beneficiul practic poate scădea.

Într-un test comparativ poți măsura:

Aceasta include experiența reală a medicului, nu doar performanța motorului ASR.

10. Nu adapta medicul la sistem în timpul testului

Există o capcană frecventă.

După câteva minute, utilizatorul începe să învețe ce cuvinte „nu îi plac” sistemului și își modifică dictarea:

• vorbește artificial;
• încetinește;
• evită anumite expresii;
• repetă preventiv;
• schimbă terminologia.

Rezultatul testului începe atunci să măsoare și capacitatea medicului de a se adapta la software.

Pentru evaluarea inițială, medicul trebuie să vorbească așa cum ar vorbi în activitatea normală.

Un sistem bun trebuie să se adapteze cât mai mult fluxului medical, nu invers.

11. Fă testul suficient de mare

Zece propoziții pot produce o impresie.

Nu produc un benchmark.

Un set mai mare este important deoarece unele erori sunt rare.

De exemplu, un sistem poate recunoaște foarte bine majoritatea textului, dar să aibă dificultăți recurente cu:

• anumite numere;
• anumite abrevieri;
• anumite denumiri anatomice;
• negații;
• termeni specifici specialității.

Cu cât corpusul este mai reprezentativ, cu atât comparația este mai utilă.

Nu există în acest ghid un număr universal de cuvinte care garantează un benchmark valid.

Important este ca testul să fie suficient de mare și suficient de divers pentru scopul comparației.

12. Un protocol simplu de comparație

13. Cum ar putea arăta rezultatul

În acest exemplu, Sistemul B are un WER puțin mai bun.

Dar dacă ne interesează utilizarea medicală, rezultatul nu mai este atât de simplu.

Acesta este motivul pentru care o evaluare serioasă nu ar trebui redusă la un singur procent.

14. Ce să întrebi atunci când un furnizor declară „99% accuracy”

Întreabă:

Dacă aceste informații nu există, procentul trebuie interpretat cu prudență.

15. Acuratețea lexicală și fidelitatea clinică nu sunt același lucru

Această idee merită reținută:

Un sistem de dictare medicală nu trebuie evaluat doar prin cât de bine reproduce cuvintele, ci și prin cât de fidel păstrează informația clinică.

WER rămâne foarte util pentru evaluarea recunoașterii vocale.

Dar odată ce un sistem transformă transcriptul într-un document medical redactat, apar întrebări suplimentare.

DictaMed explorează această problemă și din perspectivă metodologică prin conceptul Clinical Information Fidelity (CIF).

Concluzie

O comparație corectă între două sisteme de dictare medicală trebuie să înceapă cu aceleași date și aceleași condiții.

WER oferă o măsură standardizată a diferențelor dintre transcript și referință.

Dar în medicină trebuie analizat și tipul erorilor.

O negație, o lateralitate sau o valoare numerică greșită poate conta mult mai mult decât o diferență stilistică.

Iar pentru sistemele care transformă dictarea într-un document redactat trebuie evaluată și fidelitatea informației dintre ceea ce a exprimat medicul și ceea ce ajunge în document.

Un protocol bun de testare trebuie, prin urmare, să urmărească trei niveluri:

Acesta este un test mult mai apropiat de utilizarea clinică reală decât un procent izolat de „accuracy”.