Corti salīdzina klīnisko piezīmju MI: nav viena uzvarētāja

Kopenhāgenas uzņēmums Corti 14. oktobra paziņojumā iepazīstināja ar klīnisko piezīmju kvalitātes etalonu: tajā 412 konsultāciju tekstos salīdzināta Corti Symphony, Heidi un Tandem Health veidoto piezīmju kvalitāte, bet izziņotā MedConv datu kopa aptver 400 sintētisku sarunu; Corti tehnoloģiju direktors Larss Maaløe uzsvēra: “Because in healthcare, what an AI leaves out can matter just as much as what it gets right.”

Publicētajā pētījuma metodikā salīdzinājumu veido 300 MedConv sarunas angļu, dāņu un vācu valodā un 112 ACI-BENCH sarunas angļu valodā. Corti konfigurācija saglabāja vairāk atsauces piezīmēs ietvertā satura, taču atsevišķos īsuma vērtējumos labāk veicās Heidi. Tādēļ rezultāti raksturo konkrētās sistēmu konfigurācijas un kvalitātes kritērijus, nevis vienu uzvarētāju jebkurai valodai vai ārstniecības videi.

Ko sistēmas saņēma un ko tās veidoja

Salīdzinājums sākās ar jau pārrakstītu konsultācijas tekstu. Katra sistēma no tā veidoja piezīmi saskaņotā SOAP struktūrā, kas nodala pacienta sniegto informāciju, objektīvos datus, klīnisko novērtējumu un plānu. Tādējādi pārbaudīta teksta pārvēršana piezīmē; runas atpazīšana un pilna pakalpojuma darbība ārstniecības iestādē šajā rezultātā neietilpst.

MedConv gadījumu pamatā ir klīnicistu sagatavoti apraksti un pārbaudītas atsauces piezīmes, no kurām sintētiski veidotas konsultāciju sarunas. Datu kopā ir dažādu specialitāšu un aprūpes situāciju piemēri, taču tās sarunas nav ierakstītas pacientu vizītes. ACI-BENCH ir atsevišķa datu kopa; salīdzinājumam izmantota tās daļa, kas atbilst konsultācijas pārvēršanai klīniskā piezīmē.

Izziņotajā MedConv kopā ir arī franču valoda, savukārt publicētajās salīdzinājuma tabulās tās rezultātu nav. Šī atšķirība ir svarīga: valoda, kas iekļauta plašākā datu kopā, automātiski nekļūst par valodu, kurā parādīta trīs rīku veiktspēja.

Kā etalons vērtē piezīmes saturu un drošumu

Satura pārbaudē ir trīs atšķirīgi jautājumi. Pamatotība vērtē, vai piezīmē rakstīto atbalsta konsultācijas teksts. Pilnīgums vērtē, cik daudz atsauces piezīmes jēgas saglabāts ģenerētajā tekstā, bet kodolīgums — cik daudz ģenerētā satura atbilst atsaucei. Šie rādītāji nav savstarpēji aizvietojami: piezīme var saturēt tikai sarunā minētus faktus un vienlaikus izlaist būtisku informāciju.

Otrā pieeja salīdzina par vienu konsultāciju veidotas piezīmes pēc astoņām kvalitātes dimensijām. MI vērtētājs atsevišķi vērtē precizitāti, klīniski svarīgā satura pilnīgumu, lietderību ārstam, sakārtotību, saprotamību, īsumu, informācijas jēgpilnu apkopošanu un stigmatizējošas valodas nepieļaušanu. Katrā dimensijā tas dod priekšroku vienai piezīmei vai fiksē neizšķirtu; tas nepiešķir visām īpašībām vienu kopēju atzīmi.

Drošuma ziņā īpaši nozīmīga ir atšķirība starp izlaistu un nepamatoti pievienotu informāciju. Automātiski atzīmēts nepamatots apgalvojums tomēr nav tas pats, kas ārsta apstiprināta klīniska kļūda: vērtētājs var kļūdīties, sadalot tekstu vai spriežot par tā nozīmi. Savukārt pilnīguma procents nav tieši pārvēršams par procentu klīniski svarīgu faktu, kas trūkst pacienta dokumentācijā.

Kur rezultāti maina līderi

Publicētajā rezultātu tabulā MedConv angļu valodas gadījumiem Corti pilnīguma rādītājs ir 73,0%, Heidi — 64,6%, bet Tandem Health — 62,9%; tajā pašā datu kopā kodolīguma rādītāji ir attiecīgi 81,4%, 83,0% un 81,3%. Tātad Corti ir priekšā pēc pilnīguma, bet Heidi — pēc kodolīguma. Arī ACI-BENCH angļu valodas daļā Corti pilnīguma rādītājs ir augstāks, savukārt Heidi kodolīguma rādītājs ir nedaudz labāks.

Pāru vērtējumos, apvienojot pārbaudītās datu kopas, MI vērtētājs biežāk deva priekšroku Corti piezīmēm nekā abu salīdzināto rīku piezīmēm. Priekšrocība īpaši redzama precizitātē, svarīgā satura aptvērumā un lietderībā. Tomēr ACI-BENCH pāru salīdzinājumā Heidi piezīmēm priekšroka dota biežāk nekā Corti piezīmēm, un sākotnējā Corti konfigurācija īsuma dimensijā atpalika no konkurentiem. Apvienotais rezultāts tādēļ paslēptu atšķirības, kas parādās, mainot datu kopu vai vērtēšanas mērķi.

Autori pārbaudīja arī Corti veidni, kurai mainīti norādījumi ģimenes ārsta piezīmju veidošanai. Īsuma vērtējums uzlabojās, toties mazinājās pilnīguma priekšrocība un ne visas pārējās īpašības mainījās vienā virzienā. Tas parāda, ka vērtējums attiecas arī uz veidni un tās norādījumiem, ne tikai uz produkta nosaukumu.

Kāpēc salīdzinājums nav gatavs produktu rangs

Sistēmas saņēma vienus un tos pašus tekstus, bet piezīmes veidoja atšķirīgos apstākļos. Corti izmantoja teksta ģenerēšanas API, savukārt Heidi un Tandem Health — lietotāju saskarnes; atšķīrās arī veidnes un sistēmu pamatā esošie modeļi. Tandem Health angļu valodas pārbaudei pētnieki izveidoja veidni, jo piemērotas gatavas veidnes nebija. Novērotu starpību tādēļ nevar droši piedēvēt tikai vienam modelim.

MedConv gadījumos Heidi un Tandem Health katrai sarunai izveidoja pa vienai piezīmei, bet Corti ģenerēšanu atkārtoja. Tas ierobežo iespēju vienādi salīdzināt, cik stabili visi rīki darbotos atkārtotos mēģinājumos. Arī pāru izvēle ir atkarīga no MI vērtētāja: klīnicisti pārbaudīja daļu tā spriedumu, taču viņiem bija redzams jau piešķirtais vērtējums un pamatojums. Šī pārbaude nav neatkarīga ārstu izvēle starp visām sistēmu piezīmēm.

Pētījuma autori ir saistīti ar Corti, tāpēc uzņēmuma secinājums par Symphony priekšrocību jālasa kopā ar publicēto metodiku un rezultātiem. Latvijā tie dod konkrētu atbildi par pārbaudītajiem tekstiem, valodām un konfigurācijām, bet publicētajās tabulās nav latviešu valodas konsultāciju. Vietējās klīniskās dokumentācijas kvalitāte paliek atsevišķs jautājums, uz kuru šis salīdzinājums vēl neatbild.

Lasiet arī: