Forskerne laget en KI-modell ved å
ta utgangspunkt i 25.864 intensivopphold fra en stor helsedatabase, nærmere bestemt den amerikanske
MIMIC-IV.
Deretter testet de modellen på en helt annen, uavhengig database, eICU, for å sjekke om den også fungerer godt der og ikke bare på dataene den var
laget med.
326 pasienter
utviklet en multiresistent bakterie under intensivoppholdet. I analysene som
bygget på henholdsvis 7 og 14 dagers pasientforløp, utgjorde dette
mellom 1,2 og 2,9 prosent av pasientene.
Metode
Forskerne utviklet en
maskinlæringsmodell som er laget for situasjoner der de alvorlige tilfellene er
få.
Modellen analyserer hvordan pasientens tilstand utvikler seg over tid og er
spesielt trent til å oppdage sjeldne hendelser.
De brukte også
såkalt forklarbar kunstig intelligens (SHAP) for å finne ut hvilke kliniske
faktorer som påvirker risikovurderingen mest. Forskerne ønsket også å tydeligere
hvordan modellen faktisk kommer fram til resultatene sine.
Resultater
I analysene av
hovedmaterialet lå AUROC (Area Under the Receiver Operating Characteristic curve) mellom 0,950 og 0,963, mens AUPRC (Area Under the Precision-Recall Curve) lå mellom 0,857 og
0,878.
Da forskerne testet modellen på uavhengige data fra andre sykehus, lå
AUROC mellom 0,896 og 0,908, og AUPRC mellom 0,587 og 0,612.
AUROC måler
hvor godt modellen klarer å skille mellom pasienter som senere tester positivt
for resistente bakterier og de som ikke gjør det.
AUPRC er et evalueringsmål som brukes innen maskinlæring for å måle ytelsen til klassifiseringsmodeller, spesielt når klassene er ubalanserte. For eksempel når én klasse er mye sjeldnere enn den andre.
Verdier nær 1 betyr at
modellen skiller svært godt mellom disse gruppene. Resultatene tyder på at
modellen presterer godt – også når den testes på data fra andre sykehus.
I tillegg
vurderte forskerne modellens ytelse med flere mål, blant annet treffsikkerhet,
presisjon, sensitivitet og F1-score.
Studien er
nylig publisert i IEEE Sensors Journal. Arbeidet inngår i et voksende
forskningsfelt der forskere bruker avansert kunstig intelligens til å analysere
store mengder helsedata og møte samfunnskritiske utfordringer.