Du tror kanskje at øyebevegelsene dine er tilfeldige? Sånn er det ikke.
Når du utforsker verden rundt deg, beveger øynene dine seg fortløpende og hurtig for å skanne omgivelsene. Øynene dine gjør også korte stopp for å fokusere på enkelte elementer i omgivelsene som du ønsker å få mer detaljert informasjon om.
Måten du beveger øynene på og utvalget av detaljer du fikserer blikket ditt på, kan oppsummeres som seeratferden din. Og det ligger mening skjult i denne.
Når du for eksempel gjenopplever et minne, vil øynene dine bevege seg i et mønster som ligner på bevegelsene de gjorde da du først opplevde hendelsen.
Blikk uttrykker mål
Når du kommer inn på kjøkkenet og er sulten, vil øynene dine bli trukket til andre gjenstander og følge andre mønstre enn når du går inn på kjøkkenet for å ta oppvasken.
– Seeratferden vår uttrykker tankene, minnene og målene vi til enhver tid har, sier Matthias Nau.
Sammen med Markus Frey og Christian Doeller har han utviklet et verktøy som de kaller DeepMReye, ved Kavli-institutt for nevrovitenskap på NTNU i Trondheim.
Funnet er nylig publisert i tidsskriftet Nature Neuroscience.
– Vi har utviklet et øyesporingsverktøy som bruker MR-skanning i stedet for kamera til registrere øyebevegelser, sier Matthias Nau.(Foto: Privat)
Kan også oppdage hjernesykdom
DeepMReye-verktøyet kan også bidra til å diagnostisere hjernesykdommer.
– Hjernesykdommer kommer til uttrykk som karakteristiske øyebevegelsesmønstre og forstyrrelser i seeratferd. Nesten alle kognitive eller nevrale lidelser – som hukommelsestap, arbeidsminneunderskudd, Parkinsons sykdom og Alzheimers sykdom – vil påvirke seeratferden din, forklarer Matthias Nau.
Kunstig intelligens dekoder blikkmønsteret ditt
Det ligger mye informasjon skjult i seeratferden, men mennesker er ikke så gode til å hente ut denne informasjonen. Kunstig intelligens er derimot kjent for å være dyktig til å gjenkjenne kompliserte mønstre i store datamengder.
Forskerne gikk derfor i gang med å trene et såkalt kunstig nevralt nettverk for dyplæring til å gjøre det de selv ikke var i stand til: å sammenligne seeratferden hos mange mennesker, mens de var plassert i en MR-hjerneskanner.
Lang tid og mengder av MR-skanninger senere, hadde modellen lært seg den kompliserte oppgaven å generalisere blikkmønstre hos en rekke mennesker.
– Det vil si at selv en modell kan trene seg på meg, for å bli god på å dekode din seeratferd, sier Matthias Nau.
Dekodingen må ikke foregå i nåtid – samtidig som hjerneskanningen foregår:
Annonse
– Forskere kan også bruke denne modellen til å analysere gamle forsøk, de kan analysere seg gjennom arkivene som rommer mange tiår med fMRI-data samlet fra hundretusenvis av mennesker – og stille helt nye forskningsspørsmål, sier Matthias Nau.
DeepMReye er et øyesporingsverktøy som bruker MR-skanning i stedet for kamera til registrere øyebevegelser. (Video: Kavli Kommunikasjon)
Kan se sovendes og blindes øyebevegelser
DeepMReye kan også bistå i undersøkelser av pasientgrupper som den gamle kamerabaserte øyesporingen måtte melde pass på.
Der den kamerabaserte øyesporingen begrenset seg til å samle inn informasjon fra åpne øyne, fanger MR-signalet opp øyeeplets retning og bevegelsesmønstre selv om øyelokket er lukket. Dette gjør DeepMReye-modellen nyttig for søvnlaboratorier, for eksempel for å registrere søvnstadier ved hjelp av øyebevegelser.
Et annet eksempel er helseundersøkelser av blinde mennesker. Frem til nå har denne gruppen blitt utelukket fra øyesporingsstudier fordi den gamle kamera-kalibreringsprosessen krevde seende og fokuserende øyne.
DeepMReye skiller ikke mellom seende og blinde blikk.
Retter opp en kritisk blindhet i bildeforskning og diagnostikk
Forskere og leger er enige om at øyesporing er et viktig tiltak for å undersøke hjernefunksjoner og sykdommer. Det å kombinere øyesporing med bilder av hjerneaktivitet, gir et kraftig forskningsverktøy.
Markus Frey er en av forskerne bak DeepMReye.(Foto: Privat)
Øyesporing har imidlertid ennå ikke blitt en standard i laboratorier for hjerneavbildning eller på sykehus.
Matthias Nau forklarer:
– Den eksisterende øyesporingsmetoden med kamera er ganske kostbar. Den er vanskelig å bruke og altfor tidkrevende. Vi har verken tid, klinisk rutine eller kompetanse til å bruke disse kameraene til hver eneste pasient eller forskningsperson.
Dette er en ugunstig situasjon som er godt kjent blant eksperter. 90 prosent av MRI-studier av hjernen publisert i toppforskningsmagasiner de seneste to årene, sporet ikke øyebevegelser.
Annonse
Av de ti prosent som brukte øyesporing, rapporterte halvparten om dårlig kvalitet på dataene, mens forskerne i de resterende fem prosent av studiene brukte øyesporingsdataene på en måte som ikke krever kamera.
– Det er mange problemer og artefakter knyttet til fMRI-studier av hjerneaktivitet som man gjør seg selv blind for, hvis man ikke bruker øyesporing som korrektiv.
Ville bygge verktøyet selv
Det å bygge et kameraløst øyesporingsverktøy startet som et helgeprosjekt for studentene for omtrent tre år siden.
– Vi ville bygge den pakken som vi selv ønsket oss, forteller Nau.
Professor Christian Doeller ved Kavli-institutt for nevrovitenskap på NTNU.(Foto: Kavli/NTNU)
De ville ha en brukervennlig øyesporer som kan gjøre nytte av MR-signalet. En modell som kan forbedre mulighetene for tolkning og robustheten av forskningen på hjernebilder.
De ønsket dessuten en modell som ikke var belemret med de begrensningene som til nå har forhindret øyesporing fra å bli innført som en standard innen bildediagnostisering.
– Prosjektet har bare så vidt begynt. Når brukerne begynner å bruke DeepMReye, så vil de ha spørsmål, de vil oppdage bugs, og nye versjoner og forbedringer må lages, sier Matthias Nau.
Et gratis verktøy med åpen kildekode
Forskerne har laget dette verktøyet med åpen kildekode, og det er fullt tilgjengelig fra GitHub.
– Du trenger ikke penger, utstyr eller opplært personell for å bruke denne modellen. Du trenger ikke å bruke av kostbar eksperimenttid eller medisinsk konsultasjonstid for å sette opp og kalibrere noe kamera. Modellen kan også brukes i etterkant, etter at pasienten er hjemme, sier Matthias Nau.
Forskerne ønsker å gjøre verktøyet så brukervennlig som mulig. Her har de lagt ut brukeranbefalinger og svar på vanlige spørsmål.
Referanse:
Annonse
Markus Frey mfl.: Magnetic resonance-based eye tracking using deep neural networks. Nat Neurosci., 2021. (Sammendrag). Doi.org/10.1038/s41593-021-00947-w
Forskningsgruppen ved Kavli-instituttet. Første rekke fra venstre: Lilith Sommer, Dörte Kuhrt, Bianca Somai, Annelene Gulden Dahl, Gøril Rolfseng Grøntvedt, Tobias Navarro Schroeder, Britt Veldman. Andre rekke fra venstre: Christian Doeller, Joshua Julian, Mona Gravert, Matthias Nau, Renil Mathew, Ignacio Polti, Markus Frey, Jacob Bellmund.(Foto: Kavli-instuttet)
