Moderne biomedisin bygger i økende grad på enorme mengder bildedata. Selv om analyser til dels kan gjøres av datamaskiner, må biologer ofte også se gjennom bildene selv. Det tar tid.
– Derfor spurte vi oss om vi kunne gjøre bilder om til lyd, såkalt bildesonifisering. Kanskje kunne vi da oppdage mønstre som var vanskelige å se med øynene, sier Bálint Laczkó.
Han er forsker ved RITMO Senter for tverrfaglig forskning på rytme, tid og bevegelse på Universitetet i Oslo (UiO).
I tett samarbeid med kollegaer ved UiO har han utviklet Pixasonics, et verktøy som kan gjøre bildedata om til lyd. Verktøyets oppskrift er fritt tilgjengelig.
Bildesonifisering brukes allerede i mye biologisk og medisinsk forskning, blant annet for å forbedre diagnosesetting.
Verktøyene som finnes fra før, dekker forskjellige behov og fagmiljøer. Noen er forskningsrettede, andre er mobilapper der du kan laste opp et bilde og få et lydbilde tilbake.
Pixasonics bruker programmeringsspråket Python og er laget i samarbeid med biologer i prosjektet Autorhythm.
Det er primært tenkt for forskere innen livsvitenskap som kan legge det inn i programmer de allerede bruker. Utover dette kan det brukes både i annen forskning, av lyddesignere og musikere, ifølge Laczkó.
– Det er en verktøykasse som er publisert som et åpent Python bibliotek. Det betyr at det er et sett ferdiglagde byggeklosser: Når du skriver Python-kode, kan du koble på slike klosser for å slippe å bygge alt selv, sier Laczkó.
Men hvis du ønsker å lage noe unikt, kan du enkelt tilpasse klossene eller lage din egne, legger han til.
Bálint Laczkó forklarer at pikslene i bilder kan bli lyd. Forskere som studerer bildeserier, vil da slippe å hoppe mye fram og tilbake i bildene for å se hva som skjer i et bestemt område. I stedet forteller lyden om endringer.(Foto: Mariam Gviniashvili)
Det skal brukes til å forstå cellenes resirkuleringssystem
I Autorhythm-prosjektet jobber forskerne for å forstå cellenes eget resirkuleringssystem bedre.
Dette kalles autofagi: Cellene bryter ned og resirkulerer proteinklumper og strukturer som ikke lenger virker slik de skal.
Men jo eldre vi mennesker blir, jo mer svekkes disse prosessene. Det fører til at hjernen og andre organer fungerer dårligere.
Forskning har tydet på at det å styrke prosessene kan være livsforlengende, og at det også kan åpne for bedre behandling av flere sykdommer – særlig sykdommer der nerveceller stadig brytes ned, som Alzheimers sykdom og Parkinsons sykdom.
Men skal dette kunne skje, må autofagi-prosessen først forstås fullt ut. Det er her Pixasonics kommer inn, for arbeidet innebærer analyser av tusenvis av detaljrike bilder.
Celledeler fargelegges med såkalte fluorescerende proteiner, som sender ut lys, før biologene tar en lang rekke høyoppløselige bilder for å se hva som skjer i cellene over tid.
Annonse
Lyden forteller om endringer i en bildeserie
– Dette er et møysommelig arbeid, som både kan gi såre øyne og innebære en risiko for at viktige ting ikke fanges opp, forklarer Laczkó.
Med Pixasonics kan biologene laste opp bildene de vil analysere og gi verktøyet en oppgave. Så oversettes pikslene i bildet til lyd, som spilles av i sanntid mens bildene vises på skjermen.
– For eksempel kan en lys piksel gi en lys, pipende tone og en mørk piksel gi en tone som er mer dyp og rumlende. Flyttes musepekeren rundt, vil lyse områder få tonen til å stige, mens mørke områder får den til å falle.
Det samme prinsippet kan brukes på en bildeserie, slik at man kan høre hvordan motivet endrer seg over tid.
Forskere som studerer bildeserier, vil da slippe å hoppe mye fram og tilbake i bildene for å se hva som skjer i et bestemt område. I stedet forteller lyden hvordan bildet endrer seg.
Verktøyet kan brukes til å finne nåla i høystakken
Synet og hørselen vår har utviklet ulike styrker. Mens synet er best til å oppdage mønstre i et rom, som former, avstand og plassering, er hørselen best til å oppfatte mønstre som utfolder seg over tid, for eksempel rytmer, endringer og sekvenser, forklarer forskeren.
– Dermed kan en kombinasjon av øyne og øre gjøre at store bildevolumer blir lettere å utforske, sier Laczkó.
Både forskere, musikere og teknologer har kommet med innspill til Pixasonics. Han håper å kunne fortsette utviklingsarbeidet framover og blant annet gjennomføre brukerstudier.
– I tillegg har kollegene mine og jeg flere ideer om hvordan Pixasonics kan bli ekstra nyttig i forskningen på cellenes ryddeprosesser. For eksempel tror vi at det kan brukes til å finne nåla i høystakken i de tilfellene der en ørliten, men viktig del av autofagi-prosessen er begravd i det havet av celler som er synlig under mikroskopet, sier Bálint Laczkó.
