Utvecklare från Purdue University har skapat ett neuralt nätverk som kan analysera fMRI-bilder av hjärnan som tagits medan man tittade på en video och sedan fastställa i realtid vad personen tittade på.
Experimentet omfattade tre försökspersoner, som visades ungefär tusen små videor. Under utställningen kunde forskarna få en enorm mängd fMRI-data, som sedan började visa ett invandrat neuralt nätverk som tränats för att matcha hjärnaktivitet med filmernas plott. Med hjälp av fMRI-bilden lärde sig nätverket mycket snabbt och korrekt för att avgöra exakt vilken volontär såg när bilden togs.
Dessutom lärde nervnätverket att dechiffrera data från andra människor, baserat på informationen som erhållits från fMRI från andra frivilliga, medan resultatet var lika högt både med fMRI-data för friska försökspersoner och personer med synskador.
Tack vare denna studie kunde forskare dechiffrera tankar, och samtidigt räknade de ut vilka delar av hjärnan som är ansvariga för att känna igen bilder och videor. Poängen är att hjärnan delar upp videon i separata komponenter. Till exempel, om en person ser en bil som rör sig mot bakgrund av en vägg, känner det ena av hjärnan igen väggen, och den andra en bil - så kunde forskare spåra hjärnans arbete när man jämför olika block med information och samlade den till en enda bild.
Viacheslav Larionov
