Med hjälp av teknik för att skanna hjärnaktivitet, artificiell intelligens och en talesyntes har forskare från Columbia University (USA) skapat en enhet som kan översätta mänskliga tankar till artikulerade tal. Forskningsresultaten, publicerade i Scientific Reports, representerar ett viktigt steg för att förbättra hjärn-datorgränssnitt. I framtiden kan sådana apparater användas av personer som har tappat förmågan att prata på grund av skada eller sjukdom.
För att utveckla en enhet som kombinerar kapaciteten hos en talsyntes och artificiell intelligens, vred studiens författare, neurovetenskapsmannen Nima Mesgarani och hans kollegor de senaste framstegen inom djup maskinutbildning och talesynteknologier. Resultatet av deras arbete är en konstgjord intelligensbaserad vokoder som kan tolka hjärnaktiviteten direkt från hörselbarken och sedan översätta den till begripligt tal. Författarna till verket konstaterar att talet i det här fallet visar sig vara mycket datoriserat, men människor känner igen ord i de flesta fall.
Enligt skaparna är den nya enheten som används för att återge det resulterande talet baserat på samma teknik som används i digitala assistenter som Alexa, Siri och Google Assistant.
Först utbildade experter vocoder för att korrekt tolka mänsklig hjärnaktivitet. För detta inbjöd forskarna fem frivilliga som genomgick behandling för epilepsi att delta i experimentet. Alla fem av dem hade elektroder implanterade i hörselbarken för att läsa elektroencefalogram.
”Vi bad epileptiska patienter som redan genomgår hjärnkirurgi att lyssna på meningar som sägs av olika människor. Samtidigt analyserade vi mönster i patientens hjärnaktivitet. Vokodern tränades på de neuromodeller som erhållits, förklarar Mesgarani.
Patienterna uppmanades att lyssna på inspelningarna där skådespelarna läste upp sekvenser med siffror från 0 till 9. Samtidigt spelade forskarna in signalerna från hjärnan och skickade dem sedan via vocoder, vilka signaler korrigerades för att förbättra tydligheten genom ett neuralt nätverk som analyserade ljuden från vocoder själv, som producerade ljud som svar på dessa signaler. Som ett resultat kunde en robotröst höras upprepa en sekvens av talade nummer. För att utvärdera resultaten inbjöd forskarna 11 personer med utmärkt hörsel.
”Det visade sig att människor kan känna igen ord cirka 75% av tiden, vilket är oerhört överlägset alla tidigare försök. Den känsliga vocoder och kraftfulla neurala nätverk genererade ljuden som patienterna lyssnade på med otrolig noggrannhet,”kommenterar Mesgarani.
Kampanjvideo:
I framtiden kommer Mesgaranis team att lära det neurala nätverket att uttala mer komplexa ord, fraser och till och med hela meningar. Efter det vill de utveckla ett implantat som kan översätta en persons tankar till fullt tal.
"Till exempel, om ägaren till implantatet tänker:" Jag behöver ett glas vatten, "läser vårt system hjärnans signaler och översätter dem till tal. Detta kommer att ge alla som har tappat förmågan att prata på grund av skada eller sjukdom en ny möjlighet att kommunicera med världen omkring sig,”tillägger Mesgarani.
Nikolay Khizhnyak
