I ett försök att hjälpa människor som inte kan tala har neurovetenskapsmän utvecklat en enhet som kan omvandla hjärnsignaler till tal. Denna teknik är ännu inte tillräckligt utvecklad för användning utanför laboratoriet, även om den kan användas för att syntetisera hela meningar som mest förstås, skriver "Nature".
I ett försök att hjälpa människor som inte kan tala har neurovetenskapsmän utvecklat en enhet som kan omvandla hjärnsignaler till tal.
Denna teknik är ännu inte mogen för användning utanför laboratoriet, även om den kan användas för att syntetisera hela meningar som generellt förstås. Skaparna av talavkodaren presenterade sin beskrivning i en artikel publicerad i tidskriften Nature den 24 april.
Forskare har tidigare använt konstgjord intelligens för att översätta hjärnsignaler till enstaka ord, mestadels bestående av en stavelse, säger Chethan Pandarinath, en neuroingenjör vid Emory University i Atlanta, Georgia, som skrev en kommentar till artikeln. "Att hoppa från en stavelse till meningar är tekniskt utmanande och delvis är det därför arbetet är så imponerande", säger han.
Konvertera rörelse till ljud
Många som har tappat förmågan att tala kommunicerar med en enhet som kräver att de gör små rörelser för att använda markören för att välja bokstäver eller ord på skärmen. Ett känt exempel var den brittiska fysikern Stephen Hawking, som hade motorneuronsjukdom. Han använde en talanordning som aktiverades av muskeln i kinden, sa studieledaren Edward Chang, en neurokirurg vid University of California, San Francisco.
Eftersom människor som använder sådana enheter måste skriva ord bokstav för bokstav, kan dessa enheter vara mycket långsamma, "tala" upp till tio ord per minut, säger Chang. Naturligt tal innebär i genomsnitt 150 ord per minut. "Detta beror på effektiviteten i vokalvägen," säger han. Och därför beslutade Chang och hans team att simulera röstsystemet när de byggde sin talavkodare.
Kampanjvideo:
Forskarna arbetade med fem personer som implanterades med elektroder på hjärnans yta under behandlingen av epilepsi. Till en början, när deltagarna i experimentet läste hundratals meningar högt, registrerade forskare hjärnans aktivitet. Chang och kollegor kombinerade sedan dessa inspelningar med data från tidigare experiment som tittade på hur rörelser i tungan, läpparna, käken och struphuvudet producerar ljud.
Med hjälp av dessa data "forskade" forskare en djup inlärningsalgoritm och inkluderade sedan detta program i deras avkodare. Enheten omvandlar hjärnsignaler till specifika rörelser i vokalvägarna och omvandlar dessa rörelser till syntetiskt tal. Människor som lyssnade på de 101 syntetiserade meningarna kunde förstå i genomsnitt 70% av orden, säger Chang.
I ett annat experiment bad forskare en av deltagarna att läsa meningar högt och sedan stänga av samma meningar med munnen. De meningar som syntetiserats i detta fall var av sämre kvalitet än de som syntetiserades från det”talade” talet, säger Chang, men resultaten är fortfarande uppmuntrande.
Att förstå syntetiserat tal är en fråga om framtiden
Tal, som syntetiseras genom att omvandla hjärnsignaler till röstkanalrörelser och översätta dem till ljud, är lättare att förstå än tal, vilket syntetiseras genom att omvandla hjärnsignaler direkt till ljud, säger Stephanie Riès, neurovetenskapsman vid San Diego State University. i Kalifornien.
Men det är oklart om den nya talavkodaren kommer att fungera med ord som människor bara "talar" i sina sinnen, säger Amy Orsborne, en neuroingenjör vid University of Washington i Seattle. "Artikeln visar riktigt bra att enheten fungerar med efterliknande tal", säger hon. "Men hur fungerar det om personen inte rör sig på läpparna?"
Marc Slutzky, en neurovetenskapsman vid Northwestern University i Chicago, Illinois, håller med och säger att talavkodaren kan vara mer effektiv. Han noterar att lyssnarna identifierade syntetiserat tal genom att välja ord från en uppsättning alternativ, men när antalet alternativ ökade blev det svårare att förstå orden.
Denna forskning "är ett riktigt viktigt steg, men det finns fortfarande mycket att göra innan syntetiserat tal lätt kan förstås," säger Slutsky.
Georgia Guglielmi (Giorgia Guglielmi)
