Ingenjörer från Institute for the Study of Higher nervous Activity har kunnat skapa ett system som översätter tankar till begripligt och igenkännbart tal. Genom att kontrollera någons hjärnaktivitet, rekonstruerar tekniken tankar till ord.
Detta vetenskapliga genombrott i kombination med kraften från AI och talsynteser öppnar en ny era i interaktionen mellan datorn och hjärnan. Naturligtvis öppnar detta också nya möjligheter för människor som av en eller annan anledning har tappat förmågan att tala.
”Våra röster hjälper till att hålla kontakten med våra vänner, familj och världen runt oss, så att förlora röstkraften på grund av skada eller sjukdom är förödande för människor. Men med dagens kunskapslager har vi ett potentiellt sätt att återställa denna kraft. Vi har visat att med rätt teknik kan människors tankar dechiffreras och förstås av alla lyssnare, säger doktor Nima Mesgarani och en av författarna till en studie som genomfördes vid Mortimer B. Zuckerman Institute of Mental Behaviour vid Columbia University.
Årtionden av forskning har visat att när människor talar eller ens föreställer sig att de talar ord, uppträder karakteristiska aktivitetsmönster i hjärnan. Ett tydligt och igenkännbart signalmönster uppstår också när vi lyssnar på någon som talar, eller föreställer oss att vi lyssnar. Experter har försökt att dechiffrera dessa mönster i årtionden, men först nu har en framtid öppnat inför dem, där tankar inte längre kan döljas inuti hjärnan, utan istället kan översättas till talat språk när som helst.
Men denna prestation var inte lätt att åstadkomma. Tidiga försök att dechiffrera hjärnsignaler från Dr. Mesgarani och andra fokuserade på enkla datormodeller som analyserade spektrogram, som är visuella representationer av ljudfrekvenser.
Men på grund av det faktum att detta tillvägagångssätt inte producerade något nära förståeligt tal, vände Dr. Mesgaranis team istället till en vocoder, en datoralgoritm som kan syntetisera tal efter att ha tränats för att spela in människors samtal.
"Detta är samma teknik som Amazon Echo och Apple Siri använder för att muntligt besvara våra frågor", säger Dr. Mesgarani, som också är docent i elektroteknik vid Fu-stiftelsens Columbia School of Engineering and Applied Science.
För att lära vocoder att tolka hjärnaktivitet samarbetade Dr. Mesgarani med Ashesh Dinesh Mehta, M. D., doktor, neurokirurg vid Northwell Health Physician Partners 'Institute of Neuroscience och medförfattare till dagens artikel. Dr. Mehta behandlar patienter med epilepsi, av vilka några måste genomgå regelbunden operation.
Kampanjvideo:
"I samarbete med Dr. Mehta bad vi epileptiska patienter som redan hade hjärnkirurgi att lyssna på förslag från olika människor, medan vi mätte mönster i deras hjärnaktivitet," säger Dr. Mesgarani. "Dessa neurala mönster tränade vocoder."
Forskarna bad sedan samma patienter att lyssna på talare som uttalade siffrorna 0 till 9 medan de spelade in hjärnsignaler som sedan kunde passeras genom en vocoder. Ljudet som producerats av vocodern som svar på dessa signaler analyserades och förfinades med hjälp av neurala nätverk såsom konstgjord intelligens som efterliknar strukturen hos neuroner i en biologisk hjärna.
Slutresultatet var en robotröst som upprepade en sekvens av siffror. För att verifiera inspelningens riktighet instruerade Dr. Mesgarani och hennes team människor att lyssna på inspelningen och rapportera vad de hörde.
"Vi fann att människor kan förstå och upprepa ljud ungefär 75% av tiden, vilket är mycket bättre än tidigare försök," säger Dr. Mesgarani. Förbättringen av förståelsen var särskilt tydlig när man jämför de nya inspelningarna med tidigare försök baserade på spektrogrammet. "En känslig vocoder och kraftfulla neurala nätverk representerade ljuden som patienterna först hörde med fantastisk noggrannhet."
Dr. Mesgarani och hennes team planerar nu att testa mer komplexa ord och meningar. De har också för avsikt att utföra samma test på hjärnans signaler som släpps ut när en person talar eller föreställer sig tal. I slutändan hoppas de att deras system kan vara en del av ett implantat, liknande de som bärs av vissa epileptiska patienter, som översätter bärarens tankar direkt till ord.
"I det här scenariot, om ägaren till chipet tänker 'jag behöver ett glas vatten', kan vårt system ta in de hjärnsignaler som genereras av den tanken och omvandla dem till syntetiserat muntligt tal," säger Dr. Mesgarani. "Det är en spelbytare och för alla som har tappat förmågan att tala på grund av skada eller sjukdom ger teknik en ny chans att kommunicera med världen runt dem."
Redaktionell kommentar
Eftersom vissa av våra anställda har en viss relation till neurofysiologi, kan vi absolut entydigt säga att att lösa problemet med att läsa tankar och översätta dessa tankar till ord inte är ett problem som en läkare i filosofi kan lösa tillsammans med en intelligent neurokirurg. Detta är en uppgift för forskningsinstitutet, som kommer att lösa det i hundra, två hundra eller fler år. Dessutom är det inte alls ett faktum att forskningsinstitutet kommer att lösa detta problem - även om alla NASA-superdatorer kommer dit, där en mängd ingenjörer kommer att börja simulera neurala nätverk. Men en artikel i en vetenskaplig tidskrift kommer inte att ljuga och faktumet att erkänna tankar är definitivt där. Hur kan dessa två fakta då sammanföras?
Väldigt enkelt. Under de senaste 20-30 åren har ett stort antal helt otroliga och mycket komplexa tekniker som mikroprocessorer och hårddiskar dykt upp i världen. Och varje dag finns det fler och fler nya uppfinningar, som skrivs ner till några "begåvade studenter" som, som sitter i garaget, har samlat ett stycke från skrot, som forskningsinstitut har kämpat i 50 år. Och i det här fallet har vi en uppfinning av en liknande uppkomst. Det vill säga en utveckling som har gjorts (eller överlämnats till människor) i många år, det är inte klart vem, men som spelades in på moster och farbror från Colombia.
I själva verket är det absolut ingen skillnad vem Wikipedia kommer att skriva ner som "uppfinnare" av teknik. Det viktigaste är att tekniken presenterades för världen med hjälp av en vetenskaplig tidskrift. Vidare kommer ett kinesiskt företag att börja producera sådana "prylar" som kommer att vänja människor till själva idén att deras huvud nu har blivit helt transparent. Slutligen kommer den tredje etappen att vara samma Orwelliska "1984" när även någon persons tankar fritt kan läsas på avstånd. Till exempel genom att placera speciella sensorer i lägenheter eller integrera ett speciellt chip som svarar på hjärnimpulser i kroppen. Dessutom.
Varje teknik har som regel den motsatta applikationen. Om det till exempel finns en teknik för att konvertera nervimpulser till ord och sedan använda samma princip kan du förvandla alla ord till någons tankar. I den här situationen har presidenterna i olika länder en storartad möjlighet att få stöd av absolut alla väljare, eftersom det nu finns en teknisk möjlighet att få alla väljare till och med att tänka som honom - det räcker för att sätta en korrekt modulerad signal i uttaget.
I allmänhet säger det sig självt att världens mest underbara utsikter öppnar sig och vi följer utvecklingen av händelser med intresse.