Nyligen har neurala nätverk överraskat med sina färdigheter - kunde du ha trott för tio år sedan att en dator kunde "animera" porträtt av Dostojevskij och Marilyn Monroe? Förbered dig på att bli förvånad vidare, eftersom forskare vid MIT har skapat ett Speech2Face neurala nätverk som kan rita porträtt av människor helt enkelt genom att lyssna på deras röster. Tekniken är långt ifrån idealisk, men dess förmåga att bestämma en persons kön, nationalitet och ålder är imponerande.
För att träna det neurala nätverket användes AVSpeech-kit med en miljon korta videor med tusentals talande personer. Spår med video och ljud separeras, så systemet kunde studera varje typ av material så detaljerat som möjligt. Vid det första steget av arbetet studerade VGG-Face-algoritmen videofragment och skapade porträtt av människorna på dem i full ansikte och neutrala ansiktsuttryck. En annan del av algoritmen studerade röstens spektrogram och tillämpade ytterligare förändringar på de resulterande porträtten - som ett resultat erhölls ett ungefärligt porträtt av varje person som talade.
Ett neuralt nätverk för att skapa röstbaserade porträtt är redan verklighet
Om du jämför en persons ansikte med en video och alternativet som algoritmen föreslår, kan du hitta många skillnader. Men forskarna försäkrar att de från början inte ville skapa det mest likadana porträttet av en person - många faktorer påverkar tonen och intonationen för den mänskliga rösten, så att de inte skulle få ett idealiskt resultat ändå. Men det neurala nätverket gör ett utmärkt jobb med det som är viktigt för forskare, nämligen den exakta bestämningen av kön, nationalitet och ålder.
Författarna till verket noterade att algoritmen för tillfället är svag när det gäller att bestämma åldern, men de kan förbättra noggrannheten. Det konstaterades också att algoritmen bättre återskapar europeiska och asiatiska ansikten, men detta beror bara på att träningsvideoerna hade ett ojämnt antal ansikten från olika nationaliteter.
Kampanjvideo:
Varför behöver du ett neuralt nätverk?
Hur kan den här tekniken vara användbar i framtiden? Alternativt kan det med hjälp av det skapas en tjänst som en användares virtuella avatar skapas automatiskt, baserat på hans röst. Den nya studien har också stora vetenskapliga fördelar - genom att studera data kan forskare hitta förhållandet mellan en persons utseende och hans röst. Du kan lyssna på röster och titta på porträtt gjorda på grundval av dem på projektets webbplats.
Ramis Ganiev
