Konstgjord intelligens skapar skriptfilmer - hittills kort och suddigt, men en dag kommer det ensam att ersätta en hel filmstudio.
Neurala nätverk är redan ganska bra (och i många fall bättre än människor) på att känna igen mönster i en bild och kan beskriva i allmänna termer hela scener. Generativa neurala nätverk utför omvänd omvandling och kan bilda en bild baserad på dess beskrivning eller förutsäga nästa ram baserad på de tidigare.
De belgiska utvecklarna har gått ännu längre och kombinerat dessa funktioner i ett enda system som skapar videor "ur ingenting", baserat på deras egen erfarenhet av maskininlärning och manustext. Tinne Tuytelaars talade om detta vid ett möte i Association for the Advancement of Artificial Intelligence (AAAI) i USA.
Neuralnätverket fungerar i två steg - enligt Tinne, som om han imiterar den kreativa processen för en person: i det första steget bildas en oskarp, ungefärlig "skiss" av varje ram, varefter detaljer specificeras och läggs till. En av de viktiga delarna av ett sådant system är diskriminatorens nervnätverk, som jämför resultatet med "riktiga" videor som är lämpliga för ett givet scenario och gör att du kan bedöma dess kvalitet och förbättra arbetet i den generativa delen av systemet.
Neuralnätverket tränades på 10 scener ("spela golf på gräset", "kitesurfing i havet", etc.) och lärde sig att skilja handlingar och omständigheter från varandra, och kunde också kombinera dem på vilket som helst sätt och skapa videor, till exempel "Golf i poolen":
eller "segla i snön":
Kampanjvideo:
Naturligtvis är kvaliteten på sådana animationer fortfarande långt ifrån acceptabel: "videor" som varar ungefär en sekund består av endast 32 bilder med måtten 64x64 pixlar.
Men med samma förtroende är det möjligt att garantera att dessa siffror snabbt kommer att förbättras, för inte så länge sedan kan biografen i sig bara skryta med en lerig, ryckande och dum bild. Om ett sådant neuralt nätverk kan göras riktigt snabbt och effektivt kan Hollywood komma till slut: det räcker för att ta manuset och filmen är redo. Denna möjlighet kommer att vara användbar vid generering av stora uppsättningar för utbildning av andra neurala nätverk och för att skapa nya algoritmer för komprimering och överföring av strömmande video.
Sergey Vasiliev
