Googles avdelning för artificiell intelligens meddelade skapandet av en ny metod för utbildning av nervnätverk, som kombinerar användning av avancerade algoritmer och gamla videospel. Gamla Atari-videospel används som inlärningsmiljö.
Utvecklarna av DeepMind (minns att dessa människor skapade AlphaGo neurala nätverk, som upprepade gånger har besegrat de bästa spelarna i det logiska spelet go) tror att maskiner kan lära sig på samma sätt som människor. Med hjälp av DMLab-30-träningssystemet, baserat på Quake III-skytten och Atari-arkadspel (57 olika spel används), har ingenjörer utvecklat en ny IMPALA (Importance Weighted Actor-Learner Architectures) maskininlärningsalgoritm. Det gör att enskilda delar kan lära sig att utföra flera uppgifter samtidigt och sedan utbyta kunskap mellan sig.
På många sätt var det nya systemet baserat på det tidigare arkitektursystemet Asynchronous Actor-Critic Agents (A3C), där enskilda agenter utforskar miljön, sedan pausar processen och de utbyter kunskap med den centrala komponenten, "studenten". När det gäller IMPALA kan det ha fler agenter, och själva inlärningsprocessen sker på något annorlunda sätt. I den skickar agenter information till två "studenter" på en gång, som sedan också utbyter data med varandra. Om beräkningen av förlustfunktionens gradient (med andra ord skillnaden mellan de förutsagda och erhållna parametervärden) görs av agenterna själva, som skickar information till den centrala kärnan, görs denna uppgift i "IMPALA-systemet" av "studenter".
Ett exempel på en person som spelar genom spelet:
Så här hanterar IMPALA-systemet samma uppgift:
En av de största utmaningarna för att utveckla AI är tid och behovet av hög datorkraft. Även när de är autonoma, behöver maskiner regler som de kan följa i sina egna experiment och hitta sätt att lösa problem. Eftersom vi inte bara kan bygga robotar och låta dem lära, använder utvecklare simuleringar och djupa inlärningstekniker.
För att moderna neurala nätverk ska lära sig något måste de behandla en enorm mängd information, i detta fall miljarder ramar. Och ju snabbare de gör det, desto mindre tid tar det att lära sig.
Kampanjvideo:
Med tillräckligt med processorer säger DeepMind att IMPALA når 250 000 bilder per sekund, eller 21 miljarder ramar per dag. Detta är en absolut post för sådana uppgifter enligt The Next Web. Utvecklarna kommenterar själva att deras AI-system klarar uppgiften bättre än liknande maskiner och personer.
I framtiden kan liknande AI-algoritmer användas inom robotik. Genom att optimera maskininlärningssystem kommer robotar att anpassa sig till sin miljö snabbare och arbeta mer effektivt.
Nikolay Khizhnyak
