På USA: s västkust försöker världens mest värdefulla företag att göra artificiell intelligens smartare. Google och Facebook skryter av experiment med miljarder foton och tusentals högpresterande processorer. Men i slutet av förra året överträffade ett projekt i östra Tennessee tyst omfanget av alla företags AI-laboratorier. Och det drivs av den amerikanska regeringen.
Den amerikanska regeringens superdator bryter rekord
Det rekordbrytande projektet involverade världens starkaste superdator, toppmötet, vid Oak Ridge National Laboratory. Denna bil vann kronan i juni förra året och gav tillbaka titeln till USA fem år senare när Kina toppade listan. Som en del av ett klimatforskningsprojekt lanserade en gigantisk dator ett maskininlärningsexperiment som var snabbare än någonsin tidigare.
Toppmötet, som omfattade ett område som motsvarar två tennisbanor, använde mer än 27 000 kraftfulla GPUer i detta projekt. Han använde deras kraft för att utbilda djupa inlärningsalgoritmer, själva tekniken som understödjer avancerad konstgjord intelligens. I djup inlärning utför algoritmer övningar med en miljard miljarder operationer per sekund, känd i superdatorcirkler som exaflop.
"Djupt lärande har aldrig uppnått denna prestationsnivå tidigare," säger Prabhat, forskarlagsledare vid National Energy Research Center vid Lawrence Berkeley National Laboratory. Hans team samarbetade med forskare vid toppmötets huvudkontor, Oak Ridge National Laboratory.
Som ni kan gissa fokuserade AI-utbildningen på världens starkaste dator på en av världens största utmaningar - klimatförändringar. Tekniska företag utbildar algoritmer för att känna igen ansikten eller vägskyltar; regeringens forskare har utbildat dem att känna igen vädermönster som cykloner från klimatmodeller som komprimerar hundraårsprognoser om jordens atmosfär i tre timmar. (Det är dock oklart hur mycket energi projektet krävde och hur mycket kol som släpptes ut i luften i denna process).
Kampanjvideo:
Toppmöteexperimentet har konsekvenser för framtiden för artificiell intelligens och klimatologi. Projektet visar den vetenskapliga potentialen att anpassa djup inlärning till superdatorer som traditionellt simulerar fysiska och kemiska processer som kärnkraftsexplosioner, svarta hål eller nya material. Det visar också att maskininlärning kan dra nytta av mer datorkraft - om du kan hitta det - och ge genombrott i framtiden.
"Vi visste inte att det kunde göras i den här skalan förrän vi gjorde det," säger Rajat Monga, CTO på Google. Han och andra Googlers hjälpte projektet genom att anpassa företagets open source TensorFlow-maskininlärningsprogramvara för Summits gigantiska skala.
Mycket av arbetet med djup inlärningsskalning har gjorts i datacentra för internetföretag, där servrar arbetar tillsammans om problem och separerar dem eftersom de är relativt osammanhängande snarare än samlade i en jättedator. Superdatorer som Summit har en annan arkitektur, med dedikerade höghastighetsanslutningar som länkar sina tusentals processorer till ett enda system som kan fungera som en helhet. Fram till nyligen har det varit relativt lite arbete med att anpassa maskininlärning till att arbeta med den här typen av hårdvara.
Monga säger att arbetet med att anpassa TensorFlow till toppmöte skala också kommer att bidra till Googles ansträngningar att utöka sina interna system för konstgjord intelligens. Nvidia-ingenjörer deltog också i detta projekt, och se till att tiotusentals Nvidia GPU: er i denna maskin fungerar utan problem.
Att hitta sätt att utnyttja mer datorkraft i djupa inlärningsalgoritmer har bidragit till den nuvarande tekniska utvecklingen. Samma teknik som Siri använder för röstigenkänning och Waymo-bilar för att läsa vägskyltar blev användbar 2012 efter att forskare anpassade den för att köra på Nvidia GPU: er.
I en analys som publicerades i maj förra året uppskattade forskare vid OpenAI, ett San Francisco forskningsinstitut grundat av Elon Musk, att mängden datorkraft i de största experimentella maskininlärningsförsöken har fördubblats ungefär var 3,43 månad sedan 2012; detta skulle motsvara en 11-faldig ökning på ett år. Denna progression hjälpte Alfabetet att slå mästarna i utmanande bräd- och videospel och förbättrade också noggrannheten för Googles översättare.
Google och andra företag skapar för närvarande nya typer av AI-aktiverade chips för att fortsätta denna trend. Google säger att pods med tusentals AI-chips nära avstånd - duplicerade tensorprocessorer, eller TPU: er - kan ge 100 petaflops processorkraft, en tiondel av den hastighet som toppmötet når.
Toppmötets bidrag till klimatvetenskap visar hur gigantisk AI kan förbättra vår förståelse för framtida väderförhållanden. När forskare genererar hundraåriga väderprognoser blir läsning av den resulterande prognosen utmanande.”Tänk dig att du har en YouTube-film som har körts i 100 år. Det finns inget sätt att manuellt hitta alla katter och hundar i den här filmen, säger Prabhat. Vanligtvis används programvara för att automatisera denna process, men den är inte perfekt. Toppmötets resultat visade att maskininlärning kan göra detta mycket bättre, vilket skulle hjälpa till att förutsäga stormar som översvämningar.
Enligt Michael Pritchard, professor vid University of California, Irvine, är att relativt djup inlärning av superdatorer en relativt ny idé som kom på en lämplig tidpunkt för klimatforskare. Avmattningen i utvecklingen av traditionella processorer har lett till att ingenjörer utrustar superdatorer med ett ökande antal grafikchips för att förbättra prestandan mer konsekvent. "Det är dags att du inte längre kan öka processorkraften på vanligt sätt", säger Pritchard.
Denna förskjutning gjorde att traditionell modellering stannade och var därför tvungen att anpassa sig. Det öppnar också dörren till att utnyttja kraften i djup inlärning, som naturligtvis lämpar sig för grafikchips. Kanske får vi en tydligare bild av framtiden för vårt klimat.
Ilya Khel