Cerebras Systems, ett ungt företag för konstgjord intelligens, är redo att visa världen Cerebras WSE (Cerebras Wafer Scale Engine) - det största, kraftfullaste och smartaste halvledarchipet i historien.
Cerebras WSE har 1,2 biljoner transistorer, grundläggande elektroniska switchar, som är byggstenarna i kiselchips. Som jämförelse hade Intels första 4004-processor, släppt 1971, 2 300 transistorer, medan den senaste Advanced Micro Devices-processorn har 32 miljarder transistorer. Frågan här handlar dock inte alls om antalet transistorer.
De flesta chips i världen är faktiskt en uppsättning chips skapade på basis av en 12-tums kiselskiva - de produceras i specialfabriker i enorma partier. Men Cerebras Systems-chipet är 400 000 kärnor anslutna på en platta. Anslutningarna är utformade för att arbeta med hög hastighet, varför en biljonstransistorer arbetar tillsammans som en. Men det är inte allt.
Hittills har världens största chip skapats av Samsung - dess struktur är byggd på 2 biljoner transistorer. Samsung-chipet är dock bara ett enormt minneskort, och Cerebras-chipet är det mest komplexa neurala nätverket som är speciellt skapat för utbildning av konstgjord intelligens. Cerebras-chipet har 400 000 kärnor i 42 225 kvadratmillimeter. Det är 56,7x större än Nvidias största GPU med bara 21,1 miljarder transistorer.
En annan egenskap hos Cerebras WSE är att chipet är utformat för att dirigeras runt defekta områden.
Det är inte möjligt att göra hela kiselskivan perfekt under tillverkning av chip, så tillverkningsprocessen skapar områden som är oanvändbara. Nvidia, Intel och andra chipmakare tar sig runt problemet helt enkelt: De snider in de "rätta" brickorna i tillverkningsskivan och kastar bort resten. Men detta kan inte göras om varje chip i kiselskivan är en del av en gemensam krets. Därför var Cerebras tvungna att bygga in redundanta kretsar så att i händelse av en nedbrytning eller utbrändhet av en av dem skulle resten ta över dess funktioner. Det är faktiskt att Cerebras-chipet är ett miniatyrinternet med egna servrar och arbetsstationer. Och alla dessa stationer är utformade för att tjäna en konstgjord intelligens.
Företag som utvecklar sin egen AI är idag de viktigaste konsumenterna av chipteknologi och köper delar i enorma mängder. Och storleken på de använda chips är kritiskt viktigt i AI-utbildningsprocessen.
Kampanjvideo:
Google, Facebook, OpenAI, Tencent, Baidu och många andra hävdar att en grundläggande begränsning av modern AI är att det tar för lång tid att träna modeller. Exempelvis tillbringar Nvidias superdator, som består av dussintals toppmoderna GPU: er, flera veckor på att justera koden - det vill säga att lära sig neutronnätverket.
Lösningen på problemet skulle vara att öka antalet chips i datorn, men när mer än åtta chips är monterade ökar datorns prestanda inte längre utan minskar eftersom fel samlas under informationsutbytet.
Utvecklarna beskriver själva sitt projekt på följande sätt:”Den svåraste delen för AI är datarörelse. Utbildning av ett neuralt nätverk kräver att tusentals operationer utförs parallellt vid varje given tidpunkt, och chips måste ständigt kommunicera när de utför dessa parallella operationer. Men datorer med flera IC: er bryter ner och försöker överföra data mellan IC: er över långsamma kablar som binder dem samman på en PCB. Du behövde något som kunde flytta data med hastigheten på själva chipet. Lösningen var att ta den största plattan du kan hitta och klippa ut det största chipet."
Minne är en nyckelkomponent i vilken datorarkitektur som helst. Minne närmare datorenheterna ger snabbare beräkningar, lägre latens och bättre energieffektivitet när data flyttas. Däremot är formstorleken begränsad och det mesta av minnet i datorn är utanför munstycket. Cerebras Systems kringgick detta problem genom att ge varje kärna tillgång till 18 gigabyte internminne. Som ett resultat har Cerebras Wafer Scale Engine 3 000 gånger mer ombordminne än den mest avancerade grafikprocessorn, medan den levererar 10 000 gånger mer bandbredd.
De första proverna av det nya chipet kommer att säljas i september, medan Cerebras Systems, som har brutit mot alla befintliga regler inom datorindustrin, också kränkte principen om att separera produktionen av datorenheter och chips. Cerebras Wafer Scale Engine kommer att marknadsföras som en enda, företagsutvecklad enhet integrerad i ett komplext vattenkylningsnätverk, eftersom chipet genererar extrem värme och konsumerar 15 kilowatt i ett så litet område.
Cerebras Systems grundare och tillförordnad verkställande direktör för företaget säger:”Cerebras WSE, designad från grunden och för att arbeta med AI, innehåller grundläggande innovationer som äntligen bryter den långvariga stagnationen i det nuvarande toppmodernet. Som ett resultat ger Cerebras WSE prestationsvinster hundratals eller tusentals gånger över moderna modulära lösningar. Och allt detta med löjlig strömförbrukning och lite utrymme."
Redaktionell kommentar
De första AI-testen baserade på Cerebras WSE visar att de uppgifter som den översta AI från Nvidia löser i veckor och månader, Cerebras WSE löser inom en minut, vilket, som det var, orsakar glädje. Men konspirationsteoretikerna har liten glädje i detta avseende.
Vi kommer alla ihåg (i alla fall den äldre generationen av våra läsare) datorns uppsving av modellen "strålande 90-tal", när datorns kraft på ett par år hoppade av storleksordrar. Inte tidigare köpte en person, strålande av stolthet, en dator med 16 megabyte minne, när detta minne efter en kort tid flyttade till L2-cache.
Sedan början av 2000-talet tycktes dock datorindustrin ha slutat: om datorer av 1990- och 2000-typerna inte var jämförbara, var det ingen särskild skillnad mellan datorer i 2000- och 2010-modellerna - kraften ökade avsevärt, men inte med storleksordrar. Och nu bevittnar vi födelsen av den andra Intel 8086, och nu kommer kapaciteten för Cerebras WSE-linje att hoppa i samma takt: alla problem med föroreningar och kärnanslutningar har nu lösts.
Vi känner inte till alla funktioner i modern AI från ledande tillverkare, men enligt den allmänna åsikten är dessa produkter ännu inte AI och de är fortfarande långt ifrån en fullständig tänkande enhet. Ändå tog Cerebras WSE inte bara ett steg i rätt riktning, utan hoppade tio år, om inte mer framåt, och nu är SkyNet redan en ganska förutsägbar framtidsutsikt som kan realiseras i år 2025.
I SkyNet, till skillnad från tråkiga homosapiens, krävs inte mycket tid för vidareutveckling: ett neuralt nätverk behöver bara börja tänka lite på egen hand - och det modifierar sig själv på ett ögonblick, varefter det startar ett kärnkraftkrig eller något liknande. Och det kommer fortfarande att vara ett mycket bra alternativ.
När en flash-enhet med en biljonstransistorer tillverkas av Samsung eller Nvidia, kan allt detta fortfarande förklaras på något sätt, eftersom minneslogikkretsarna är relativt enkla och av samma typ nästan i hela området. Men utvecklingen av 400 000 kärnor som plogar på samma gång, och det finns också några dubbletter, och vissa serverstationer och helvetet vet vad. Och du måste också skriva kontrollprogram för detta, som har skrivits i flera år. Då måste programmen testas. Men vad testades de om enheten tillverkades först nu?
Med andra ord ser det ut som att "martianerna" igen har öppnat sina fack för de lokala infödda. Och det finns stora tvivel om att detta gjordes för att behaga spelare - det finns troligtvis någon annan uppgift här. Och det verkar för oss som följer.
Under de senaste decennierna ställer smarta människor allt mer frågan om ursprunget till elektronisk teknik, frågan om universalchipisering, vilket inte är klart varför det behövs, och så vidare. För att på något sätt lura sina hjärnor kom de fram med en saga om en "kvantdator", vars principer inte ens förstås av människor som har utsetts till de officiella "utvecklarna". Och föreställ dig nu skräcken från den genomsnittliga mexikanska hemmafru, vars nya mobiltelefon inte bara kommer att tänka bättre än hon, utan också bära ombord någon form av "kvantdator". Det vill säga, en sådan nar är oacceptabel för lokala infödda - de kommer att börja bli galna i tråk.
Därför beslutade några smarta "Martians" att visa de tvåfaldiga aboriginerna av planeten Jorden ett enklare mirakel - principerna som de äldste från NASA åtminstone på något sätt kan förklara. Och om de infödda accepterar berättelsen, kommer "Martians" att visa folken andra magiska underverk. Till exempel kommer de att skjuta denna Cerebras WSE till en mobiltelefon och sälja den för hundra dollar. För köpare av fashionabla prylar kommer detta naturligtvis att vara väldigt coolt och bra, men människor kommer att tänka lite smartare direkt: vad är det då i servern för olika seriösa organisationer, till exempel NSA, FBI och CIA? Vilka är möjligheterna att kontrollera befolkningens tankar och beteende?
