Fältet med konstgjord intelligens jämförs ofta med oljeindustrin: när de utvinns och förfinas kan data, som olja, bli en mycket lönsam råvara. Men det visar sig nu att denna metafor expanderar. Liksom fossila bränslen har djup inlärning en enorm inverkan på miljön. I en ny studie bedömde forskare vid University of Massachusetts Amherst livscykeln för flera vanliga stora AI-modeller.
Den fann att denna process kan generera över 626 000 pund (cirka 300 000 kg) koldioxidekvivalent, nästan fem gånger utsläppen från en typisk bil på fem år (inklusive produktionen av själva bilen).
Hur AI-modeller utbildas
Detta är en fantastisk kvantifiering av vad AI-forskare länge har misstänkt.
Natural Language Processing Carbon Footprint
Kampanjvideo:
Uppsatsen behandlar specifikt processen för utbildning av en modell för naturlig språkbearbetning (NLP), ett underfält i AI som handlar om träningsmaskiner för att arbeta med mänskligt språk. Under de senaste två åren har NLP-samhället gjort flera viktiga milstolpar inom områdena maskinöversättning, meningsavslutning och andra standardvärderingsuppgifter. Den ökända OpenAI GPT-2-modellen har som exempel lyckats skriva övertygande falska nyheter.
Men sådana framsteg krävde utbildning av allt större modeller på sträckta datasätt från meningar som dras från Internet. Detta tillvägagångssätt är beräkningsbart dyrt och mycket energikrävande.
Forskarna tittade på de fyra modellerna i området som ansvarar för de största sprången i prestanda: Transformer, ELMo, BERT och GPT-2. De utbildade var och en av dem på en enda GPU under en dag för att mäta strömförbrukningen.
Därefter tog de antalet träningstimmar som anges i de ursprungliga modelldokumenten för att beräkna den totala energiförbrukningen under hela träningsprocessen. Denna mängd konverterades till motsvarigheten till pund koldioxid, vilket överensstämde med AWS energimix från Amazon, världens största molnleverantör.
Den fann att beräknings- och miljökostnaderna för utbildning ökade i förhållande till storleken på modellen och sedan ökade exponentiellt när den slutliga noggrannheten för modellen justerades. En neural arkitektursökning som försöker optimera en modell genom att gradvis ändra den neurala nätverksstrukturen genom test och fel medför extremt höga kostnader med liten prestandaförstärkning. Utan den lämnade den dyraste BERT-modellen ett koldioxidavtryck på 1 400 pund (635 kg), nära en transamerikansk rundtur.
Dessutom bör dessa siffror endast betraktas som baslinjer.
Sammantaget uppskattar forskarna att processen för att skapa och testa den slutliga modellen som är värd att publiceras krävde utbildning av 4 899 modeller på sex månader. När det gäller CO2-ekvivalent är det cirka 35 000 kg.
Betydelsen av dessa siffror är kolossal, särskilt med tanke på de nuvarande trenderna inom AI-forskning. I allmänhet försummar AI-forskning effektiviteten eftersom stora neurala nätverk erkänns som användbara för olika uppgifter, och företag med obegränsade datorresurser kommer att använda dem för att få en konkurrensfördel.
Ilya Khel
