Ledarna för mer än hundra av världens ledande företag för konstgjord intelligens är mycket bekymrade över utvecklingen av "mördarerobotar". I ett öppet brev till FN varnade dessa företagsledare, inklusive Elon Musk från Tesla och grundarna av Googles DeepMind, att användningen av autonom vapenteknologi skulle kunna antas av terrorister och fördjupningar eller att hackas till viss del.
Men det verkliga hotet är mycket mer allvarligt - och det är inte bara mänskligt fel, utan också maskinbrott. Undersökning av komplexa system visar att de kan bete sig mycket mer oförutsägbart än man kan dra slutsatsen av summan av enskilda handlingar. Å ena sidan betyder detta att det mänskliga samhället kan bete sig mycket annorlunda än du kan förvänta dig genom att studera individernas beteende. Å andra sidan gäller det samma för teknik. Till och med ekosystem av enkla program för konstgjord intelligens - som vi kallar dumma, bra bots - kan överraska oss. Även enskilda bots kan uppträda hemskt.
De enskilda elementen som utgör komplexa system, till exempel ekonomiska marknader eller global väder, tenderar inte att interagera på ett enkelt linjärt sätt. Detta gör dessa system mycket svåra att modellera och förstå. Till exempel, även efter år av klimatforskning, är det omöjligt att förutsäga vädret på lång sikt. Dessa system är lika känsliga för de minsta förändringarna som de reagerar explosivt. Det är väldigt svårt att veta exakt tillståndet för ett sådant system vid en given tidpunkt. Allt detta gör dessa system internt oförutsägbara.
Alla dessa principer gäller stora grupper av människor som agerar på sitt eget sätt, vare sig det är mänskliga samhällen eller grupper av AI-bots. Forskare studerade nyligen en typ av komplexa system som använde bra bots för att automatiskt redigera Wikipedia-artiklar. Dessa olika bots är designade, skrivna och används av betrodda Wikipedia-redaktörer, och deras underliggande programvara är öppen källkod och tillgänglig för alla. Individuellt har de ett gemensamt mål att förbättra encyklopedin. Men deras kollektiva beteende visade sig vara förvånansvärt ineffektivt.
Väl etablerade regler och konventioner är kärnan i hur dessa bots fungerar på Wikipedia, men eftersom webbplatsen inte har ett centralt kontrollsystem finns det ingen effektiv samordning mellan de personer som kör de olika botsna. Resultaten avslöjade ett par bots som avbröt varandras redigeringar i flera år och ingen märkte det. Och naturligtvis, eftersom dessa bots inte lär sig alls, så märkte de inte heller.
Dessa bots är utformade för att påskynda redigeringsprocessen. Men små skillnader i utformningen av bots, eller mellan de människor som använder dem, kan leda till ett enormt slöseri med resurser i ett pågående "redigera krig" som skulle kunna lösas mycket snabbare av redaktörer.
Forskarna fann också att bots uppförde sig annorlunda i olika språkversioner av Wikipedia. Reglerna, verkar det, är nästan desamma, målen är identiska, teknologierna liknar. Men på den tyskspråkiga Wikipedia var bot-samarbetet mycket mer effektivt och produktivt än till exempel på portugisiska. Detta kan bara förklaras av skillnaderna mellan de mänskliga redaktörerna som körde dessa bots i olika miljöer.
Kampanjvideo:
Exponential förvirring
Bots från Wikipedia har inte bred autonomi och systemet fungerar inte längre i enlighet med målen för enskilda bots. Men Wikimedia Foundation planerar att använda AI som ger mer autonomi för dessa bots. Och detta kommer sannolikt att leda till ännu mer oförutsägbart beteende.
Ett bra exempel på vad som kan hända visas av bots som är utformade för att prata med människor när de tvingas kommunicera med varandra. Vi är inte längre förvånade över svar från personliga assistenter som Siri. Men få dem att kommunicera med varandra så kommer de snabbt att börja bete sig på oväntade sätt, argumentera och till och med förolämpa varandra.
Ju större systemet blir och ju mer autonom varje bot blir, desto mer komplex och oförutsägbar kommer systemets framtida beteende att bli. Wikipedia är ett exempel på ett stort antal relativt enkla bots på jobbet. Chatbot-exemplet är ett exempel på ett litet antal relativt komplexa och uppfinningsrika bots - i båda fallen uppstår oförutsedda konflikter. Komplexitet, och därför oförutsägbarhet, växer exponentiellt när personlighet läggs till systemet. Därför, när system med ett stort antal mycket komplexa robotar dyker upp i framtiden, kommer deras oförutsägbarhet att gå utöver våra fantasi.
Flammande galenskap
Självkörande bilar lovar till exempel att göra ett genombrott i effektivitet och trafiksäkerhet. Men vi vet ännu inte vad som kommer att hända när vi har ett stort vildt system med helt autonoma fordon. De kan bete sig annorlunda även i en liten flotta av enskilda fordon i en kontrollerad miljö. Och ännu mer oförutsägbart beteende kan manifestera sig när självkörande bilar, "tränade" av olika människor på olika platser, börjar interagera med varandra.
Människor kan anpassa sig till nya regler och konventioner relativt snabbt, men de har svårt att växla mellan system. Konstgjorda medel kan vara ännu svårare. Om till exempel en bil "utbildad i Tyskland" reser till Italien, vet vi inte hur den kommer att behärska de oskrivna kulturella konventionerna som många andra "utbildade i Italien" -bilar följer. Något vardagligt som att korsa en korsning kan bli dödligt riskabelt eftersom vi helt enkelt inte vet om bilarna kommer att samverka som förväntat eller om de kommer att bete sig oförutsägbart.
Tänk nu på mördningsrobotarna som trakasserar Musk och hans kollegor. En mördningsrobot kan vara mycket farlig i fel händer. Vad sägs om systemet med oförutsägbara mördningsrobotar? Tänka själv.
Ilya Khel