Utanför fönstret är 2022. Du kör en självkörande bil, som vanligt, genom staden. Bilen närmar sig ett stoppskylt, som den har gått många gånger, men den här gången stoppar den inte framför den. För dig är detta stoppskylt som de andra. Men för en bil är det helt annorlunda. Några minuter tidigare, utan att varna någon, klistrade angriparen en liten skylt på skylten, osynlig för det mänskliga ögat, men vilken teknik inte kan märka. Det vill säga ett litet klistermärke på skylten förvandlade stoppskylt till något helt annat än stoppskylt.
Allt detta kan verka otroligt. Men ett växande forskningsområde bevisar att konstgjord intelligens kan luras till något liknande om det ser en liten detalj som människor inte märker. Eftersom maskininlärningsalgoritmer alltmer visas på våra vägar, vår ekonomi, vårt sjukvårdssystem hoppas datavetare att lära sig mer om hur man skyddar dem från sådana attacker - innan någon verkligen försöker lura dem.
"Detta är ett växande problem i maskininlärningen och AI-gemenskapen, särskilt eftersom dessa algoritmer används mer och mer," säger Daniel Lode, biträdande professor vid institutionen för datavetenskap vid University of Oregon.”Om skräppost passerar eller blockeras av flera e-postmeddelanden är detta inte världens slut. Men om du litar på ett synssystem i en självkörande bil som berättar för bilen hur man kör utan att krascha i någonting, är insatserna mycket högre.”
Oavsett om maskinen går sönder eller blir hackad, kommer maskininlärningsalgoritmerna som "ser" världen att drabbas. Och så till bilen, panda ser ut som ett gibbon, och skolbussen ser ut som en struts.
I ett experiment visade forskare från Frankrike och Schweiz hur sådana störningar kan orsaka en dator som misstagar en ekorre för en grå räv och en kaffekanna för en papegoja.
Hur är detta möjligt? Tänk på hur ditt barn lär sig att känna igen siffror. När man tittar på symbolerna en efter en börjar barnet märka några vanliga egenskaper: vissa är högre och smalare, sexår och nio innehåller en stor slinga, och åtta innehåller två, och så vidare. När de väl ser tillräckligt med exempel kan de snabbt känna igen nya siffror som fyrtal, åttor eller tripletter - även om de, tack vare teckensnittet eller handskrivningen, inte ser exakt ut som andra fyra, åttor eller tripletter de någonsin har haft. sett förut.
Maskininlärningsalgoritmer lär sig att läsa världen genom en något liknande process. Forskare matar datorn hundratals eller tusentals (vanligtvis märkta) exempel på vad de vill hitta på datorn. När maskinen går igenom informationen - detta är ett nummer, det är inte det, det är ett nummer, det är inte det - det börjar märka de funktioner som leder till ett svar. Snart kanske hon tittar på bilden och säger: "Det är fem!" med hög precision.
Kampanjvideo:
Således kan både mänskliga barn och datorer lära sig att känna igen ett stort antal objekt - från antal till katter, från båtar till enskilda mänskliga ansikten.
Men till skillnad från ett mänskligt barn uppmärksammar inte en dator på detaljer på hög nivå - som kattens lurna öron eller de fyra distinkta vinkelformerna. Han ser inte hela bilden.
Istället tittar det på enskilda pixlar i en bild - och det snabbaste sättet att separera objekt. Om den överväldigande majoriteten av enheterna har en svart pixel vid en viss punkt och några vita pixlar på andra punkter, kommer maskinen mycket snabbt att lära sig att bestämma dem med några pixlar.
Nu tillbaka till stoppskylt. Genom att påtagligt korrigera pixlarna i bilden - experter kallar denna störning "störningar" - kan du lura datorn till att tro att det faktiskt inte finns något stoppskylt.
Liknande studier från Evolutionary Artificial Intelligence Lab vid University of Wyoming och Cornell University har producerat en hel del optiska illusioner för artificiell intelligens. Dessa psykedeliska bilder av abstrakta mönster och färger är till skillnad från vad som helst för människor, men uppfattas snabbt av datorn som ormar eller gevär. Detta antyder hur AI kan titta på något och inte se objektet eller se något annat istället.
Denna svaghet är vanlig i alla typer av maskininlärningsalgoritmer. "Man kan förvänta sig att varje algoritm ska ha ett hål i rustningen," säger Yevgeny Vorobeichik, biträdande professor i datavetenskap och datoranvändning vid Vanderbilt University. "Vi lever i en mycket komplex multidimensionell värld, och algoritmer, till sin natur, påverkar bara en liten del av den."
Sparrow är "extremt säker" på att om dessa sårbarheter finns, kommer någon att ta reda på hur man utnyttjar dem. Förmodligen har någon redan gjort det.
Tänk på skräppostfilter, automatiserade program som filtrerar bort besvärliga e-postmeddelanden. Spammare kan försöka komma runt denna barriär genom att ändra stavningen på orden (istället för Viagra - vi @ gra) eller lägga till en lista med "bra ord" som vanligtvis finns i vanliga bokstäver: som "aha", "mig", "glad". Samtidigt kan spammare försöka ta bort ord som ofta visas i skräppost, till exempel "mobil" eller "vinna".
Var kan svindlare komma till en dag? En självkörande bil som luras av ett stoppskyltar är ett klassiskt scenario som tänktes upp av experter på området. Ytterligare data kan hjälpa pornografi att glida genom säkra filter. Andra kan försöka öka antalet kontroller. Hackare kan finjustera koden för skadlig programvara för att undvika brottsbekämpning.
Angripare kan ta reda på hur man skapar saknade data om de får en kopia av en maskininlärningsalgoritm som de vill lura. Men det behöver inte vara för att komma igenom algoritmen. Man kan helt enkelt bryta den med brute kraft genom att kasta lite olika versioner av e-post eller bilder på den tills de passerar. Med tiden kan det till och med användas för en helt ny modell som vet vad de goda killarna letar efter och vilka data man ska producera för att lura dem.
"Människor har manipulerat maskininlärningssystem sedan de först introducerades," säger Patrick McDaniel, professor i datavetenskap och teknik vid University of Pennsylvania. "Om människor använder dessa metoder kanske vi inte ens vet om det."
Dessa metoder kan inte bara användas av bedrägerier - människor kan gömma sig från röntgenögonen för modern teknik.
"Om du är någon form av politisk dissident under en repressiv regim och du vill genomföra händelser utan kunskap från underrättelsebyråerna, kan du behöva undvika automatiska observationsmetoder baserade på maskininlärning," säger Lode.
I ett projekt som publicerades i oktober skapade forskare vid Carnegie Mellon University ett par glasögon som på ett subtilt sätt kan vilseleda ansiktsigenkänningssystemet, vilket orsakar en dator som misstagar skådespelerskan Reese Witherspoon för Russell Crowe. Det låter löjligt, men en sådan teknik kan komma till nytta för alla som är desperata efter att undvika censur av makten.
Vad ska man göra med allt detta? "Det enda sättet att helt undvika detta är att skapa en perfekt modell som alltid kommer att vara korrekt," säger Lode. Även om vi skulle kunna skapa konstgjord intelligens som överträffar människor på alla sätt, kan världen fortfarande glida en gris på en oväntad plats.
Maskininlärningsalgoritmer bedöms vanligtvis efter deras noggrannhet. Ett program som känner igen stolar 99% av tiden kommer helt klart att vara bättre än ett som känner igen 6 stolar av 10. Men vissa experter föreslår ett annat sätt att bedöma algoritmens förmåga att hantera en attack: desto svårare desto bättre.
En annan lösning kan vara att experter kan ställa in takten för program. Skapa dina egna exempel på attacker i labbet baserat på de kriminella kapaciteten enligt din åsikt och visa dem sedan till maskininlärningsalgoritmen. Detta kan hjälpa det att bli mer motståndskraftigt över tid - naturligtvis förutsatt att testattackerna är av den typ som kommer att testas i den verkliga världen.
”Maskininlärningssystem är ett verktyg för tänkande. Vi måste vara intelligenta och rationella om vad vi ger dem och vad de berättar för oss,”sa McDaniel. "Vi borde inte behandla dem som perfekta sanningar."
ILYA KHEL
