Under flera år på 1980-talet valdes de sökande till St George's Hospital Medical School i London med hjälp av en högteknologisk metod. Ett datorprogram, en av de första i sitt slag, skannade återupptar och valde från alla ansökningar cirka 2 000 kandidater per år. Programmet granskade antagningsprotokollen, undersökte egenskaperna hos de framgångsrika sökande och justerades tills dess beslut matchade antagningskommitténs yttrande.
Programmet har dock lärt sig att hitta mer än bra betyg och tecken på akademisk prestation. Fyra år efter att programmet genomfördes fann två läkare på sjukhuset att programmet tenderade att avvisa kvinnliga sökande och individer med icke-europeiska namn, oavsett deras akademiska meriter. Läkarna fann att cirka 60 sökande helt enkelt nekades intervjuer varje år på grund av deras kön eller ras. Programmet införlivade köns- och rasförspänningar i de uppgifter som använts för dess utbildning - i själva verket fick de veta att läkare och utlänningar inte är de bästa kandidaterna för läkare.
Trettio år senare står vi inför ett liknande problem, men program med interna fördomar är nu mer utbredda och fattar beslut med ännu högre insatser. Konstgjorda intelligensalgoritmer baserade på maskininlärning används i allt från myndigheter till hälso- och sjukvård, fatta beslut och göra förutsägelser baserade på historiska data. Genom att undersöka mönster i uppgifterna absorberar de också fördomarna i uppgifterna. Google visar till exempel fler annonser för kvinnor med låg betalning än för män. Amazons leverans av en dag går förbi svarta kvarter och digitala kameror kämpar för att känna igen icke-vita ansikten.
Det är svårt att veta om algoritmen är partisk eller rättvis, och till och med datorexperter tycker det. En anledning är att detaljerna i skapandet av algoritmen ofta betraktas som egenutvecklad information, så de är noggrant bevakade av ägarna. I mer komplexa fall är algoritmerna så komplexa att även skaparna inte vet exakt hur de fungerar. Detta är problemet med den så kallade "svarta rutan" av AI - vår oförmåga att se insidan av algoritmen och förstå hur det kommer till en lösning. Om vi lämnas inlåsta kan vårt samhälle skadas allvarligt: den digitala miljön innehåller historisk diskriminering som vi har kämpat mot i många år, från slaveri och serfdom till diskriminering av kvinnor.
Dessa oro, som tidigare uttryckts i små datavetenskapssamhällen, får nu fart. Under de senaste två åren har ganska många publikationer dykt upp på detta område om insyn i artificiell intelligens. Tillsammans med denna medvetenhet växer en känsla av ansvar. “Finns det något vi inte ska bygga?” Frågar Keith Crawford, en forskare på Microsoft och medstifter av AI Now Insitute i New York.
”Maskininlärning har äntligen kommit fram. Vi försöker nu använda det för hundratals olika uppgifter i den verkliga världen, säger Rich Caruana, seniorforskare på Microsoft.”Det är möjligt att människor kommer att kunna distribuera skadliga algoritmer som påverkar samhället på lång sikt. Nu verkar det plötsligt att alla insåg att detta är ett viktigt kapitel på vårt område.”
Kampanjvideo:
Obehörig algoritm
Vi har använt algoritmer länge, men problemet med svarta rutorna är enastående. De första algoritmerna var enkla och transparenta. Vi använder fortfarande många av dem - till exempel för att bedöma kreditvärdigheten. Med varje ny användning kommer reglering in.
"Människor har använt algoritmer för att bedöma kreditvärdigheten i decennier, men dessa områden har haft några ganska starka bosättningar som har vuxit parallellt med användningen av prediktiva algoritmer," säger Caruana. Regleringsregler säkerställer att prediktiva algoritmer ger en förklaring för varje poäng: du avslogs för att du har mycket kredit eller för lite inkomst.
Inom andra områden, som det rättsliga systemet och reklam, finns det inga regler som förbjuder användning av medvetet oläsliga algoritmer. Du kanske inte vet varför du nekades ett lån eller inte hyrdes, eftersom ingen tvingar ägaren till algoritmen att förklara hur det fungerar. "Men vi vet att eftersom algoritmer tränas i verkliga data måste de vara partiska - eftersom den verkliga världen är partisk," säger Caruana.
Tänk till exempel på språk, en av de mest uppenbara källorna till partiskhet. När algoritmer tränas från skriven text, bildar de vissa samband mellan ord som förekommer oftare tillsammans. Till exempel lär de sig att "för en man att vara datorprogrammerare är detsamma som att en kvinna ska vara en hemmafru." När denna algoritm har till uppgift att hitta ett lämpligt CV för ett programmerarejobb, är det troligt att det väljs bland manliga kandidater.
Problem som dessa är ganska enkla att fixa, men många företag gör det helt enkelt inte. Istället kommer de att dölja sådana inkonsekvenser bakom en sköld med skyddad information. Utan tillgång till detaljerna i algoritmen kommer experter i många fall inte att kunna avgöra om det finns en förspänning eller inte.
Eftersom dessa algoritmer är hemliga och förblir utanför tillsynsmyndighetens jurisdiktion är det nästan omöjligt för medborgare att stämma skaparna av algoritmerna. 2016 avvisade Wisconsin Superior Court en persons begäran om att granska COMPAS: s inre verksamhet. Mannen Eric Loomis dömdes till sex års fängelse delvis på grund av att COMPAS ansåg honom "högrisk". Loomis säger att hans rätt till rättegångsprocess har kränkts av domarens beroende av en ogenomskinlig algoritm. Den slutliga ansökan till USA: s högsta domstol misslyckades i juni 2017.
Men hemliga företag kommer inte att njuta av sin frihet på obestämd tid. I mars kommer EU att anta lagar som kräver att företag kan förklara för intresserade kunder hur deras algoritmer fungerar och hur beslut fattas. USA har ingen sådan lagstiftning i verken.
Svartlåda kriminaltekniker
Oavsett om tillsynsmyndigheterna engagerar sig i allt detta kan en kulturell förändring i hur algoritmer utformas och distribueras minska förekomsten av partiska algoritmer. Eftersom fler och fler företag och programmerare förbinder sig att göra sina algoritmer transparenta och förklarbara, hoppas vissa att företag som inte gör det kommer att förlora sitt goda rykte i det offentliga ögat.
Tillväxten i datorkraft har gjort det möjligt att skapa algoritmer som är både exakta och förklarbara - en teknisk utmaning som utvecklare historiskt har misslyckats med att övervinna. Ny forskning tyder på att förklarbara modeller kan skapas som förutsäger återfall av brottslingar så exakt som en svart låda med kriminaltekniska forskare som COMPAS.
"Vi är klara - vi vet hur man skapar modeller utan svarta lådor," säger Cynthia Rudin, biträdande professor i datavetenskap och elektroteknik vid Duke University.”Men det är inte så lätt att uppmärksamma människors uppmärksamhet på detta arbete. Om statliga myndigheter slutade att betala för svartboxmodeller skulle det hjälpa. Om domare vägrar att använda svarta rutmodeller för dömning, kommer det också att hjälpa.”
Andra arbetar för att hitta sätt att testa algoritmernas giltighet genom att skapa ett system med kontroller och balanser innan algoritmen släpps till världen, precis som varje nytt läkemedel testas.
”Modeller tillverkas och distribueras för snabbt nu. Det finns ingen korrekt validering innan algoritmen släpps, säger Sarah Tan från Cornell University.
Helst bör utvecklare svepa undan kända fördomar - som kön, ålder och ras - och köra interna simuleringar för att testa deras algoritmer för andra problem.
Under tiden, innan du kommer till den punkt där alla algoritmer kommer att testas noggrant innan utgivningen, är det redan möjligt att avgöra vilka som kommer att drabbas av partiskhet.
I sitt senaste arbete beskrev Tan, Caruana och deras kollegor ett nytt sätt att förstå vad som kan hända under huven på svartboxalgoritmer. Forskare har skapat en modell som efterliknar den svarta rutan algoritmen och lär sig att uppskatta risken för recidivism med hjälp av COMPAS-data. De skapade också en annan modell som tränade på verkliga data för att visa om den förutsagda recidivismen faktiskt inträffade. Jämförelse av de två modellerna gjorde det möjligt för forskare att bedöma riktigheten för den förutsagda poängen utan att analysera algoritmen. Skillnader i resultaten från de två modellerna kan indikera vilka variabler, till exempel ras eller ålder, som kan vara viktigare i en viss modell. Deras resultat visade att COMPAS diskriminerar svarta människor.
Väl utformade algoritmer kan eliminera långvariga fördomar inom straffrätt, polisarbete och många andra samhällsområden.
Ilya Khel
