Amazons konstgjorda intelligens, utformad för att sortera CV: s sökande, rankade män högre än kvinnor. I synnerhet avvisade han CV med ordet”feminin” och erbjöd att anställa kandidater som använde typiska maskulina verb i sitt tal, även om dessa människor inte hade de nödvändiga färdigheterna. Som ett resultat var företaget tvungna att stänga projektet.
Konstgjord HR-intelligens
Amazons experter på maskininlärning har funnit att den konstgjorda intelligensen som behandlar CV för kandidater till tjänster hos företaget diskriminerar kvinnliga arbetssökande, rapporterade Reuters. Denna funktion integrerades inte avsiktligt i systemet - det var resultatet av maskininlärning.
En konstgjord intelligensbaserad CV-sorteringsmotor har utvecklats hos Amazon sedan 2014 av ett 12-personers team i Edinburgh. Redan 2015 märkte företaget att det nya systemet inte följde principen om könsneutralitet vid utvärdering av kandidater för programvaruutvecklingsställningar och andra tekniska lediga jobb.
Snart insåg de orsaken: faktum är att systemet tränades på de CV som företaget lagt in under de senaste tio åren. De flesta av dessa meritförteckningar hölls av män, vilket i allmänhet återspeglar situationen inom IT-branschen. Som ett resultat lärde Amazons konstgjorda intelligens att manliga arbetssökande är att föredra framför kvinnor.
Språklig avslag
Kampanjvideo:
Som ett resultat började konstgjord intelligens att kassera CV som innehåller ordet "kvinnlig" i sådana uttryck som "kapten för kvinnans schackklubb." Mekanismen nedgraderade också betygsekonomer för två kvinnliga högskolor, men Reuters källor angav inte deras namn. Vid utvärdering av återuppgifter gav konstgjord intelligens dem mellan en och fem stjärnor - mycket lik hur köpare betygsätter produkter på Amazon.
Systemet uppmärksammade också andra ord. Utvecklarna har skapat 500 datormodeller för olika jobbansvar och geografiska platser. Varje modell tränades för att känna igen cirka 50 tusen signalord som fanns i sökandens CV.
Det är anmärkningsvärt att mekanismen ignorerade ord som betecknar färdigheter som ofta skrivs ut i meritförteckningar för IT-proffs, såsom förmågan att skriva olika koder, etc. I stället spårade systemet till exempel typiska verb för manligt tal i självbeskrivningen av kandidater, som "uppfyllda" (avrättad) eller "fångad", eftersom de regelbundet ses i gamla CV som maskinen lärde sig av. Med denna strategi var könsdiskriminering inte det enda problemet - mekanismen rekommenderade ofta människor som inte hade de nödvändiga färdigheterna för tjänsten.
Projektets ytterligare öde
Amazon har justerat systemet så att det inte längre svarar på signalord. Detta var emellertid inte en garanti för att mekanismen inte skulle hitta ett annat sätt att identifiera CV som ägs av kvinnor. I början av 2017 blev företaget desillusionerade av projektet och upplöst teamet. Reuters källor säger att HR-specialisterna tog hänsyn till systemets rekommendationer men förlitade sig aldrig enbart på dem.
En av källorna säger att projektet är avslutat. En annan hävdar att ett nytt team bildades i Edinburgh för att fortsätta utveckla mekanismen, men den här gången med fokus på kapital och inkludering. En annan källa rapporterar att en kraftigt modifierad version av motorn nu används för att utföra rutinmässigt arbete, till exempel att ta bort duplicerade CV från databasen.