Konstgjord intelligens utvecklas aktivt i Ryssland och världen - inklusive emotionell. Han är intresserad av stora företag och ambitiösa startups som introducerar ny utveckling inom detaljhandel, marknadsföring, utbildning, bank och rekrytering. Enligt Mordor Intelligence uppskattades marknaden för känslomerkännande till 12 miljarder dollar 2018 och kommer att växa till 92 miljarder dollar år 2024.
Vad är emotionell AI
Emotion AI (Emotion AI) är en AI som gör det möjligt för en dator att känna igen, tolka och svara på mänskliga känslor. En kamera, mikrofon eller bärbar sensor läser en persons tillstånd och ett neuralt nätverk bearbetar data för att bestämma en känsla.
Det finns två huvudsakliga sätt att analysera känslor:
- Kontakt. En person sätts på en enhet som läser sin puls, kroppens elektriska impulser och andra fysiologiska indikatorer. Sådan teknik kan bestämma inte bara känslor utan också stressnivån eller sannolikheten för ett epileptiskt anfall.
- Kontaktlöst. Känslor analyseras på grundval av video- och ljudinspelningar. Datorn lär sig ansiktsuttryck, gester, ögonrörelser, röst och tal.
För att träna ett neuralt nätverk samlar dataforskare ett urval av data och markerar manuellt förändringen i en persons känslomässiga tillstånd. Programmet studerar mönster och förstår vilka tecken som hör till vilka känslor.
Neurala nätverk kan utbildas på olika data. Vissa företag och laboratorier använder videoband, andra studerar röst och andra drar nytta av flera källor. Men ju mer mångfaldiga data, desto mer exakt är resultatet.
Tänk på två huvudkällor:
Kampanjvideo:
Foton och stillbilder från video
Bilder behandlas först för att göra det lättare för AI att arbeta med. Ansiktsdrag - ögonbrynen, ögon, läppar och så vidare - är markerade med prickar. Neuralnätverket bestämmer punkternas placering, jämför dem med tecknen på känslor från mallen och avslutar vilken känsla som återspeglas - ilska, rädsla, överraskning, sorg, glädje eller lugn.
Det finns också en annan metod. Markörer av känslor noteras omedelbart i ansiktet - till exempel ett leende eller rynkande ögonbrynen. Sedan letar det neurala nätverket efter markörer på bilden, analyserar deras kombinationer och bestämmer personens tillstånd.
Studiet av känslomarkörer började på 1900-talet. Det var sant att de betraktades separat från neurala nätverk. Forskarna Paul Ekman och Wallace Friesen utvecklade Facial Action Coding System (FACS) 1978. Det bryter ner ansiktsuttryck i enskilda muskelrörelser, eller Action Units. Forskaren studerar motoriska enheter och jämför dem med känslor.
Röst och tal
Neuralnätverket extraherar många parametrar för röst från den akustiska signalen - till exempel ton och rytm. Hon studerar deras förändring i tid och bestämmer talarens tillstånd.
Ibland används ett spektrogram för träning - en bild som visar signalens styrka och frekvens över tid. Dessutom analyserar AI ordförråd för mer exakta resultat.
Var används tekniken
Försäljning och reklam
Den mest uppenbara användningen av teknik för känslomerkännande är inom marknadsföring. Med deras hjälp kan du bestämma hur en reklamvideo påverkar en person. För att göra detta kan du till exempel installera en struktur med en kamera som kommer att ändra reklam beroende på humör, kön och ålder för personer som går förbi.
En liknande design utvecklades av nystartade Cloverleaf och Affectiva. De introducerade en elektronisk hyllpunktsannons som heter shelfPoint som samlar in data om kundernas känslor. Ny teknik har testats av Procter & Gamble, Walmart och andra stora företag. Enligt Cloverleaf ökade försäljningen 10-40% medan kundengagemanget ökade 3-5 gånger.
Ett mer ovanligt alternativ är en robotkonsult med artificiell intelligens. Han kommer att interagera med klienter, läsa sina känslor och påverka dem. Och gör också anpassade erbjudanden.
Serviceroboten presenterades av den ryska starten Promobot. Den använder ett neuralt nätverk utvecklat av Neurodata Lab, som bestämmer känslor från flera källor samtidigt: inspelningar av ett ansikte, röst, rörelser, samt andning och pulsfrekvens.
Promobot säljer aktivt sina robotar utomlands. Under 2018 tecknade startupen ett kontrakt med det amerikanska företaget Intellitronix för 56,7 miljoner dollar, och i det följande gick man med på att leverera enheter till Saudiarabien, Israel, Kuwait och Sverige - för dem kommer företaget att få 1,1 miljoner dollar. Enligt Promobot arbetar idag 492 robotar i 34 länder runt om i världen som guider, portier, konsulter och promotorer.
banker
Tekniker för känslomedvetande hjälper bankerna att få kundåterkoppling utan undersökningar och förbättra servicen. Videokameror installeras i avdelningarna, och algoritmer för inspelning avgör besökarnas tillfredsställelse. Neurala nätverk kan också analysera klientens och operatörens röst och tal under ett samtal till kontaktcentret.
I Ryssland har de försökt implementera emotionell AI under lång tid: det testades på Sberbank redan 2015, och tre år senare lanserade Alfa-Bank sin pilot för att analysera känslor från video. Förutom inspelningar från övervakningskameror används samtalsinspelningar. VTB startade ett pilotprojekt för att implementera emotionell AI under 2019. Och Rosbank, tillsammans med Neurodata Lab, har redan testat bestämningen av kundernas känslor genom röst och tal. Klienten ringde banken, och nervnätverket analyserade hans tillstånd och konversationens betydelse. Dessutom märkte AI pauser i operatörens tal, röstvolym och kommunikationstid. Detta tillät inte bara att kontrollera tillfredsställelsen med tjänsten utan också att övervaka arbetet hos kontaktcenteroperatörerna.
Nu har Rosbank implementerat sin egen lösning för känslomedvetande. Istället för en akustisk signal analyserar systemet texten, medan noggrannheten förblir hög.
Talteknikcentret är också involverat i att känna igen känslor i tal (den kontrollerande andelen tillhör Sberbank). Smart Logger-tjänsten analyserar röst och ordförråd hos kunder och operatörer, samtalstid och pauser för att ta reda på tillfredsställelsen med tjänsten.
Underhållning sfär
System för känsla av känslor kan användas för att mäta publikens reaktion på en film. Disney genomförde 2017, i samarbete med forskare, ett experiment: installerade kameror i en biograf och anslutna djupinlärningsalgoritmer för att bedöma tittarnas känslor. Systemet kunde förutsäga människors reaktioner genom att observera dem i bara några minuter. Under experimentet samlade vi ett imponerande datasätt: 68 markörer från var och en av 3 179 tittare. Totalt erhölls 16 miljoner ansiktsbilder.
För samma ändamål har YouTube-videohosting skapat en egen AI som heter YouFirst. Det gör att videobloggare och företag kan testa innehåll innan de släpps till plattformen. Användare klickar på en speciell länk, går med på att ta en video och titta på videon. För närvarande bestämmer det neurala nätverket sina reaktioner och skickar data till kanalägaren.
Bland ryska företag kan reaktioner på videor analyseras till exempel av Neurobotics. Företaget har utvecklat EmoDetect-programmet som känner igen glädje, sorg, överraskning, rädsla, ilska, avsky och neutralitet. Programmet studerar upp till 20 lokala ansiktsdrag i frysramar och en serie bilder. Systemet analyserar motorenheter och använder FACS-ansiktskodningsteknologi. Det är möjligt att spela in video från en webbkamera. EmoDetect API låter dig integrera produkten med externa applikationer.
Emotionell AI börjar också tillämpas i spelindustrin. Det hjälper till att anpassa spelet och lägga till mer interaktion med spelaren.
Till exempel hjälpte det amerikanska emotionella AI-företaget Affectiva att skapa den psykologiska thrilleren Nevermind. Spänningen beror på spelarens tillstånd: handlingen blir mörkare när han är under stress, och vice versa.
Utbildning
Känslighetsigenkänning gäller också utbildning Det kan användas för att studera elevernas humör och uppmärksamhet under lektionen.
Ryska utvecklare har använt emotionell AI i Perm. Drivkraften för teknikutvecklingen var elevernas attacker mot grundskolestudenter och lärare. Rostelecom och starten New Vision har utvecklat programmet Smart and Safe School för att övervaka barnens känslomässiga tillstånd. Detta hjälper till att identifiera asociala ungdomar innan tragedi inträffar.
Det var baserat på Paul Ekman-systemet. Neuralnätverket analyserade de minsta muskelrörelserna med 150 poäng i ansiktet. En stor mängd data samlades in under lektionen: 5-6 tusen ramar för varje elev. Programmet studerade datasatsen och beräknade varje barns känslomässiga tillstånd. Enligt skaparna var noggrannheten 72%.
HR
Emotionell AI kan vara användbar i arbetet med personalen. Det hjälper till att bestämma anställdens tillstånd, märka hans trötthet eller missnöje i tid och att omfördela uppgifterna mer effektivt.
Dessutom hjälper teknik med rekrytering. Med hjälp av emotionell AI kan du kontrollera en kandidat för ett jobb eller fånga lögn under en intervju.
Det amerikanska företaget HireVue använder konstgjord intelligens för att utvärdera kandidater. Den sökande går igenom en videointervju, och nervnätverket bestämmer hans tillstånd med nyckelord, röstintonation, rörelser och ansiktsuttryck. AI belyser de egenskaper som är viktiga för jobbet och ger betyg, och HR-chefen väljer rätt kandidater.
London-baserad start Human använder video för att identifiera känslor och matcha dem till karaktärsdrag. Efter videointervjun får rekryterare en rapport som säger hur ärlig, nyfiken, upphetsad, entusiastisk eller säker på kandidaten var och hur han svarade på frågor.
Medicin
Inom detta område kommer inte bara icke-kontakt utan också kontaktmetoder för att bestämma känslor vara användbara. De implementeras aktivt av utländska nystartade företag - till exempel Affectiva och Brain Power. Företagens utveckling inkluderar AI-glasögon som hjälper barn och vuxna med autism att känna igen andras känslor och utveckla sociala färdigheter.
Men neurala nätverk kan hjälpa patienter utan bärbara sensorer. Forskare vid Massachusetts Institute of Technology har skapat ett neuralt nätverk som upptäcker depression genom att analysera en persons tal. Resultatet var 77%. Och start Beyond Verbal använder AI för att analysera psykisk hälsa hos patienter. I detta fall väljer nervnätverket endast röstbiomarkörer från ljudinspelningen.
bilar
Massachusetts Institute of Technology utvecklar ett AI som heter AutoEmotive som kommer att avgöra förarens och passagerarnas tillstånd. Han kommer inte bara att övervaka stressnivån, utan också försöka minska den - genom att spela mjuk musik, justera temperaturen i kabinen eller ta en mindre upptagen rutt.
Begränsningar av emotionell AI
Neuralnätverket kan inte ta hänsyn till sammanhanget
AI har lärt sig att identifiera grundläggande mänskliga känslor och tillstånd, men hittills klarar det inte mer komplexa situationer. Forskare konstaterar att ansiktsuttryck inte alltid visar exakt hur en person verkligen känner. Hans leende kan vara snett eller sarkastiskt, och detta kan endast bestämmas av sammanhang.
NtechLab-experter anser att det fortfarande är svårt att exakt bestämma orsaken till denna eller den där känslan.
NtechLab betonar att det är nödvändigt att erkänna inte bara ansiktsuttryck, utan också mänskliga rörelser. Olika data kommer att göra emotionell AI mycket effektivare. Daniil Kireev, en ledande forskare vid VisionLabs produktutvecklingsföretag för ansiktsigenkänning, håller med om detta. Enligt hans åsikt ökar noggrannheten hos algoritmerna med en stor mängd data.
”Det finns fel, antalet beror på många faktorer: kvaliteten på träningsprovet, det tränade nervnätverket, de data som det slutliga systemet fungerar på. Genom att lägga till information från olika källor - till exempel röst - kan du förbättra systemets kvalitet. Samtidigt är det viktigt att förstå att vi i ansiktet snarare bestämmer dess uttryck än den slutliga känslan. Algoritmen kan försöka bestämma den simulerade känslan, men för detta måste teknikutvecklingen ta ett litet steg framåt, säger Daniil Kireev.
Dålig utrustning
Externa faktorer påverkar algoritmernas kvalitet. För att känslighetsigenkänningsnoggrannheten ska vara hög måste videokameror och mikrofoner vara av hög kvalitet. Dessutom påverkas resultatet av belysning, kamerans placering. Enligt Daniil Kireev komplicerar okontrollerade förhållanden processen att bestämma en persons stater.
För att emotionell AI ska utvecklas behöver du hårdvara av hög kvalitet. Om du hittar bra utrustning och ställer in den korrekt kommer resultaten att vara mycket höga. Och när det blir mer tillgängligt och utbrett kommer teknik för känslorigenkänning att förbättras och implementeras mer aktivt.
”Systemets noggrannhet beror på många faktorer. Den viktigaste är kvaliteten på stillbilder från kameran, som ges till systemet för igenkänning. Kvaliteten på stillbildsramar påverkas i sin tur av kamerans inställningar och egenskaper, matrisen, belysningen, enhetens placering, antalet ansikten i ramen. Med rätt konfiguration av hårdvaran och programvaran är det möjligt att uppnå noggrannheten hos den upptäckta känslan upp till 90-95%,”konstaterar Vitaly Vinogradov, produktchef för molnvideobevakning och videoanalystjänst Ivideon.
Teknikperspektiv
Nu i Ryssland får emotionell AI bara fart. Startups utvecklar teknik och marknadsför sina produkter, och kunder testar dem med försiktighet.
Men Gartner uppskattar att år 2024 kommer mer än hälften av onlineannonserna att göras med hjälp av emotionell AI. Datorsyn, som används för att upptäcka känslor, kommer att bli en av de viktigaste teknikerna under de kommande 3-5 åren. Och MarketsandMarkets förutspår att marknaden för känsleanalys kommer att fördubblas år 2024 - från 2,2 miljarder dollar till 4,6 miljarder dollar.
Dessutom visar stora företag intresse för känslomedvetande - till exempel Procter & Gamble, Walmart, VTB, Rosbank, Sberbank och Alfa-Bank. Och inhemska startups utvecklar pilotprojekt som kommer att bli färdiga lösningar för företag i framtiden.
Evgeniya Khrisanfova
