Under de senaste tio åren har vi, tack vare den så kallade djupa inlärningsmetoden, fått de bästa systemen för artificiell intelligens - till exempel taligenkännare på smartphones eller den senaste automatiska översättaren från Google. Djupt lärande har faktiskt blivit en ny trend i de redan berömda neurala nätverk som har varit på mode och kommit ut i över 70 år. Neurala nätverk föreslogs först av Warren McCullough och Walter Pitts 1994, två forskare vid University of Chicago. 1952 gick de till jobbet vid Massachusetts Institute of Technology för att lägga grunden för den första avdelningen för kognition.
Neurala nätverk var en av huvudlinjerna för forskning inom både neurovetenskap och datavetenskap fram till 1969, då de enligt legenden dödades av MIT-matematikerna Marvin Minsky och Seymour Papert, som ett år senare blev co-chefer för MITs nya artificiella intelligenslaboratorium.
Denna metod upplevde en återupplivning på 1980-talet, bleknade något in i skuggorna under det första decenniet av det nya århundradet och återvände med fanfare under det andra, på toppen av den otroliga utvecklingen av grafikchips och deras processorkraft.
"Det finns en uppfattning att idéer inom vetenskap är som epidemier av virus," säger Tomaso Poggio, professor i kognition och hjärnvetenskap vid MIT.”Det finns förmodligen fem eller sex stora stammar av influensavirus, och en av dem kommer tillbaka med en avundsvärt 25-årig takt. Människor blir smittade, får immunitet och blir inte sjuka under de kommande 25 åren. Sedan dyker upp en ny generation, redo att smittas med samma virusstam. Inom vetenskapen blir människor förälskade i en idé, det gör alla galna, sedan slår de den ihjäl och får immunitet mot den - de tröttnar på den. Idéer bör ha en liknande frekvens."
Viktiga frågor
Neurala nätverk är en metod för maskininlärning där en dator lär sig att utföra vissa uppgifter genom att analysera träningsexempel. Vanligtvis märks dessa exempel manuellt i förväg. Ett objektigenkänningssystem kan till exempel dra upp tusentals taggade bilder av bilar, hus, kaffekoppar och så vidare och sedan kunna hitta visuella mönster i de bilder som konsekvent korrelerar med vissa taggar.
Ett neuralt nätverk jämförs ofta med den mänskliga hjärnan, som också har sådana nätverk, som består av tusentals eller miljoner enkla bearbetningsnoder, som är nära sammankopplade. De flesta moderna neurala nätverk är organiserade i lager av noder och data flyter genom dem i en enda riktning. En individuell nod kan associeras med flera noder i skiktet under den, från vilken den tar emot data, och flera noder i skiktet ovan, till vilken den överför data.
Kampanjvideo:
Noden tilldelar ett nummer till var och en av dessa inkommande länkar - "vikt". När nätverket är aktivt får noden olika uppsättningar data - olika nummer - för var och en av dessa anslutningar och multipliceras med lämplig vikt. Han lägger sedan till resultaten för att bilda ett enda nummer. Om detta nummer ligger under tröskeln överför inte noden data till nästa lager. Om numret överskrider tröskeln vaknar noden "genom att skicka numret - summan av den vägda inmatningsdata - till alla utgående anslutningar.
När ett neuralt nätverk tränar, ställs alla dess vikter och trösklar in i slumpvis ordning. Träningsdata matas in i det undre lagret - ingångsskiktet - och passerar genom efterföljande lager, multiplicerar och läggs till på ett komplext sätt, tills de äntligen anländer, redan transformerade, till utgångsskiktet. Under träning justeras vikter och trösklar kontinuerligt tills träningsdata med samma etiketter ger liknande slutsatser.
Sinn och maskiner
Neurala nätverk som beskrivs av McCullough och Pitts 1944 hade både trösklar och vikter, men var inte organiserade i lager, och forskare specificerade inte någon specifik inlärningsmekanism. Men McCullough och Pitts visade att ett neuralt nätverk i princip kunde beräkna alla funktioner, som alla digitala datorer. Resultatet kom mer från neurovetenskapen än datavetenskap: det måste antas att den mänskliga hjärnan kunde ses som en datoranordning.
Neurala nätverk är fortfarande ett värdefullt verktyg för neurobiologisk forskning. Till exempel reproducerade enskilda lager i nätverket eller regler för justering av vikter och trösklar de observerade funktionerna hos människans neuroanatomi och kognitiva funktioner och påverkade därför hur hjärnan bearbetar information.
Det första utbildningsbara nervnätverket, Perceptron (eller Perceptron), demonstrerades av Cornell University psykolog Frank Rosenblatt 1957. Perceptrons design liknade ett modernt neuralt nätverk, med undantag av att det hade ett enda lager med justerbara vikter och trösklar som lagts in mellan ingångs- och utgångsskikten.
"Perceptrons" forskades aktivt inom psykologi och datavetenskap fram till 1959, då Minsky och Papert publicerade en bok med namnet "Perceptrons", som visade att det var opraktiskt när det gäller att göra ganska konventionella beräkningar på perceptroner.
"Naturligtvis försvinner alla begränsningar på det sättet om du gör maskinerna lite mer komplexa," till exempel i två lager, "säger Poggio. Men vid den tiden hade boken en kylande effekt på neuralt nätverksforskning.
"Dessa saker är värda att överväga i ett historiskt sammanhang," säger Poggio.”Beviset byggdes för programmering på språk som Lisp. Inte länge innan använde människor tyst analoga datorer. Det var inte helt tydligt vad programmeringen skulle leda till. Jag tror att de överdrivit det lite, men som alltid kan du inte dela upp allt i svart och vitt. Om du tänker på det som en tävling mellan analog databehandling och digital dator, kämpade de för vad som behövdes."
Periodicitet
På 1980-talet hade forskare emellertid utvecklat algoritmer för att modifiera neurala nätverksvikter och trösklar som var tillräckligt effektiva för nätverk med mer än ett lager, vilket tog bort många av de begränsningar som identifierats av Minsky och Papert. Detta område har upplevt en renässans.
Men ur en rimlig synvinkel saknades något i de neurala nätverken. En tillräckligt lång träningssession kan leda till en översyn av nätverksinställningarna tills den börjar klassificera data på ett användbart sätt, men vad betyder dessa inställningar? Vilka funktioner i bilden ser objektigenkännaren på och hur delar den dem ihop för att bilda de visuella signaturerna på bilar, hus och koppar kaffe? En studie av vikterna hos enskilda föreningar kommer inte att besvara denna fråga.
Under senare år har datavetare börjat komma med geniala metoder för att bestämma de analytiska strategier som antas av neurala nätverk. Men på 1980-talet var strategierna i dessa nätverk obegripliga. Därför ersatte neurala nätverk vid sekelskiftet av vektormaskiner, en alternativ metod för maskininlärning baserad på ren och elegant matematik.
Den senaste tidens ökande intresse för neurala nätverk - den djupa inlärningsrevolutionen - är skyldig spelindustrin. Den komplexa grafiken och snabba takt för moderna videospel kräver hårdvara som kan hålla jämna steg med trenden, vilket resulterar i en GPU (grafikbearbetningsenhet) med tusentals relativt enkla processorkärnor på ett enda chip. Forskare insåg snart att GPU-arkitektur var perfekt för neurala nätverk.
Moderna GPU: s gjorde det möjligt att bygga nätverk från 1960-talet och två- och trelagsnät på 1980-talet i massor av 10-, 15- och till och med 50-lagars nätverk idag. Detta är vad ordet "djupt" ansvarar för i "djupt lärande." Till djupet i nätverket. Djupt lärande ansvarar för närvarande för de mest effektiva systemen i nästan alla områden inom konstgjord intelligensforskning.
Under huven
Nätverkets opacitet oroar fortfarande teoretiker, men det är framsteg på denna front. Poggio leder ett forskningsprogram om de teoretiska grunderna för intelligens. Nyligen släppte Poggio och hans kollegor en teoretisk studie av neurala nätverk i tre delar.
Den första delen, som publicerades förra månaden i International Journal of Automation and Computing, behandlar det antal beräkningar som djupa inlärningsnätverk kan göra, och när djupa nätverk drar nytta av grunt. Delar två och tre, som släpptes som föreläsningar, hanterar utmaningarna med global optimering, det vill säga att nätverket hittar de inställningar som bäst passar dess träningsdata, och när nätverket förstår så bra specifikationerna för sina träningsdata. som inte kan generalisera andra manifestationer av samma kategorier.
Det finns fortfarande många teoretiska frågor framåt, vilka svar måste ges. Men det finns hopp om att neurala nätverk äntligen kommer att kunna bryta cykeln med generationer som kastar dem i värme och ibland kyla.
ILYA KHEL
