Omedelbart när Dr Blake Richards hörde talas om djup inlärning insåg han att han stod inför mer än bara en metod som skulle revolutionera artificiell intelligens. Han insåg att han tittade på något grundläggande från den mänskliga hjärnan. Det var i början av 2000-talet och Richards undervisade en kurs vid University of Toronto med Jeff Hinton. Hinton, som stod bakom skapandet av algoritmen som erövrade världen, erbjöds en introduktionskurs om hans undervisningsmetod, inspirerad av den mänskliga hjärnan.
Nyckelorden här är "hjärninspirerade." Trots Richards övertygelse spelade spelet mot honom. Den mänskliga hjärnan har, som det visade sig, inte en viktig funktion som är programmerad i djupa inlärningsalgoritmer. På ytan kränkte dessa algoritmer grundläggande biologiska fakta som redan bevisats av neurovetenskapsmän.
Men vad händer om djup inlärning och hjärnan faktiskt är kompatibla?
Och i en ny studie publicerad i eLife föreslog Richards, som arbetade med DeepMind, en ny algoritm baserad på den biologiska strukturen för neuroner i neocortex. Cortex, hjärnbarken, är hem för högre kognitiva funktioner som resonemang, prognoser och flexibelt tänkande.
Teamet kombinerade sina konstgjorda neuroner i ett skiktat nätverk och utmanade det till uppgiften klassisk datorsyn - att identifiera handskrivna nummer.
Den nya algoritmen gjorde ett utmärkt jobb. Men en annan sak är viktig: han analyserade exempel för inlärning på samma sätt som djupa inlärningsalgoritmer gör, men byggde helt och hållet på hjärnans grundläggande biologi.
"Djupt inlärning är möjligt i en biologisk struktur", avslutade forskarna.
Eftersom denna modell för närvarande är en datorversion, hoppas Richards skicka stafettpinnen till experimentella neurovetenskapsmän som kan testa om en sådan algoritm fungerar i en riktig hjärna.
Kampanjvideo:
I så fall kan informationen matas till datavetare för att utveckla massivt parallella och effektiva algoritmer som våra maskiner kommer att köras på. Detta är det första steget mot sammanslagningen av de två områdena i en "dygdös dans" av upptäckt och innovation.
Hitta syndabocken
Medan du antagligen har hört att AI nyligen slog de bästa av de bästa i Go, vet du knappast exakt hur algoritmerna bakom detta AI fungerar.
Sammanfattningsvis är djup inlärning baserad på ett konstgjordt neuralt nätverk med virtuella "neuroner". Liksom en hög skyskrapa är nätverket strukturerat i en hierarki: neuron på låg nivå bearbetar input - till exempel horisontella eller vertikala staplar som utgör nummer 4 - och neuron på hög nivå bearbetar abstrakta aspekter av nummer 4.
För att träna nätverket ger du det exempel på vad du letar efter. Signalen sprider sig via nätverket (klättrar upp byggnadens steg), och varje neuron försöker se något grundläggande i arbetet med de "fyra".
När barn lär sig nya saker klarar nätverket sig inte bra först. Hon ger ut allt som enligt hennes åsikt ser ut som nummer fyra - och du får bilder i Picassos anda.
Men det är exakt hur lärandet fortskrider: algoritmen matchar utgången till den ideala ingången och beräknar skillnaden mellan de två (läs: fel). Fel "sprider sig tillbaka" genom nätverket, utbildar varje neuron, säger de, detta är inte vad du letar efter, se bättre ut.
Efter miljontals exempel och upprepningar börjar webben fungera felfritt.
Felsignalen är oerhört viktig för inlärningen. Utan effektiv "felbackpropagation" kommer nätverket inte att veta vilka av dess neuroner som är fel. På jakt efter en syndabock förbättrar konstgjord intelligens sig.
Hjärnan gör det också. Men hur? Vi har ingen aning.
Biologisk återvändsgränd
Det uppenbara är att lösningen för djup inlärning inte fungerar.
Återspegla ett fel är en extremt viktig funktion. Det kräver en viss infrastruktur för att fungera korrekt.
Först måste varje neuron i nätverket få ett felmeddelande. Men i hjärnan är neuroner anslutna till bara några få (om några) nedströmspartners. För att backpropagationen ska fungera i hjärnan måste neuroner på de första nivåerna uppfatta information från miljarder anslutningar i de fallande kanalerna - och detta är biologiskt omöjligt.
Och medan vissa djupa inlärningsalgoritmer anpassar en lokal form för felbackpropagation - väsentligen mellan neuroner - kräver det att deras fram och tillbaka-anslutningar är symmetriska. I hjärnans synapser händer detta nästan aldrig.
Mer moderna algoritmer anpassar en något annorlunda strategi genom att implementera en separat feedbackväg som hjälper neuroner att hitta fel lokalt. Även om detta är mer biologiskt genomförbart, har hjärnan inte ett separat datornätverk som är dedikerat till att hitta syndabockar.
Men det har neuroner med komplexa strukturer, i motsats till de homogena "bollarna" som för närvarande används i djup inlärning.
Förgreningsnätverk
Forskare hämtar inspiration från de pyramidala cellerna som fyller mänskliga cortex.
"De flesta av dessa neuroner är formade som träd, med sina" rötter "djupt i hjärnan och" grenar "som kommer ut till ytan," säger Richards. "Det är anmärkningsvärt att rötterna får en uppsättning input och grenarna blir olika."
Det är nyfiken, men strukturen hos neuroner visar sig ofta vara "exakt som det behövs" för att effektivt lösa ett beräkningsproblem. Ta exempelvis sensorisk bearbetning: botten av pyramidala nervceller är där de borde vara för att ta emot sensorisk inmatning, och topparna är bekvämt belägna för att överföra fel via feedback.
Kan denna komplexa struktur vara en evolutionär lösning för att hantera fel signal?
Forskare har skapat ett flerlags neuralt nätverk baserat på tidigare algoritmer. Men istället för homogena nervceller gav de henne nervceller i mellanlagren - inklämda mellan input och output - liknande de riktiga. Genom att lära av handskrivna siffror presterade algoritmen mycket bättre än ett enskiktigt nätverk, trots avsaknaden av den klassiska bakpropagering av felet. Cellstrukturerna kunde själva identifiera felet. Sedan, i rätt ögonblick, kombinerade neuron båda informationskällorna för att hitta den bästa lösningen.
Det finns en biologisk grund för detta: neurovetenskapsmän har länge vetat att ingångsgrenarna i en neuron utför lokala beräkningar som kan integreras med backpropagationssignaler från utgångsgrenarna. Men vi vet inte om hjärnan verkligen fungerar på detta sätt - så Richards beställde neurovetenskapsmän att ta reda på det.
Dessutom hanterar detta nätverk problemet på ett liknande sätt som den traditionella metoden för djup inlärning: det använder en strukturerad lager för att extrahera mer abstrakta idéer om varje nummer.
"Detta är en funktion i djup inlärning", förklarar författarna.
Djupt lärande hjärna
Det kommer utan tvekan att finnas fler vändningar i den här historien när datavetare tar med sig fler biologiska detaljer i AI-algoritmer. Richards och hans team ser på en prediktiv funktion från top-down, där signaler från högre nivåer direkt påverkar hur lägre nivåer svarar på input.
Feedback från högre lager förbättrar inte bara felsignaleringen; det kan också uppmuntra lägrebearbetade neuroner att prestera "bättre" i realtid, säger Richards. Hittills har nätverket inte överträffat andra icke-biologiska djupinlärningsnätverk. Men det spelar ingen roll.
"Djupt lärande har haft en enorm inverkan på AI, men hittills har dess inverkan på neurovetenskap varit begränsad," säger studieförfattarna. Nu kommer neurovetenskapsmän att ha en ursäkt att genomföra ett experimentellt test och ta reda på om neuronstrukturen ligger till grund för den naturliga algoritmen för djup inlärning. Kanske de kommande tio åren kommer ett ömsesidigt fördelaktigt informationsutbyte mellan neurovetenskapsmän och konstgjorda intelligensforskare att börja.
Ilya Khel
