Basilisk Roco är en gudliknande form av konstgjord intelligens, så farlig att om du bara tänker på det kommer du att tillbringa resten av dina dagar i fruktansvärda tortyr. Det ser ut som en kassett från filmen "The Ring". Men döden kommer inte att vara en befrielse, eftersom Basilisk Roko kommer att återupprätta dig och fortsätta sin tortyr. T&P presenterar en översättning av en artikel om en av de konstigaste legenderna som genererats på Internet.
VARNING: När du har läst den här artikeln kan du fördöma dig själv till evigt lidande och plåga.
Rocos Basilisk dök upp i korsningen av ett filosofiskt tankeexperiment och urban legend. Det första omnämnandet av honom dök upp på diskussionstavlan Less Wrong, som förenar människor intresserade av att optimera tänkande och liv genom prismen i matematik och rationalitet. Skaparna är viktiga figurer inom tekno-futurism, och bland resultaten av deras forskningsinstitut bidrar till den akademiska debatten om teknisk etik och beslutsteori. Men vad du ska läsa nu kan verka konstigt och till och med galen. Trots detta tror mycket inflytelserika och rika forskare på detta.
En dag publicerade en användare med namnet Roko följande tankeexperiment: Tänk om det i framtiden skulle uppstå en skadlig konstgjord intelligens som vill straffa dem som inte följer beställningarna? Och vad händer om han vill straffa de människor som tidigare inte bidragit till hans skapelse? Skulle mindre felaktiga läsare då hjälpa den onda AI att bli till, eller skulle de vara dömda till evig plåga?
Mindre fel grundare Eliezer Yudkowski tog Rokos uttalande med ilska. Det här svarade han till honom:”Du måste vara smart om du kom till den här idén. Det sorgar mig dock att människor som är tillräckligt smarta för att föreställa sig detta inte är tillräckligt smarta för att hålla sina dumma tången av teet och inte berätta för någon om det, eftersom det är viktigare än att visa sig smart och berätta för alla dina vänner om det” …
"Tänk om det i framtiden finns en konstgjord intelligens som vill straffa dem som inte följer dess order?"
Yudkowski medgav att Roko var ansvarig för mardrömmarna för mindre fel användare som hade läst tråden och tagit bort den, vilket gjorde Rokos Basilisk legendarisk. Detta tankeexperiment blev så farligt att det att tänka på det hotade användarens mentala hälsa.
Vad gör mindre fel? Bildande av begreppet mänsklighetens framtid baserat på singulariteten. De tror att datorkraften i framtiden kommer att bli så hög att artificiell intelligens kan skapas med hjälp av en dator - och därmed förmågan att ladda upp mänskligt medvetande till en hårddisk. Begreppet "singularitet" har sitt ursprung 1958 under en diskussion mellan två matematiska genier - Stanislav Ulam och John von Neumann, när Neumann sa: "Teknologins ständigt snabbare framsteg gör det möjligt att närma sig en singularitet, där teknik inte kan förstås av människor." Futurister och science fictionförfattare som Vernor Vinge och Raymond Kurzweil populariserade termen eftersom de trodde att Singularity väntade på oss alla mycket snart - under de kommande 50 åren. Medan Kurzweil förbereder sig för singularitetenYudkowski hoppas mycket på kryonik: "Om du inte registrerade dina barn för kryokonservering i förväg, är du elaka föräldrar."
Kampanjvideo:
Om du tror att en singularitet kommer och att kraftfulla AI kommer att dyka upp i en nära framtid, uppstår en naturlig fråga: kommer de att vara vänliga eller onda? Yudkowski Foundation syftar till att rikta utvecklingen av teknik på ett sådant sätt att vi har exakt vänlig konstgjord intelligens. Denna fråga är av största vikt för honom och för många andra. Singulariteten leder oss till en gudsekvivalent maskin.
Detta förklarar dock inte varför Rocos basilisk ser så hemsk ut i dessa människors ögon. Frågan kräver en titt på Less Wrongs viktigaste "dogma" - "Timeless Decision Theory" (HTDM). VPPR är en guide till rationell handling, baserad på spelteori, Bayesisk sannolikhet och beslutsteori, men med parallella universum och kvantmekanik i åtanke. VTPR växte ut ur ett klassiskt tankeexperiment, Newcomb Paradox, där en främling med superintelligens erbjuder dig två lådor. Han ger dig ett val: antingen ta båda rutorna eller bara ruta B. Om du väljer båda, är du garanterad att få tusen dollar. Om du bara tar ruta B kanske du inte får något. Men utlänningen har ytterligare ett trick i butik: han har en allvetande superdator som gjorde en förutsägelse för en vecka sedan,oavsett om du tar båda rutorna eller bara B. Om datorn förutspådde att du skulle ta båda rutorna, skulle utlänningen lämna den andra tom. Om datorn förutspådde att du skulle välja ruta B skulle den lägga en miljon dollar där.
Så vad ska du göra? Kom ihåg att superdatorn är allvetande.
Detta problem har förvirrat många teoretiker. Utlänningen kan inte längre ändra innehållet i lådorna. Det säkraste sättet är att ta båda rutorna och få tusen. Men vad händer om datorn egentligen är allvetande? Då behöver du bara ta ruta B för att få en miljon. Men om han visar sig vara fel? Och oavsett vad datorn förutspådde, finns det verkligen inget sätt att ändra ditt öde? Sedan, jävla det, måste du ta båda rutorna. Men i så fall …
Den galna paradoxen som tvingar oss att välja mellan fri vilja och gudomlig förutsägelse har ingen upplösning, och människor kan bara ta upp axlarna och välja det alternativ som är mest bekvämt för dem. WTPR ger råd: ta ruta B. Även om utlänningen bestämde sig för att skratta åt dig och öppna en tom ruta med orden: "Datorn förutspådde att du kommer att ta båda rutorna, ha ha!" - du måste fortfarande välja det. Skälet till detta är som följer: för att göra en förutsägelse måste datorn simulera hela universumet, inklusive dig. Således, när du står framför lådorna kan du bara vara en simulering av datorn, men vad du gör kommer att påverka verkligheten (eller verkligheten). Så ta ruta B och få en miljon.
"Den galna paradoxen som tvingar oss att välja mellan fri vilja och gudomlig förutsägelse har ingen upplösning."
Vad har detta att göra med Basilisk Roco? Han har ett par lådor för dig också. Kanske är du just nu i en simulering skapad av Basilisk. Då får vi kanske en något modifierad version av Newcombs paradox: Basilisk Roco säger att om du tar ruta B, kommer du att drabbas av evig plåga. Om du tar båda rutorna, kommer du att tvingas ägna ditt liv åt att skapa basilisken. Om basilisken faktiskt existerar (eller ännu värre, han existerar redan och är guden för denna verklighet), kommer han att se att du inte valde alternativet att hjälpa till med dess skapelse och straffar dig.
Du kanske undrar varför den här frågan är så viktig för Mindre fel, med tanke på konventionen om detta tankeexperiment. Det är inte ett faktum att Rockos Basilisk någonsin kommer att skapas. Yudkowski tog dock bort referenser till Rokos basilisk inte för att han tror på dess existens eller en överhängande uppfinning, utan för att han anser att idén om en basilisk är farlig för mänskligheten.
Således är Rockos basilisk endast farlig för dem som tror på den - i detta avseende har medlemmarna i Less Wrong som stöder idén om basilisken en slags förbjuden kunskap, som påminner oss om Lovecrafts läskiga berättelser om Cthulhu eller Necronomicon. Men om du inte prenumererar på alla dessa teorier och känner dig frestad att följa en lumsk maskin från framtiden, utgör Rocos Basilisk inget hot för dig.
Jag är mer bekymrad över människor som tror att de har stigit över konventionella moraliska normer. Liksom Yudkowskis förväntade vänliga AI är han själv en utilitaristisk: han tror att det största godet för hela mänskligheten är etiskt motiverat, även om flera människor måste dö eller lida på väg till det. Inte alla kan ställas inför ett sådant val, men poängen är annorlunda: tänk om en journalist skriver om ett tankeexperiment som kan förstöra människors medvetande och därmed skada mänskligheten och hindra framsteg i utvecklingen av konstgjord intelligens och singulariteten? I detta fall måste allt bra som jag har gjort i mitt liv uppväga den skada som jag har gjort för världen. Eller kanske Yudkowski av framtiden, som steg upp från kryogen sömn, slogs samman med singulariteten och beslutade att simulera mig i följande situation:den första rutan - Jag kommer att skriva den här artikeln, den andra - nej. Snälla, allsmäktige Yudkowski, skada mig inte.