Med utvecklingen av neurala nätverk och maskininlärningsteknologier utvidgas tillämpningsområdet också. Om tidigare neurala nätverk uteslutande användes för att utföra komplexa matematiska, medicinska, fysiska, biologiska beräkningar och prognoser, får dessa tekniker nu stor popularitet i en mer "vardaglig" miljö - inom underhållningsområdet. Med bara de första stegen i denna riktning kan de redan visa fantastiska och ibland till och med enastående resultat. Idag kommer vi att analysera några illustrativa exempel.
Processen med ombildning av video är så komplicerad och tidskrävande att vi kanske aldrig sett många mästerverk av världsklassikerna med en ny, modern, klar och saftig bild. Men världen är full av smarta fans och entusiaster som är välbevandrade i ny teknik, och i synnerhet neurala nätverk och maskininlärningstekniker, med vilka du kan uppnå fantastiska resultat även hemma. Till exempel beslutade YouTube-användaren Stefan Rumen med pseudonymet CaptRobau att demonstrera några av de neurala nätverkens funktioner vid bearbetning av videor från en gammal science fiction-serie.
Hans tidigare verk är Remako Mod, en "HD-remake" av den klassiska och mycket populära japanska RPG Final Fantasy VII som heter. För att göra detta använde han AI-algoritmen AI Gigapixel, med vilken han kunde skala bilden på den ursprungliga bilden med fyra gånger och konvertera den till HD-upplösning utan några väsentliga förändringar i den ursprungliga konstdesignen. Således, medan du väntar ytterligare ett decennium till det ögonblick då den japanska utvecklaren och utgivaren av datorspel Square Enix officiellt släpper en remaster av kanske en av de bästa delarna av denna spelserie, kan du prova Stefan Rumens mod själv genom att ladda ner den från den här webbplatsen.
Förresten, nyligen har neurala nätverksteknologier för att remastera gamla spel och få dem till ett mer relevant och modernt utseende utan att ändra det allmänna ursprungliga konceptet blivit en riktig trend bland olika modders. För inte så länge sedan pratade vi om ESRGAN-teknik (Enhanced Super Resolution Generative Adversarial Networks), som implementerar bildskalningsteknologier med 2-8x kvalitetsökning. Algoritmen "matas" den ursprungliga bilden med en låg upplösning, varefter den inte bara ökar den ursprungliga upplösningen på den senare, utan förbättrar också bildkvaliteten genom att måla på realistiska detaljer och göra strukturer "mer naturliga".
Jämförelse av texturkvalitet: till vänster är den ursprungliga strukturen från Morrowind-spelet, till höger - bearbetad av det neurala nätverket.
En karaktär från Doom (vänster - var, höger - blev).
Bakgrundsbehandling i Resident Evil 3.
Kampanjvideo:
Var som så, i intervallerna mellan omarbetningen av "Den sjunde finalen" beslutade Stefan Rumen att ta upp ett annat projekt - att använda samma maskininlärningsteknologi, men denna gång för att bearbeta ramarna i den klassiska science fiction-serien på 90-talet. Rumen valde Star Trek: Deep Space Nine som objektet för hans experiment.
Skalning av en levande bild av en TV-serie är mycket annorlunda i komplexitet från att skala en förutförd bild av Final Fantasy VII, konstaterar författaren, så det slutliga resultatet, även om det ser märkbart bättre ut än originalmaterialen i låg upplösning, men denna bild är fortfarande långt ifrån idealet om vilket du kunde ha drömt sedan de första Blu-ray-spelarna träffade marknaden. Ibland visas små "artefakter" på skärmen. Men igen, i allmänhet, ser allt mer ut än värt. Men i allmänhet, se själv.
För detta projekt använde Rumen också AI Gigapixel-algoritmen, som utbildades för att redigera bilder baserade på riktiga fotografier. Författaren konstaterar att den nya bilden erhölls i 1080p och 4k, men eftersom Rumen inte har en TV eller bildskärm med inbyggd 4K-upplösning kan han inte tillräckligt utvärdera 4K-versionen.
Tyvärr kan du inte se hela serien i Full HD-kvalitet. Processen att bearbeta allt källmaterial skulle ha tagit mycket lång tid, så Rumen använde bara separata ramar från olika serier för demonstrationen. Enligt honom tog han upp detta projekt av bara en anledning - för att visa att det verkligen är möjligt. Enligt hans åsikt kommer ett helt team av yrkesverksamma som arbetar i ett stort TV-företag och som har tillgång till mer lämplig och kraftfull datorutrustning för sådant arbete att kunna hantera denna uppgift mycket bättre.
Att använda neurala nätverk för att förenkla arbetet med att bearbeta gamla bilder från videospel och filmer är inte de enda områden där sådan teknik kan visa sina talanger. I den moderna världen, där panoramakameror som kan producera 360 grader såväl som virtual reality-headset, växer popularitet, har utvecklare börjat aktivt utforska potentialen för panoramafotografering.
En av de senaste utvecklingen i denna riktning är ett neuralt nätverk som kan låta panoramiska statiska bilder. Det är författat av maskininlärningsexperter från Massachusetts universitet, Columbia universitet och George Mason University.
Den skapade algoritmen bestämmer typen av miljö och objekt i fotot och väljer och ordnar sedan ljud från den använda databasen i enlighet med den rumsliga beräkningen av avståndet till deras källor i den här bilden. Tack vare detta får panoramabilden ett realistiskt och rymligt ljud som låter dig utvärdera den presenterade bilden på ett helt nytt sätt.
Enligt utvecklarna av detta neurala nätverk kan tekniken hitta intresse bland utvecklare av VR-innehåll (filmer och spel). Det senare, i det här fallet, kommer inte att behöva manuellt lägga över alla ljud på panoramabilden, neuralnätverket kan göra allt på egen hand.
Nikolay Khizhnyak
