(PressFire.no): En hører så mye om det – AI, neural networks, maskinlæring og alskens sånt. De kanskje kuleste demonstrasjonene av hva kunstig intelligens kan hjelpe oss med er med gjenkjenning av bilder og selv det å lage bilder, musikk og andre ting «fra intet».
Vi tok derfor i bruk Nvidias SPADE-teknologi (mer spesifikt: SPADE-COCO-algoritmen), via programmet runwayml, som prøver å lage «ekte» bilder basert på dårlige skisser vi tegner.
Så hvordan gjorde vi det?
Vi fant noen gode gamle spill vi ville kjøre gjennom AI-kverna, før vår eminente MS Paint-kunstner Erik gjenskapte sine favorittøyeblikk fra spillet med skarpe farger i en enkel grovskisse.
Denne grovskissen fóres så inn i programvaren som behandler det via en ekstern maskinpark et sted, før det endelige bildet spyttes ut (i ganske dårlig oppløsning).
Nevronettverket kjenner igjen former, perspektiver og plasseringer i skissen, hvor de forskjellige fargene har grov-definerte egenskaper (sort er himmel, grønt er gress, lilla er «generisk møbel», osv). AI-en forsøker så å lage et «realistisk» bilde basert på skissen.
Vi har lagt med skjermbildet Erik skisset etter, men det brukes ikke mot AI-en! Alle bildene under er med andre ord drømt opp uten kjennskap til originalen.
Klikk på bildene for å se større versjoner.
«Outrun»
(inspirasjon til venstre, skisse vi tegnet og ga AI-en til høyre)
Erik skriver: Dette er testen for å se hvordan det hele fungerer. Jeg har kladdet ned en typisk scene fra spillet med mye himmel og enkle linjer basert på bildet til siden her. Jeg var heller usikker på hvordan den ville takle å se en bil med to personer i bakfra.
AI-ens resultat:
Woah! Den grønne klumpen nederst i skissen endte opp med å bli en bil – med personer inni, en frontrute, og et bremselys til og med! Vi liker også hvordan den skjønte at det skulle være palmetrær ut i fra de brune klumpene langs veien.
«Duck Hunt»
(inspirasjon til venstre, skisse vi tegnet og ga AI-en til høyre)
Erik: Denne var enkel å tegne. Et tre, én busk og en vag bikkjeform – jeg heiv med en and i toppen selv om den egentlig ikke kommer fram før etter hunden har hoppet ned i gresset.
AI-ens resultat:
Overraskende bra resultat. Tror AI-en liker store flater og lite tøys. Alt ser ut sånn som det «skal».
«IK+»
(inspirasjon til venstre, skisse vi tegnet og ga AI-en til høyre)
Erik: Denne var hakket verre å skissere. Tegneprogrammet i programvaren vi bruker for å mate dette inn i AI-en er helt håpløs, så jeg måtte fokusere på det som var viktigst. Også er det mennesker med her (han til høyre ble litt vel bøff).
AI-ens resultat:
Nok et bra resultat. Benken ble litt diffus og folkene ble ganske mørke, men den fikk med seg positurene ganske bra. Hva er egentlig den monolitten i bakgrunnen?
«Street Gangs» / «River City Ransom»
(inspirasjon til venstre, skisse vi tegnet og ga AI-en til høyre)
Erik: Fra starten av spillet, ved inngangen til den første shopping-gata. Fint med rette linjer å forholde seg til her, selv om jeg måtte finne på noe lurt med den mørke bakgata (det er ikke noen «her skal det bare være svart» i programvaren til AI-en). Jeg tok meg friheten til å gjøre om den svarte tekstlinja nederst til noe som minnet mer om et fortau.
AI-ens resultat:
Det ble ganske rent det, med okay perspektiver. Mye lysere bakgate også.
«Super Mario Bros. 3»
Erik: Hva med noe litt mer abstrakt? Greier AI-en å skjønne noe av en piranha-plante som spytter ild?
AI-ens resultat:
Nja, det er jo noe. Mario ble til Luigi av en eller annen grunn, og de blassere fargene er ikke bra for «Mario»-spillene, føler vi. Kult at den skjønte at den ene plattform-boksen står bak den andre og skyggela den selv – og planten ble bra, den!
«The Dig»
Erik: Et av mine favorittspill, og dette er en av favorittscenene mine, der Ludger Brink får armen i klem etter et jordskjelv og man må skjære den av for å få han løs. Her er det så mange detaljer at det blir umulig å få med alt, men jeg prøvde å beholde de snåle plantene i forgrunnen her.
AI-ens resultat:
Dette ble jo et helt nytt visuelt uttrykk. Minner litt om «Samorost».
«Prince of Persia»
Erik: Ikke mye å gå ut i fra her sånn egentlig, med de to slåsshanene i sentrum. Ganske enkelt å tegne, heldigvis.
AI-ens resultat:
Kanskje i det mørkeste laget, men den greide seg greit, selv om forsøket på å lage lys gikk ad undas. Sverdet til vår ble enormt.
«Police Quest»
Erik: Det virker som om mer naturtro ting funker bedre med AI-en, så kanskje et mer «realistisk» gammelt spill funker bra? «Police Quest» er jo helt konge sånn sett – bare husk å sjekke alle fire hjulene før du kjører!
AI-ens resultat:
Ganske wobbly, men ikke verst! Ser jo nesten ut som politibiler også.
«The Legend of Zelda»
Erik: Jeg er usikker på om dette kommer til å fungere. Jeg tipper den ikke kommer til å fatte kameravinkelen her, som ikke henger helt på greip. Usikker på om den skjønner noe av Link heller, eller hvorfor et sverd farer gjennom lufta.
AI-ens resultat:
Oops, kamera som kikker ned fra toppen var den ikke så glad i, gitt. Her ble det bare rot, og spillet ligner mer på Phillips CDi-spillene enn originalen. Oh well.
«Day of the Tentacle»
Erik: Synsvinkler som ikke henger på greip, fargerike omgivelser og gjenstander som er helsprø er jo hele greia med det visuelle i «DotT». Den trappa der blir en utfordring, og vet AI-en hva en bestefarsklokke er?
AI-ens resultat:
Nei, var svaret – men samtidig så er det interessant å se tolkningen. Hovedperson Bernard ble helt mørk med futuristiske solbriller.
«Final Fight»
Erik: Aldri i verden om den greier å få med seg mye her. Det er så mye som skjer, med en rotete forgrunn hvor det ligger mat strødd blant biler, det er folk her, og en ødelagt nedgang til t-banen. Jeg prøvde å få med det meste, egentlig, så får vi se.
AI-ens resultat:
Denne ble fantastisk og abstrakt. Litt som en feberfantasi hvor ting ligner på noe, men man ikke helt vet hva. Den ødelagte bilen ble en samling av alle biler, virker det som. Guy mista det ene buksebenet av en eller annen grunn, og jeg ville ikke spist den maten.