Niantic, tillverkaren av Pokémon Go, bjöd nyligen in mig till sina kontor i London för att se sin nya mobila husdjurssim Peridot. Jag såg en presentation, provade spelet – som släpps på iOS och Android den 9 maj – och fick umgås med några av utvecklarna, inklusive datavetaren som leder det lilla forskarteamet som bygger maskininlärningstekniken bakom Peridots potentiellt banbrytande ny augmented reality-teknik.
Men ingen demo kunde bättre illustrera potentialen i Peridot än en halvtimme som jag tillbringade med spelet några dagar senare, när jag fick en testversion att prova hemma. Jag har två små barn (åldrar 4 och 6), som omedelbart blev charmade av att se den söta varelsen från Niantics uppfinning, kallad en Peridot, kläckas på min telefonskärm och springa runt i mitt hus. Vi klappade den, matade den, kastade en boll efter den som såg ut att studsa mot väggarna i mitt vardagsrum och såg den springa runt och bakom möblerna, bara lite oregelbundet.
Bild: Niantic
När jag kollade bebisen Dots önskningar såg jag att den ville äta en maskros, som måste födas från gräsytor. Vår bakgård är asfalterad, men det är gräs tvärs över gatan, det är en trevlig vårkväll och det finns lite tid att slå ihjäl innan baddags – låt oss gå! Vi gav oss ut och barnen tjatade för att se Peridot springa framför oss på uppfarten. De var imponerade över att spelet kunde se skillnaden mellan gräs, löv och gatstenar, så varelsen kunde söka olika föremål från varje.
Jag märkte att min Peridot ville söka föda från en Habitat, vilket är vad det här spelet kallar de kartbaserade lokala intressepunkterna som delas av alla Niantics AR-spel (i Pokémon Go kallas de PokéStops). Jag såg att detta var bara en kort promenad bort och jag hade inte besökt det tidigare (jag är inte en Pokémon Go-spelare) — varför inte? Vi gick över. Det visar sig att intressepunkten var ett viktorianskt stinkrör (jag bor i London, kan du säga det?), som ser ut som en lyktstolpe utan lampa och som i själva verket är ett slags gigantiskt sugrör som designats för att släppa ut skadliga gaser från kloakerna nedanför, väl ovanför huvudena på den goda drottningens undersåtar. Jag hade aldrig hört talas om dessa saker eller lagt märke till det här förut. Vi återvände hem efter att ha haft det trevligt, fick lite oplanerad träning och lärde oss lite om lokal historia (och höjde vårt husdjur). Niantic kunde inte ha skrivit det bättre.
Peridot är en ganska typisk husdjurssim, i stil med något som Nintendogs, korsad med Niantics enorma kartdataresurs och en ny generation av AR-teknik. Du interagerar med ditt husdjur för att hålla det lyckligt och tjäna det tillväxtpoäng, vilket ökar det från spädbarn till tonåring till vuxen. I vuxenstadiet kommer varelsen att vilja “släppas ut” i en livsmiljö där den kan häcka med andra peridoter (djuren är könlösa) och få en ny bebis som du kan ta hand om. (Producenten Ziah Fogel säger att planen var att spelare skulle säga adjö till sina vuxna Peridots permanent vid det här laget, men testare blev för upprörda, så du får hänga på dem.) Niantic har byggt in tillräckligt många variabler i varelsernas DNA som var och en en är genetiskt unik, och varje parning kommer att skapa en ny, lika unik baby.
Bild: Niantic
Du kan föreställa dig de platsbaserade funktionerna som Niantic har byggt in i den här spelgenren; ta ditt husdjur på promenader, föda från olika miljöer, engagera sig i avel med andra lokala spelare som ett slags socialt slutspel. Du kan också föreställa dig den milda men enträgna strömmen av mål, framsteg, valutor och belöningar inbyggt i ett gratis-att-spela liveservicespel som detta, såväl som anpassningsfunktionerna (ja, ditt husdjur kan bära hattar).
Men Niantic har ett annat uppdrag med Peridot, som är att tänja på gränserna för AR och förändra hur folk tänker kring det. Tanken är att ditt husdjur på någon nivå ska kunna förstå den verkliga världen som det (eller snarare din telefonkamera) tittar på och svara på det. Detta är det arbete som utförs av Niantics FoU-team, som är baserat på sex våningar i en smal kontorsbyggnad inträngd i Londons Covent Garden-område, och som leds av Niantics chefsforskare Gabe Bostow.
AI-forskningsarbetet börjar med noggrann kartläggning av 3D-rymden och sökvägar kring verkliga objekt, såväl som hinderocklusion som innebär att ditt husdjur kommer att försvinna realistiskt bakom stolar och trädstammar. (Bostow verkar frustrerad över att designteamet begärde att en skugga som visar Peridots position bakom objektet skulle återföras i spelet, så att spelarna inte blir alltför stressade över att förlora sina laddningar.) Det fortsätter med “semantisk segmentering”, som Bostow uttrycker det, av din telefons videoflöde av miljön, med hjälp av maskininlärning för att träna koden för att se skillnaden mellan gräs och vatten, för att känna igen en TV-skärm så att din Peridot kan beklaga dig om skärmtid och för att identifiera klasser av föremål som husdjur, människor och tallrikar med mat. De neurala nätverk som krävs för detta var inte möjliga på mobiltelefoner ens för fem år sedan, säger Niantic. Peridot tränar verkligen telefonens CPU och GPU, om dess effekt på batteritiden är något att gå efter.
Bild: Niantic
Peridot började livet som en teknisk demo, och även om pet sim-genren är en naturlig passform för Niantics ansträngningar, kan du säga. På vissa sätt känns det fortfarande mer som skunkworks-projektet av ett teknikföretag som är hungrigt efter framsteg än ett kärleksarbete från en spelutvecklare. Bostows team delar sina resultat med det akademiska samhället, medan koden kommer att vara tillgänglig för tredje part att licensiera via Niantics Lightship-svit med utvecklingsverktyg. Du kan föreställa dig vilka fördelar tekniken kan ha för robotteknik eller andra hjälpmedel; Bostow tycker om att föreställa sig en framtid där han kan hålla upp sin telefon för att se platsen för rörledningar bakom väggar och under golv när han håller på med hemförbättringar. Det finns förmodligen mer olycksbådande användningsområden för denna kombination av maskininlärning av miljöer med Niantics industriella geopositionella dataodling, men tänk inte på det – titta på hur söta dessa små djur är!
I praktiken är tekniken långt ifrån perfekt: den kan inte upptäcka mat så tillförlitligt, kan se vatten utomhus bättre än i och har problem med fönster. Men det finns en obestridlig magi att se din Peridot springa runt i ditt hem, hoppa upp på borden och lägga märke till din katt. Det känns lite levande, och det kommer bara att kännas mer levande när spelet släpps och spelare börjar träna Niantics neurala nät i massor. Som Fogel säger, ett spel om att odla små varelser och introducera dem till världen är en bra tematisk matchning för teknik som i sig kommer att förbättra sin förståelse av världen och realismen i dess beteenden över tiden.
Jag tycker att det är imponerande. Men det är inte min reaktion som spelar roll, eller som talar om för dig om Peridot kommer att bli en succé. Mina barn blev glada av det inom några sekunder, och min 4-åring vandrade runt i huset och ropade på “pennydot” inom några minuter. Dessutom vet vi alla om viktorianska stinkpipor nu.