De robots komen eraan – en ze zullen een goede kaart nodig hebben om zich te verplaatsen, of ze nu onze pakketten afleveren, ons rondrijden of een van de talloze andere taken uitvoeren die robothelpers in de toekomst voor ons kunnen uitvoeren.
“Zonder ruimtelijke intelligentie kan je robot echt niet doen wat jij wilt”, zegt John Hanke, de voormalige CEO van Niantic Spatial. overtroffen een week geleden in de rol van uitvoerend voorzitter van het bedrijf. “Je Roomba werkt alleen in je huis. Maar nu we op stadsniveau beginnen te opereren, hebben we deze grote, grootschalige, gedeelde, nauwkeurige weergaven van de wereld nodig.”
Deze week zet Niantic de volgende stap in de richting van het bouwen van die kaart: het bedrijf lanceert zijn nieuwe Scaniverse-platform, dat tot doel heeft bedrijven en individuen de tools te geven om de wereld vast te leggen met telefoons, 360-gradencamera’s en drones, en die gegevens vervolgens samen te voegen tot een enorme 3D-kaart waarmee robots met nauwkeurigheid op centimeterniveau door de wereld om ons heen kunnen navigeren.
Het is een heel andere aanpak dan de manier waarop bedrijven als Google het probleem traditioneel hebben benaderd, zoals Hanke zelf weet doordat hij twintig jaar geleden leiding gaf aan Google’s karteringsinspanningen. “Het probleem met de Google-aanpak, nadat je deze hebt nageleefd, is: je stuurt alle auto’s erop uit en neemt alle straten in beslag”, zegt Hanke. “Dan wordt er een nieuwe weg aangelegd. Alles verandert. Je loopt altijd achter. Je data zijn altijd verouderd. Het is altijd oud. En het is heel kapitaalintensief.”
En hoewel een verouderde kaart voor mensen vervelend kan zijn, is deze voor een robot vrijwel waardeloos. “Je wilt dat het een levende kaart is, en geen statische reconstructie”, zegt Hanke.
Een app voor liefhebbers wordt een zakelijk platform
Niantic bedacht zijn bottoms-up, gedistribueerde benadering van mapping toen het werkte aan de populaire mobiele game Pokémon Go, en moest oriëntatiepunten uit de echte wereld omzetten in virtuele slagvelden voor zijn miljoenen spelers. Toen het bedrijf een jaar geleden Pokémon Go verkocht en omgedoopt tot Niantic Spatial, verdubbelde het zijn inspanningen op het gebied van 3D-kaarten en sloot het deals met robotbedrijven en anderen om te profiteren van de georuimtelijke gegevens.
Het nieuwe Scaniverse-platform van het bedrijf is gebaseerd op een app voor 3D-enthousiastelingen gekocht vijf jaar geleden.
In de eerste iteraties richtte de Scaniverse-app zich vooral op het laten vastleggen van kleinere objecten in 3D. Om dit te doen, zouden Scaniverse-gebruikers hun telefooncamera langzaam rond een dergelijk object bewegen, en vervolgens zou de app de vastgelegde beelden omzetten in een driedimensionale weergave ervan. Sinds de aankoop heeft Niantic Scaniverse uitgebreid, zodat gebruikers ook hele kamers kunnen scannen – terwijl alle gegevens nog steeds lokaal op de telefoon van een gebruiker worden verwerkt.
Nu zet Niantic de volgende stap met de lancering van cloudgebaseerde videoverwerking en een speciale Scaniverse-website. Zakelijke klanten kunnen deze site gebruiken om beelden van verschillende apparaten te uploaden, waaronder niet alleen telefoons, maar ook 360-gradencamera’s en drones, en die beelden vervolgens te laten omzetten in een 3D-model.
Het toevoegen van 360-gradencamera-ondersteuning was een gamechanger voor het bedrijf. “Je camera ziet wat zich voor je bevindt, wat zich achter je, boven je en onder je bevindt”, zegt Niantic Spatial Senior Product Manager Azad Balabanian. “Dit is uiterst belangrijk om zeer meeslepend kijken (scans) te kunnen bereiken.”
Vorige maand liet Niantic me een groot plein scannen voor het veerbootgebouw van San Francisco, waar het bedrijf is gevestigd. Het vastleggen van dit gebied was uiterst eenvoudig: ik droeg gewoon een 360 graden camera op een selfiestick terwijl ik nonchalant een grote lus liep – een proces dat misschien vijf minuten duurde. Toen de beelden naar Scaniverse werden geüpload, verwijderde het platform automatisch elk spoor van mij en gaf vervolgens het hele vierkant in 3D weer:
Om de vastgelegde videobeelden om te zetten in een 3D-model, maakt Scaniverse gebruik van een technologie die bekend staat als Gaussiaanse splatter. In wezen transformeert Gaussiaanse splatter 2D-beelden in een groot aantal driedimensionale blobs die een verschillende mate van transparantie bieden en vanuit elke hoek kunnen worden bekeken. Gaussiaanse splash is een van de meest veelbelovende manieren geworden om de ruimte in 3D vast te leggen. Dat zal ook zo zijn gebruikt door Meta om echte ruimtes in virtuele werelden vast te leggen.
Niantic heeft zijn eigen versie uitgebracht VR-viewer-app voor Scaniverse-scans vorig jaar. Nu concentreert het bedrijf zich erop om zijn scans er niet alleen goed uit te laten zien voor mensen, maar ook om ze betekenisvol te maken voor robots AI algoritmen. “Gaussiaanse splash kan erg lastig zijn”, legt Balabanian uit. “Dingen zien er misschien echt uit, maar hebben eigenlijk geen echte oppervlakken.”
Simpel gezegd is een wit geschilderde muur bijna niet te onderscheiden van een mistmuur of een 3D-scanapp. Dat is de reden waarom Niantic-onderzoekers zich ontwikkelden een diepteschattingsmodel voor het Scaniverse cloudverwerkingsplatform dat harde oppervlakken nauwkeurig vastlegt waar een robot tegenaan kan botsen. “We kunnen diepte op lidarniveau bereiken zonder Lidar nodig te hebben”, zegt Balabanian, verwijzend naar de lasersensoren die door zelfrijdende auto’s worden gebruikt om veilig door straten te navigeren.
3D voor bouwbedrijven, Hollywood en AI
Enkele van de sectoren waarop Niantic zich richt met zijn nieuwe Scaniverse-platform zijn onder meer de bouw, logistiek en nutsvoorzieningen, allemaal industrieën die grote, complexe locaties verwerken. Het hebben van 3D-modellen van deze locaties kan helpen bij de planning en het onderhoud, maar stelt bedrijven ook in staat om uiteindelijk robots door hun magazijnen en energiecentrales te laten navigeren.
Voor het bouwen en trainen van robots en de AI-modellen die ervoor zorgen dat ze werken, zijn ook veel 3D-data nodig. “Robots hebben veel trainingsgegevens nodig en (bedrijven) willen dingen in trainingsomgevingen simuleren voordat ze deze inzetten”, zegt Balabanian. “Als je er zeker van wilt zijn dat je robot echt goed werkt op een echte plek, kun je dat het beste doen door de plek zelf in kaart te brengen.”
Zelfs Hollywood kan profiteren van technologieën als Gaussiaans spuiten en bijvoorbeeld het scannen van filmlocaties om shots te plannen en het soort ruwe conceptshots te genereren dat onder studio-insiders bekend staat als pre-visualisatie.
Maar hoewel Niantic Spatial zijn aanbod nu uitbreidt naar het bedrijfsleven, is het de hobbyisten en enthousiastelingen niet vergeten die van Scaniverse een vroeg succesverhaal op het gebied van 3D-scannen hebben gemaakt. Voorlopig biedt het bedrijf afzonderlijke consumenten- en zakelijke accounts voor Scaniverse. Uiteindelijk wil het de twee versies van het platform samenvoegen en liefhebbers en prosumers ook toegang geven tot cloudgebaseerde verwerking.
Het is een knipoog naar Niantic’s wortels in de consumentenwereld – dezelfde wortels waarin het bedrijf de voorkeur gaf aan eenvoudige telefoongebaseerde apps boven een dure vloot van met camera’s uitgeruste auto’s om de wereld te scannen. “In het begin ontwikkelden we heel veel met heel weinig”, zegt Balabanian. “Alle dingen die we hebben ontwikkeld voor consumententoepassingen zijn nu springplanken voor de onderneming.”
