Niantic Spatial SDK v3.15 teraz podporuje Quest 3 a Quest 3S.

SDK poskytuje vývojárom pokročilé možnosti zmiešanej reality: vonkajší VPS s presnosťou na centimeter, dlhodobo živé skúmanie scén a sémantickú segmentáciu.

To všetko je možné, pretože od začiatku tohto roka Meta teraz umožňuje aplikáciám tretích strán na systéme Horizon OS pristupovať k prenosovým kamerám Quest 3 a Quest 3S, a Niantic to využíva na prevádzkovanie modelov počítačového videnia, ktoré vyvíja už približne desať rokov.

Niantic predáva Pokémon Go do Saudskej Arábie na financovanie prechodu na Spatial AI

Niantic Spatial rozdeľuje svoj AI od Pokémon Go a predáva posledný menovaný investičnej skupine zo Saudskej Arábie.

Uvoľnenie prichádza päť mesiacov po tom, čo sa Niantic, známy ako vývojár Pokémon Go, v podstate rozdelil na dva. Niantic Games, vrátane Pokémon Go, bol predaný saudskoarabskému Scopely, zatiaľ čo technologická časť spatial bola oddelená do novej spoločnosti s názvom Niantic Spatial.

Toto je prehľad možností zmiešanej reality, ktoré Niantic Spatial SDK teraz poskytuje vývojárom pre Quest:

VPS s presnosťou na centimeter

Každý vie, čo je Globálny pozičný systém (GPS). Je to základná súčasť modernej existencie, je to spôsob, ako navigujeme svetom, a jeho zaradenie do smartfónov dokonca vytvorilo novú softvérovú kategóriu, prepravu a doručovanie na požiadanie. Ale GPS je zvyčajne presné iba na približne 1 meter za ideálnych podmienok. A v mestských oblastiach, kde budovy blokujú signály, to môže klesnúť na desiatky metrov, zatiaľ čo bezradne sledujete, ako sa ten malý modrý bod na vašej obrazovke pohybuje po okolí.

Na druhej strane, Systém vizuálneho určovania polohy (VPS) je softvérový systém, ktorý používa počítačové videnie na určovanie vašej polohy identifikovaním jedinečných vizuálnych vzorov v reálnom čase z pohľadu kamery a ich porovnávaním so existujúcou kvalitnou 3D mapou sveta.

VPS teda funguje iba v oblastiach, kde bola dostatočne hustá fyzická geometria 3D zmapovaná. Ale v týchto oblastiach dokáže lokalizovať vašu presnú polohu s presnosťou na centimeter.

Google Maps má funkciu VPS pre navigáciu pešo už šesť rokov, využívajúc údaje z Google Street View, a Google sprístupňuje túto schopnosť vývojárom aplikácií pre smartfóny ako súčasť ARCore.

VPS Niantic pokrýva viac ako 1 milión lokalít, vytvorené pomocou skenov od hráčov hier ako Pokémon Go a Scaniverse. Ďalej Niantic tvrdí, že jeho VPS ponúka „presnosť na úrovni priemyslu“ a poskytuje 3D mriežky pre skenované verejné miesta.

Prvých 10 000 volaní VPS API každý mesiac je zadarmo, a zvyšok je ocenený približne na 0,01 dolára za volanie.

Živé skúmanie scén

Quest 3 a Quest 3S vám umožňujú skenovať vašu izbu, aby vytvorili 3D mriežku, ktorú aplikácie zmiešanej reality môžu využiť na umožnenie interakcie virtuálnych objektov s fyzickou geometriou alebo premeny vášho prostredia. Ale aktuálny systém Meta má dva hlavné problémy.

Prvý problém spočíva v tom, že od vás vyžaduje, aby ste sken vykonali. To zvyčajne trvá od asi 20 sekúnd do niekoľkých minút hľadania alebo dokonca chôdze, v závislosti od veľkosti a tvaru vášho domova, čo pridáva značný odpor v porovnaní s priamym spustením aplikácie.

Druhý problém je v tom, že tieto skeny mriežok scén predstavujú iba jeden okamih v čase, keď ste sken vykonali. Ak sa nábytok presunul alebo sa do miestnosti pridali alebo z nej odstránili objekty, tieto zmeny sa neodrazia v zmiešanej realite, pokiaľ používateľ manuálne neaktualizuje sken. Napríklad, ak niekto stál v miestnosti s vami počas skenovania, jeho tvar tela je zapísaný do mriežky scény.

V máji sme vyzdvihli, ako vývojár Lasertag Julian Triveri implementoval kontinuálne skúmanie scén na Quest 3 & 3S pomocou Depth API Meta. Ako sme spomenuli v tomto článku, Triveri sprístupnil zdrojový kód svojej techniky na GitHube, aby ho používali aj ďalší vývojári, a Hauntify plánuje využiť Triveriho ponuku.

Avšak Depth API funguje len do vzdialenosti približne 4 metre. Na druhej strane, živé skúmanie Niantic Spatial SDK zahŕňa podporu vzdialeného skúmania.

Využíva algoritmy počítačového videnia Niantic, pričom zobrazenie z prenosových kamier využíva na konštrukciu mriežky.

Prístup Niantic je teda oveľa vhodnejší na vonkajšie použitie a dobre funguje v kombinácii s jeho VPS.

Sémantická segmentácia a detekcia objektov

Niantic Spatial SDK môže tiež identifikovať a označovať objekty a povrchy v reálnom čase.

Rozpoznávanie objektov je podobné prístupu k prístupovým kamerám Quest zdrojových kódov, zatiaľ čo segmentácia sa zdá, že je pokročilejšia.

Ceny a čo je ďalej?

Funkcia VPS Niantic je účtovaná za každé volanie API, zatiaľ čo možnosti počítačového videnia na zariadení Niantic Spatial SDK sú neobmedzené, ale vyžadujú platbu okolo 0,10 dolára mesačne za každého aktívneho používateľa (MAU).

Živé skúmanie Niantic Spatial SDK je niečo, čo očakávame, že uvidíme mnohé aplikácie zmiešanej reality Quest 3 prijať, a jeho funkcia VPS robí Quest 3 vhodnejšou pre vonkajšie verejné zážitky, hoci hardvér nie je na to prispôsobený.

Niantic tvrdí, že „pokračuje v rozširovaní podpory na ďalšie zariadenia s nosením na hlave, zlepšovaní výkonu a zavádzaní nových funkcií, ako je vylepšená occlusion a trvalé pochopenie scén“, pričom zdôrazňuje, že spätná väzba od vývojárov ovplyvní to, čo príde ďalej.