Po dobu približne desiatich rokov Meta skúma a vyvíja technológiu nazvanú Codec Avatars, fotorealistické digitálne reprezentácie ľudí ovládané v reálnom čase sledovaním očí a tváre VR headsetmi. Najvyššia kvalita prototypu dosahuje pozoruhodný míľnik prekonania uncanny valley, podľa našich skúseností.
Cieľom Codec Avatars je poskytnúť sociálnu prítomnosť, podvedomý pocit, že ste skutočne s inou osobou, aj keď nie je fyzicky prítomná. Žiadna dostupná technológia to dnes nedokáže. Videohovory sa tomu ani nepriblížia.
Aby sa nakoniec dodali Codec Avatars, Meta pracuje na zvyšovaní realizmu a prispôsobivosti systému, znižovaní požiadaviek na real-time rendering a umožnení ich generovania pomocou skenovania smartfónom.
Generovanie Codec Avatara pôvodne vyžadovalo masívny prispôsobený zberový systém s viac ako 100 kamerami a stovkami svetiel, ale minulý rok Meta prešla na to, že to používajú len na tréning ‚univerzálneho modelu‘. Po tomto, nové Codec Avatars môžu byť generované pomocou selfie videa otáčajúceho hlavu. Avšak pre plnú kvalitu Codec Avatars, tento zber vyžaduje približne hodinu na spracovanie výkonným serverovým GPU.
Aj keď Meta predviedla nižšiu kvalitu Codec Avatars generovaných skenovaním smartfónom už v roku 2022, práca z minulého roka preniesla túto výhodu na kvalitnejšie Codec Avatars pomocou prístupu Gaussian splatting.
V posledných rokoch Gaussian splatting dosiahol pre realistické volumetrické renderovanie to, čo veľké jazykové modely (LLMs) dosiahli pre chatboty, čím posunul technológiu z nákladnej výklenkovej oblasti do komerčne dostupných produktov ako sú Varjo Teleport a Niantic’s Scaniverse.
Tieto novšie Gaussian Codec Avatars sú tiež inherentne relightable, čo ich robí veľmi vhodnými pre praktické využitie vo VR a zmiešanej realite.
Apple tiež využíva Gaussian splatting pre svoje nové Personas vo visionOS 26, ktoré nie sú úplne na rovnakej úrovni kvality ako výskum od Meta, ale sú dostupné v komerčnom produkte.
Najnovší výskum Meta, prezentovaný v práci nazvanej „HairCUP: Hair Compositional Universal Prior for 3D Gaussian Avatars“, vychádza z práce na Gaussových Codec Avataroch z minulého roka pridaním kompozičného rozdelenia medzi hlavu a vlasy.
V komerčne dostupnom systéme by to umožnilo používateľovi vymeniť si účes z knižnice možností alebo zo svojich predchádzajúcich skenov, bez potreby nového skenovania tváre.
Na svojom mieste nový prístup tiež vylepšuje prechod medzi vlasmi a tvárou, ako napríklad ofina, a mohol by lepšie podporovať klobúky v budúcnosti.
Meta sa nikdy nebola bližšie k tomu, aby dodala Codec Avatars ako skutočnú funkciu svojich headsetov Horizon OS. Avšak ešte existuje niekoľko prekážok.
Po prvé, ani Quest 3, ani Quest 3S nemajú sledovanie očí alebo tváre, a nie je žiadny náznak toho, že Meta plánuje čoskoro spustiť ďalší headset s týmito schopnosťami. Quest Pro mal obidve, ale bol zrušený na začiatku tohto roku.
Ďalší problém spočíva v požiadavkách na renderovanie. Aj keď Meta predviedla Codec Avatars nižšej kvality renderované pomocou Quest 2 pred rokmi, kvalitnejšie verzie boli do dnešného dňa renderované grafickými kartami PC. Apple Vision Pro dokazuje, že je možné renderovať Gaussove avatare na zariadení, avšak Quest 3 je o niečo menej výkonný, a Meta nemá úplnú kontrolu nad hardvérom a softvérom od Apple.
Jednou z možností je, že Meta najprv spustí základnú plochú verziu Codec Avatars, aby ste mohli zúčastniť videohovorov na WhatsApp a Messengeri s realistickejšou formou ako váš Meta Avatar.
Meta Connect 2025 sa uskutoční od 17. septembra a spoločnosť by mohla vtedy zdieľať viac informácií o svojom pokrokovom vývoji na Codec Avatars.