Vedci vyvinuli techniku na zvýšenie snímkovej frekvencie VR syntetizovaním pohľadu druhého oka namiesto jeho vykresľovania.
Práca má názov „You Only Render Once: Zlepšovanie energetickej a výpočtovej efektívnosti mobilnej virtuálnej reality“ a pochádza od dvoch výskumníkov z Kalifornskej univerzity v San Diegu, dvoch z Univerzity Colorado v Denveri, jedného z Univerzity Nebraska–Lincoln a jedného z Guangdong University of Technology.
Stereoskopické vykresľovanie – potreba vykresliť samostatný pohľad pre každé oko – je jedným z hlavných dôvodov, prečo sú VR hry ťažšie spustiteľné ako hry na plochých obrazovkách, čo vedie k ich nižšej relatívnej grafickej vernosti. To robí VR menej atraktívnou pre mnohých bežných hráčov.
Samostatné VR headsety ako Quests môžu optimalizovať volania CPU pri stereo vykreslovaní technikou nazývanou Single Pass Stereo, ale GPU stále musí vykresliť obe oči, vrátane nákladného per-pixel tienenia a pamäťových nákladov.
You Only Render Once (YORO) je fascinujúci nový prístup. Začína sa vykreslením jedného oka, ako obvykle. Ale namiesto toho, aby sa vôbec vykreslil pohľad druhého oka, efektívne ho syntetizuje v dvoch fázach: Reprojekciou a Patchingom.
Aby bolo jasné, YORO nie je systém AI. Nie je tu zapojená žiadna neurónová sieť, a preto tu nebudú žiadne halucinácie AI.
Fáza Reprojekcie používa compute shader na posunutie každého pixelu z vykresleného oka do toho, čo by bolo priestorom obrazovky druhého oka. Potom označuje, ktoré pixely sú skryté, t.j. nie sú viditeľné z vykresleného oka.
Práve tu prichádza do hry fáza Patching. Je to ľahký obrazový shader, ktorý aplikuje hĺbkovo vedomý in-paint filter na zakryté pixely označené fázou Reprojekcie a rozmazáva pozadie do nich.
Vedci tvrdia, že YORO znižuje náklady na vykresľovanie GPU o viac ako 50% a syntetický pohľad oka je vo väčšine prípadov „vizuálne bezstratový“.
V teste v reálnom svete na Quest 2 s praktickou ukážkou Unity VR Beginner: The Escape Room implementácia YORO zvýšila snímkovú frekvenciu o 32%, z 62FPS na 82FPS.
Výnimkou z tejto „vizuálne bezstratovej“ syntézy je extrémne blízke pole, čo znamená virtuálne objekty, ktoré sú veľmi blízko vašim očiam. Stereo disparita prirodzene rastie, čím bližšie je objekt k vašim očiam, takže v určitom bode YORO prístup jednoducho zlyhá.
V tomto prípade vedci navrhujú jednoducho sa vrátiť k bežnému stereo vykreslovaniu. To možno urobiť aj pre konkrétne objekty, ktoré sú veľmi blízko vašim očiam, namiesto celej scény.
Väčším obmedzením YORO je, že nepodporuje priehľadnú geometrickú štruktúru. Vedci však poznamenávajú, že priehľadnosť si aj tak vyžaduje druhý vykresľovací prechod na mobilných GPU, takže sa zriedka používa a naznačujú, že YORO by mohol byť vložený pred priehľadný vykresľovací prechod.
Zdrojový kód implementácie YORO v Unity je dostupný na GitHub, pod GNU General Public License (GPL). Teoreticky je teda už možné, aby VR vývojári implementovali toto vo svojich tituloch. Ale prijmú platformové spoločnosti ako Meta, ByteDance a Apple techniku podobnú YORO na úrovni SDK alebo systému? V nasledujúcich mesiacoch a rokoch budeme tieto spoločnosti starostlivo sledovať na akékoľvek znamenia.