Nový článok od výskumníkov podrobne popisuje „proxy“ ako kľúčový koncept rozhrania pre headsety zmiešanej reality.

Myšlienka výskumníkov, ktorí sú spojení s Google a University of Minnesota, využíva proxy na preklenutie rozdielu medzi priestorom na dosah a vzdialenými objektmi. Preskúmaná prostredníctvom ich systému Reality Proxy, by mohla využiť kamery headsetu v spolupráci s AI, existujúcimi mapovacími údajmi a vstupom od používateľov na vytvorenie takmer okamžitých miniaturizovaných reprezentácií oblastí záujmu vo fyzickom prostredí. Zároveň môžu byť fyzické objekty reprezentované proxy pre blízke objekty zobrazené na pozadí, aby ukázali, čo používateľ vyberá.

„Ak má AI umožniť ľuďom vykonávať každodenné úlohy, pravdepodobne to bude prostredníctvom XR,“ napísal výskumník Dr. Mar Gonzalez-Franco na Bluesky. „Problém teda je, ak má výber reálne dôsledky, budeme potrebovať veľkú presnosť na interakciu.“

Koncept by mohol urobiť trivialným získať digitálnu kópiu fyzickej knihy z vašej poličky, čím by ste ušetrili cestu z pohovky. Ak je to pre vás príliš bežné využitie headsetov, rovnakú myšlienku by ste mohli rozšíriť na manažovanie rojov dronov, ich výber v priestore ťahaním kocky cez ne, akoby to boli jednotky v hre Command & Conquer. Môžete tiež vidieť celú svoju trasu budovou zobrazenú v mini verzii pred tým, než do nej vstúpite.

Myšlienka by mohla umožniť „používateľom efektívnejšie komunikovať s objektmi, ktoré sú preplnené, vzdialené alebo čiastočne zakryté. Rozšírená AI, Reality Proxy ďalej podporuje pokročilé MR interakcie — ako je viacnásobný výber, sémantické skupinovanie a priestorové priblíženie — pomocou intuíciou vedených gest manipulácie.“

Článok je spolutvorený Xiaoanom Liuom, Difanom Jiam, Xianhaom Carton Liuom, Mar Gonzalez-Francom a Chen Zhu-Tianom, a je dostupný online predložený ako súčasť konferencie ACM UIST, ktorá sa uskutočnila v Kórei na konci septembra.