Wraz ze wzrostem popularności zestawów gogli Mieszanej Rzeczywistości, dostęp do kamer w goglach stał się jedną z najbardziej pożądanych funkcji dla deweloperów. W ostatnim wywiadzie, CTO firmy Meta zasugerował możliwość włączenia tej funkcji w przyszłości.
Na pewno posiadasz smartfon. Ale czy zdajesz sobie sprawę, że jego kamery są dostępne dla deweloperów? Innymi słowy – niektóre aplikacje mogą widzieć dokładnie to co widzą kamery w twoim telefonie. Oczywiście, kiedy otwierasz aplikację korzystającą z kamer, zostaniesz poproszony o pozwolenie, więc deweloperzy nie mogą uzyskać do niej dostępu kiedy tylko chcą. To dobrze, ponieważ ludzie są naturalnie ostrożni w kwestii dostępu do kamer ze względu na obawy o prywatność. Jednakże, jest to problem, który został w dużej mierze rozwiązany w smartfonach.
Smartfony mają swoją wersję rozszerzonej rzeczywistości, ale najnowsze gogle Mieszanej Rzeczywistości (i przyszłe okulary) oferują znacznie lepsze doświadczenie niż to co jest możliwe na telefonach – Możesz wchodzić w interakcję z wirtualną zawartością za pomocą rąk lub kontrolerów i widzieć ją w pełnym 6-DoF w swojej przestrzeni. Mimo tej znacznej przewagi nad AR w smartfonach, obecnie deweloperzy nie mogą wykorzystać jej pełnego potencjału z powodu braku dostępu do kamer na goglach.
Jednakże, jest to problem, który został w dużej mierze rozwiązany w smartfonach. Smartfony mają swoją wersję rozszerzonej rzeczywistości, ale zestawy słuchawkowe Mixed Reality (i przyszłe okulary) oferują lepsze doświadczenie. Możesz wchodzić w interakcję z wirtualną zawartością za pomocą rąk lub kontrolerów i widzieć ją w pełnym 6-DoF w swojej przestrzeni. To zarówno zabawne, jak i obiecujące. Jednak obecnie deweloperzy nie mogą wykorzystać pełnego potencjału Mixed Reality z powodu braku dostępu do kamery. Jeżeli obecnie chcesz zbudować aplikację Mieszanej Rzeczywistości na Meta Quest, możesz zrobić bardzo niewiele aby aplikacja reagowała dynamicznie na otoczenie. Nie możesz zobaczyć tego, co widzi użytkownik. Quest 3 ma funkcję skanowania pomieszczenia, gdzie użytkownik ręcznie skanuje przestrzeń, a gogle tworzą siatkę. Jednakże, to nie rozwiązuje w pełni problemu, ponieważ nie pozwala na funkcje takie jak śledzenie obiektów.
W wywiadzie między Matthew Ballem a Andrew Bosworthem (CTO firmy Meta), Bosworth zasugerował, że dostęp do kamer może ostatecznie pojawić się w goglach Quest. Wyraził ekscytację możliwościami, jakie ta funkcja otworzyłaby dla deweloperów, ale zauważył, że Meta przyjęła konserwatywne podejście do dostępu do kamer ze względu na obawy o prywatność. Biorąc pod uwagę historię Mety ze skandalami dotyczącymi prywatności, ta ostrożność jest zrozumiała. Jednakże, w miarę jak branża Mixed Reality rośnie i z Apple już pozwalającym na dostęp do kamery dla deweloperów korporacyjnych na visionOS 2 (co sugeruje, że może to ostatecznie być dostępne dla zwykłych deweloperów), Meta może być zmuszona pójść w ich ślady.
Poniżej znajduje się kilka przykładów aplikacji Mieszanej/Rozszerzonej Rzeczywistości wykorzystujących dostęp do kamery. Niektóre są tylko pomysłami, podczas gdy inne to ukończone projekty, które funkcjonują dzięki (czasem niewygodnym) obejściom bez bezpośredniego dostępu do kamer. Włączenie tego dostępu mogłoby uczynić te aplikacje znacznie bardziej przyjazne dla użytkownika.
Zwycięzca Meta AR Hackathon – „Flaivor”
Flaivor to asystent kulinarny napędzany sztuczną inteligencją, który na podstawie zdjęć przedmiotów w twojej lodówce (lub dowolnego innego zdjęcia dostępnych produktów spożywczych) podaje przepisy zawierające sfotografowane składniki. Ma także funkcję ustawiania minutników i asystenta AI, który zapewnia pomoc i wskazówki.
Chwila, aplikacja wymaga od użytkownika zrobienie zdjęcia? To sprytny (choć nie idealny) sposób na obejście braku dostępu do kamer, co znacznie uprościłoby doświadczenie. Wyobraź sobie, że wystarczyłoby spojrzeć na swoją lodówkę i skupić się na konkretnych składnikach, które pojedyncze zdjęcie może przeoczyć — to byłoby możliwe dzięki dostępowi do kamer.
Przestrzenne Odkurzanie!
Ta koncepcyjna aplikacja jest stworzona wyłącznie dla zabawy, ale oferuje interesujący pomysł na uatrakcyjnienie prac domowych i uczynienie ich mniej monotonnymi. Zawiera funkcje takie jak zdobywanie monet w każdym nieodkurzonym miejscu i używanie różnych kolorów podłóg, aby wskazać, które części jeszcze nie zostały wyczyszczone, jak pokazano na nagraniu. Twórca osiągnął to, montując kontroler Meta Touch Pro, krótko widoczny na wideo.
Z dostępem do kamer możliwe byłoby śledzenie odkurzacza bez potrzeby używania kontrolerów. Ponieważ dane o podłodze i przestrzeni są już dostępne dla deweloperów, dostęp do kamer jest jedynym brakującym składnikiem.
Aplikacja Mixed Reality na Quest 3 – „Pencil”
Ta aplikacja jest szczególnie interesująca. Ba, miałem okazję sam ją wypróbować! Narysowałem jeden z dostępnych rysunków, i… no, arcydzieło to nie było. Ale hej, wyglądał znacznie lepiej, gdy używałem tej aplikacji niż gdy robiłem to bez niej. (I nie, nie pokażę tego rysunku.)
Ta aplikacja uczy rysowania, właśnie tak, jak pokazano na wideo na Twitterze. To, co robi, jest proste: śledzi kartkę papieru formatu A4 z kontrolerem na górze i dodaje warstwę, która pomaga użytkownikowi wyrównać ją z prawdziwą kartką papieru. Z dostępem do kamery deweloperzy mogliby śledzić samą kartkę papieru, co znacznie ułatwiłoby proces. Obecnie kontroler może się przesunąć, powodując przesunięcie się wirtualnej kartki papieru, co potencjalnie może spowodować niezgodność rzeczywistego i wirtualnego rysunku. Dostęp do kamery wyeliminowałby ten problem.
„World Skins” – Transformuj swój świat dzięki AI i AR
Intrygujące w tym przykładzie jest to jak wykorzystuje ona AI i dostęp do kamery do transformacji całego świata wokół ciebie. Chociaż obecnie jest to tylko koncepcja, jest to coś niezmiernie interesującego. Moglibyśmy dyskutować tu o potencjalnych ryzykach – Jak na przykład co by się stało gdyby ktoś nie był ostrożny, ale ważniejszy jest sam fakt możliwośći stworzenai czegoś takiego. Dla bezpieczniejszego, ale równie imponującego doświadczenia, wyobraź sobie zastosowanie tego samego konceptu w swoim własnym domu: przekształcanie go tak, aby przypominał dżunglę lub statek kosmiczny wraz z widokiem na kosmos przez twoje okna.
Jaka jest korzyść z używania tego nad Wirtualną Rzeczywistością? Cóż, jedną z zalet może być możliwość zobaczenia swoich mebli lub osób poruszających się wokół ciebie. Inną korzyścią jest potencjał do używania go na zewnątrz, na przykład w ogrodzie – obszarze, który pozostaje bezpieczny przed zagrożeniami, takimi jak samochody, ale mógłby być znacznie wzbogacony dzięki użyciu AI.
Asystent AI
Duże Modele Językowe (LLM) szybko się poprawiają. Na przykład ten pokazany w GPT-4o może „rozumieć” twoje otoczenie i kontekst, tym samym zapewniając wysoce użyteczną pomoc, gdy jest to potrzebne.
Gdyby gogle Mieszanej Rzeczywistości i okulary AR otrzymały dostęp do kamer dla deweloperów, mogłyby wykorzy