Avec la montée en puissance des casques de réalité mixte, l’accès à la caméra est devenu l’une des fonctionnalités les plus demandées par les développeurs. Dans une récente interview, le CTO de Meta a évoqué la possibilité d’activer cette fonctionnalité à l’avenir.
Si vous possédez un smartphone, vous savez peut-être que ses caméras sont déjà accessibles aux développeurs. Bien sûr, lorsque vous ouvrez une application qui utilise la caméra, on vous demandera la permission, donc les développeurs ne peuvent pas y accéder quand ils le souhaitent. C’est une bonne chose car les gens sont naturellement prudents à propos de l’accès à la caméra en raison des préoccupations liées à la vie privée. Cependant, c’est un problème qui a été largement résolu sur les smartphones.
Les smartphones ont leur version de la réalité augmentée, mais les casques de réalité mixte (et les futures lunettes) offrent une expérience supérieure. Vous pouvez interagir avec le contenu virtuel en utilisant vos mains ou des contrôleurs et le voir en plein 6-DoF dans votre espace. C’est à la fois amusant et prometteur. Cependant, les développeurs ne peuvent actuellement pas exploiter tout le potentiel de la réalité mixte en raison de l’absence d’accès à la caméra.
Actuellement, si vous souhaitez développer une application de réalité mixte sur Meta Quest, il y a peu de choses que vous pouvez faire pour que votre application réagisse dynamiquement à l’environnement. Vous ne pouvez pas voir ce que l’utilisateur voit. Le Quest 3 dispose d’une fonction de scan de pièce, où l’utilisateur scanne manuellement l’espace, et le casque construit un maillage. Cependant, cela ne résout pas entièrement le problème, car cela ne permet pas des fonctionnalités comme le suivi d’objets.
Dans une interview entre Matthew Ball et Andrew Bosworth (CTO de Meta), Bosworth a laissé entendre que l’accès à la caméra pourrait éventuellement arriver sur les casques Quest. Il s’est montré enthousiaste quant aux possibilités que cette fonctionnalité débloquerait pour les développeurs, mais a noté que Meta a adopté une position conservatrice concernant l’accès à la caméra en raison des préoccupations liées à la vie privée. Étant donné l’histoire de Meta avec les scandales de confidentialité, cette prudence est compréhensible. Cependant, à mesure que l’industrie de la réalité mixte grandit et qu’Apple autorise déjà l’accès à la caméra pour les développeurs d’entreprise sur visionOS 2 (ce qui suggère qu’il pourrait éventuellement être disponible pour les développeurs réguliers), Meta pourrait être contraint de suivre le mouvement.
Voici plusieurs exemples d’applications de réalité mixte/réalité augmentée qui utilisent l’accès à la caméra. Certains sont de simples idées, tandis que d’autres sont des projets finis qui utilisent des solutions de contournement (parfois maladroites) pour fonctionner sans accès direct à la caméra. Activer l’accès à la caméra rendrait ces applications beaucoup plus conviviales.
Le gagnant du Hackathon AR de Meta – « Flaivor »
Flaivor est un assistant culinaire alimenté par l’IA, qui, à partir d’images d’articles dans votre réfrigérateur (ou de toute autre photo d’aliments disponibles), vous donne des recettes qui incluent les ingrédients que vous avez photographiés. Il dispose également d’une fonction qui vous permet de régler des minuteries et d’un assistant IA qui fournit de l’aide et des conseils.
L’avez-vous attrapé ? Oui, cette application nécessite que vous preniez une photo avec votre casque. C’est une solution ingénieuse (mais pas idéale) pour contourner l’absence d’accès à la caméra, ce qui simplifierait considérablement l’expérience. Imaginez juste regarder votre réfrigérateur et vous concentrer sur des ingrédients spécifiques que pourrait manquer une seule photo — cela serait possible avec un accès à la caméra.
Aspirateur spatial !
Cette application conceptuelle est conçue pour le divertissement mais offre une idée intéressante pour rendre les tâches ménagères plus agréables et moins fastidieuses. Elle inclut des fonctionnalités telles que gagner des pièces à chaque endroit et utiliser différentes couleurs de sol pour indiquer quelles parties n’ont pas encore été nettoyées, comme le montre la vidéo. Le créateur a réalisé cela en montant le contrôleur Meta Touch Pro, brièvement visible dans la vidéo.
Avec l’accès à la caméra, il serait possible de suivre l’aspirateur sans avoir besoin de contrôleurs. Étant donné que les données de sol et de maillage spatial sont déjà disponibles pour les développeurs, l’accès à la caméra est le seul composant manquant.
Application de réalité mixte Quest 3 – « Pencil »
Cette application est particulièrement intéressante, et j’ai eu la chance de l’essayer moi-même. J’ai fait un dessin avec ! C’était… mauvais, mais hé, il avait l’air beaucoup mieux quand j’utilisais cette application comparé à quand je le faisais sans. (Et non, je ne vais pas vous montrer le dessin.)
Cette application vous apprend essentiellement à dessiner, comme le montre la vidéo sur Twitter. Ce qu’elle fait est simple : elle suit une feuille de papier A4 avec un contrôleur dessus et ajoute une couche pour aider l’utilisateur à l’aligner avec la vraie feuille de papier. Avec un accès à la caméra, les développeurs pourraient réellement suivre le papier lui-même, ce qui rendrait le processus beaucoup plus facile. Actuellement, un contrôleur peut bouger, entraînant le déplacement de la feuille de papier virtuelle avec lui, éventuellement désalignant les dessins réels et virtuels. L’accès à la caméra éliminerait ce problème.
« World Skins » – Transformez votre monde avec l’IA et la RA
Ce qui intrigue dans cet exemple, c’est la façon dont il utilise l’IA et l’accès à la caméra pour transformer le monde entier autour de vous. Bien que cela soit actuellement juste un concept, c’est un concept très agréable. Nous pourrions discuter des risques potentiels si l’on n’est pas assez prudent, mais ce qui est plus significatif, c’est le potentiel énorme d’atteindre quelque chose comme cela. Pour une expérience plus sûre mais tout aussi impressionnante, imaginez appliquer le même concept dans votre propre maison : la transformer pour ressembler à une jungle construite en bambou ou à un vaisseau spatial visible à travers vos fenêtres.
Quel est l’avantage de la réalité mixte par rapport à la VR ? Eh bien, un avantage pourrait être la capacité de voir vos meubles ou des personnes se déplaçant autour de vous. Un autre avantage est le potentiel de l’utiliser à l’extérieur, comme dans votre jardin, une zone qui reste sûre des dangers comme les voitures mais qui pourrait être considérablement améliorée grâce à l’utilisation de l’IA.
Assistant IA
Les modèles de langage à grande échelle s’améliorent rapidement. Par exemple, celui démontré dans GPT-4o peut « comprendre » votre environnement et votre contexte, fournissant ainsi une assistance très utile lorsque cela est nécessaire.
Si les casques de réalité mixte et les lunettes AR étaient dotés d’un accès à la caméra pour les développeurs, ils pourraient utiliser leurs modèles entraînés pour l’assistance. Par exemple, si vous rencontrez un problème avec un robinet et avez besoin de l’aide d’un plombier, vous pourriez potentiellement gérer le problème de manière indépendante. Comment ? Il suffit de regarder l’installation et de demander de l’aide à l’IA. Avec un accès à la caméra, l’IA aurait un accès instantané à ce que vous voyez, améliorant grandement sa capacité à comprendre la situation et à fournir des conseils efficaces.
Des exemples comme ceux-ci sont infinis, et beaucoup n’ont même pas encore été imaginés. Ils pourraient devenir réalité si les développeurs avaient accès aux caméras des casques.
Le projet de recherche AR fascinant de Meta Reality Lab
Ceci est une démo très cool de Meta Reality Labs. Elle permet à l’utilisateur de manipuler la réalité non seulement en ajoutant des éléments virtuels mais aussi en modifiant les éléments existants. Par exemple, vous pouvez déplacer des objets dans le monde réel, et le casque approximera la texture et les couleurs derrière eux, créant un mur virtuel sans couture qui remplace le vrai mur derrière l’objet déplacé.
C’est une approximation, donc le mur généré n’est pas identique au vrai, mais il pourrait être amélioré. Le développeur derrière le projet a mentionné que des scans minutieux et une planification préalable de chaque objet étaient nécessaires pour la démo. Cependant, avec un accès à la caméra et des modèles IA avancés, nous pouvons imaginer rendre tout cela en temps réel, amenant la réalité mixte à un tout autre niveau.
Changer dynamiquement le monde autour de vous – API Aldiffusion
Le prototype montré ici est une démonstration pilotée par l’IA des possibilités. Il n’y a pas grand-chose à décrire : vous touchez quelque chose dans votre chambre, et vos mains (ou votre corps) changent pour correspondre à ce que vous avez touché. Est-ce un gadget ? Oui, certainement. Des idées comme celles-ci pourraient évoluer vers quelque chose de plus grand et bien plus utile cependant !
AR pour l’emballage
Que se passerait-il si vous entriez dans un magasin avec vos lunettes AR à l’avenir, et que chaque produit que vous voyiez avait une animation créative ? Cela pourrait être accablant, et je ne peux pas imaginer que quiconque apprécie de voir des centaines de produits sur les étagères bouger. Mais si vous pouviez vous concentrer sur un produit, cliquer des doigts et voir une animation montrant comment l’utiliser ou des recettes potentielles avec (selon qu’il s’agisse d’un produit consommable ou autre), ce serait incroyable.
Je vois les avantages de cela. Bien sûr, cela nécessiterait un accès à la caméra pour fonctionner.
Solution de réalité augmentée « Try-On » de Gucci
Un autre cas d’utilisation intéressant de la RA qui nécessite un accès à la caméra est la fonctionnalité « essayer ». Vous pouvez déjà faire cela sur votre téléphone, mais ce n’est pas bien pris en charge. Avec un dispositif capable de modifier la réalité de manière utilisable déjà sur votre tête, les développeurs pourraient étendre des fonctionnalités comme celle-ci. J’utiliserais certainement cela pour voir à quoi ressemblent les chaussures à mes pieds avant de les acheter, sans avoir besoin d’aller dans un magasin !
La même chose pourrait s’appliquer lorsque vous regardez dans le miroir, avec le casque ou les lunettes voyant votre corps. Vous pourriez vérifier si certains vêtements vous vont bien. Il existe déjà des applications qui font quelque chose de similaire, mais rien ne peut battre de voir l’image directement sur les lunettes ou le casque.
Il existe de nombreux autres exemples comme ceux ci-dessus, mais je crois qu’ils vous donnent déjà une bonne idée de ce qui est possible. Meta et Apple avancent lentement vers la possibilité pour les développeurs d’accéder aux caméras des casques. Si cela se produit, cela marquera le moment où des applications de réalité mixte innovantes, créatives et utiles émergeront véritablement.
