Con el auge de los cascos de Realidad Mixta, el acceso a la cámara se ha convertido en una de las características más deseadas por los desarrolladores. En una entrevista reciente, el CTO de Meta insinuó la posibilidad de habilitar esta función en el futuro.
Si posees un smartphone, sabrás que sus cámaras ya están accesibles para los desarrolladores. Por supuesto, cuando abres una aplicación que usa la cámara, se te pedirá permiso, por lo que los desarrolladores no pueden acceder a ella siempre que quieran. Esto es bueno, ya que las personas son naturalmente cautelosas con el acceso a la cámara debido a preocupaciones de privacidad. Sin embargo, este es un problema que se ha resuelto en gran medida en los smartphones.
Los smartphones tienen su versión de Realidad Aumentada, pero los cascos de Realidad Mixta (y las futuras gafas) ofrecen una experiencia superior. Puedes interactuar con contenido virtual usando tus manos o controladores y verlo en pleno 6-DoF dentro de tu espacio. Esto es tanto divertido como prometedor. Sin embargo, actualmente los desarrolladores no pueden utilizar todo el potencial de la Realidad Mixta debido a la falta de acceso a la cámara.
Actualmente, si deseas desarrollar una aplicación de Realidad Mixta en Meta Quest, hay poco que puedas hacer para que tu aplicación reaccione dinámicamente al entorno. No puedes ver lo que el usuario ve. Quest 3 tiene una función de escaneo de habitación, donde el usuario escanea manualmente el espacio, y el casco construye una malla. Sin embargo, esto no resuelve completamente el problema, ya que no permite funciones como el seguimiento de objetos.
En una entrevista entre Matthew Ball y Andrew Bosworth (CTO de Meta), Bosworth insinuó que el acceso a la cámara podría llegar eventualmente a los cascos Quest. Expresó su entusiasmo por las posibilidades que esta característica desbloquearía para los desarrolladores, pero señaló que Meta ha adoptado una postura conservadora sobre el acceso a la cámara debido a preocupaciones de privacidad. Dada la historia de Meta con escándalos de privacidad, esta precaución es comprensible. Sin embargo, a medida que la industria de la Realidad Mixta crece y con Apple ya permitiendo el acceso a la cámara para desarrolladores empresariales en visionOS 2 (lo que sugiere que eventualmente podría estar disponible para desarrolladores regulares), Meta podría verse obligada a seguir su ejemplo.
A continuación, se presentan varios ejemplos de aplicaciones de Realidad Mixta/Realidad Aumentada que utilizan el acceso a la cámara. Algunos son meras ideas, mientras que otros son proyectos terminados que utilizan soluciones alternativas (a veces incómodas) para funcionar sin acceso directo a la cámara. Habilitar el acceso a la cámara podría hacer que estas aplicaciones sean mucho más fáciles de usar.
El ganador del Hackathon AR de Meta – «Flaivor»
Flaivor es un asistente de cocina impulsado por IA que, basado en imágenes de artículos en tu refrigerador (o cualquier otra foto de alimentos disponibles), te da recetas que incluyen los ingredientes que has fotografiado. También tiene una función que te permite configurar temporizadores y un asistente de IA que proporciona ayuda y orientación.
¿Lo captaste? Sí, esta aplicación requiere que tomes una foto con tu casco. Esta es una solución ingeniosa (pero no ideal) para la falta de acceso a la cámara, que simplificaría significativamente la experiencia. Imagina simplemente mirar tu refrigerador y enfocarte en ingredientes específicos que una sola foto podría perder, esto sería posible con acceso a la cámara.
¡Aspiradora espacial!
Esta aplicación conceptual está diseñada para la diversión, pero ofrece una idea interesante para hacer que las tareas domésticas sean más agradables y menos tediosas. Incluye características como ganar monedas en cada lugar y usar diferentes colores de suelo para indicar qué partes aún no se han limpiado, como se muestra en el video.
El creador logró esto montando el controlador Meta Touch Pro, brevemente visible en el video. Con acceso a la cámara, sería posible rastrear la aspiradora sin necesidad de controladores. Dado que los datos del suelo y la malla espacial ya están disponibles para los desarrolladores, el acceso a la cámara es el único componente que falta.
Aplicación de Realidad Mixta Quest 3 – «Pencil»
Esta aplicación es particularmente interesante, y tuve la oportunidad de probarla yo mismo. ¡Hice un dibujo con ella! Era… malo, pero hey, se veía mucho mejor cuando usé esta aplicación en comparación con cuando lo hice sin ella. (Y no, no te voy a mostrar el dibujo).
Esta aplicación te enseña a dibujar, esencialmente, como se demostró en el video en Twitter. Lo que hace es simple: rastrea una hoja de papel A4 con un controlador encima y agrega una capa para ayudar al usuario a alinearla con la hoja de papel real. Con acceso a la cámara, los desarrolladores podrían rastrear el papel en sí, lo que haría el proceso mucho más fácil. Actualmente, un controlador puede moverse, haciendo que la hoja de papel virtual se mueva con él, potencialmente desalineando los dibujos reales y virtuales. El acceso a la cámara eliminaría este problema.
«World Skins» – Transforma tu mundo con IA y RA
Lo intrigante de este ejemplo es cómo utiliza la IA y el acceso a la cámara para transformar todo el mundo a tu alrededor. Aunque actualmente es solo un concepto, es muy agradable. Podríamos discutir los riesgos potenciales si uno no es lo suficientemente cuidadoso, pero lo más significativo es el enorme potencial para lograr algo así. Para una experiencia más segura pero igualmente impresionante, imagina aplicar el mismo concepto dentro de tu propia casa: transformándola para parecerse a una jungla construida de bambú o una nave espacial visible a través de tus ventanas.
¿Cuál es la ventaja de usar Realidad Mixta sobre VR? Bueno, una ventaja podría ser la capacidad de ver tus muebles o personas moviéndose a tu alrededor. Otro beneficio es el potencial de usarlo al aire libre, como en tu jardín, un área que permanece segura de peligros como los coches pero que podría ser significativamente mejorada mediante el uso de IA.
Asistente de IA
Los Modelos de Lenguaje de Gran Escala están mejorando rápidamente. Por ejemplo, el demostrado en GPT-4o puede «comprender» tu entorno y contexto, proporcionando así asistencia muy útil cuando se necesita
Si los cascos de Realidad Mixta y las gafas AR otorgaran acceso a la cámara para los desarrolladores, podrían utilizar sus modelos entrenados para asistencia. Por ejemplo, si te encuentras con un problema con un grifo y necesitas ayuda de un plomero, podrías manejar el problema de manera independiente. ¿Cómo? Simplemente mira la instalación y pide ayuda al IA. Con acceso a la cámara, la IA tendría acceso instantáneo a lo que ves, mejorando enormemente su capacidad para entender la situación y proporcionar orientación efectiva.
Ejemplos como estos son interminables, y muchos de ellos ni siquiera se han imaginado aún. Podrían convertirse en realidad si los desarrolladores tuvieran acceso a las cámaras de los cascos.
Proyecto fascinante de investigación AR de Meta Reality Lab
Esta es una demostración muy interesante de Meta Reality Labs. Permite al usuario manipular la realidad no solo añadiendo elementos virtuales sino también alterando los existentes. Por ejemplo, puedes mover objetos en el mundo real, y el casco aproximará la textura y los colores detrás de ellos, creando una pared virtual sin costuras que reemplaza la pared real detrás del objeto movido.
Es una aproximación, por lo que la pared generada no es idéntica a la real, pero podría mejorarse. El desarrollador detrás del proyecto mencionó que un escaneo cuidadoso y una planificación previa de cada objeto eran necesarios para la demostración. Sin embargo, con acceso a la cámara y modelos avanzados de IA, podemos imaginar renderizar todo esto en tiempo real, llevando la Realidad Mixta a un nuevo nivel completamente.
Cambiando dinámicamente el mundo a tu alrededor – API Aldiffusion
El prototipo mostrado aquí es una demostración impulsada por IA de las posibilidades. No hay mucho que describir: tocas algo en tu habitación, y tus manos (o cuerpo) cambian para coincidir con lo que has tocado. ¿Es un truco? Sí, ciertamente. Ideas como estas podrían evolucionar hacia algo más grande y mucho más útil, ¡sin embargo!
AR para empaques
¿Qué pasaría si entras en una tienda con tus gafas AR en el futuro, y cada producto que ves tiene una animación creativa? Eso podría ser abrumador, y no puedo imaginar que a alguien le guste ver cientos de productos en los estantes en movimiento. Pero si pudieras concentrarte en un producto, hacer clic con los dedos y ver una animación que muestre cómo usarlo o recetas potenciales con él (dependiendo de si es un consumible o algo más), eso sería increíble.
Veo los beneficios de esto. Por supuesto, requeriría acceso a la cámara para funcionar.
Solución de realidad aumentada «Try-On» de Gucci
Otro caso de uso interesante de AR que requiere acceso a la cámara es la función «probarse». Ya puedes hacer esto en tu teléfono, pero no está bien soportado. Con un dispositivo capaz de alterar la realidad de manera usable ya en tu cabeza, los desarrolladores podrían expandir características como esta. Ciertamente lo usaría para ver cómo se ven los zapatos en mis pies antes de comprarlos, sin necesidad de ir a una tienda.
Lo mismo podría aplicarse cuando miras en el espejo, con el casco o las gafas viendo tu cuerpo. Podrías comprobar si ciertas prendas te quedan bien. Ya existen aplicaciones que hacen algo así, pero nada puede superar ver la imagen directamente en las gafas o en el casco.
Hay muchos más ejemplos como los anteriores, pero creo que ya te dan una buena idea de lo que es posible. Meta y Apple están avanzando lentamente hacia permitir a los desarrolladores acceder a las cámaras de los cascos. Si esto sucede, marcará el momento en que las aplicaciones de Realidad Mixta innovadoras, creativas y útiles emerjan verdaderamente.
