Neueste Ergebnisse aus dem Data Mining deuten darauf hin, dass Metas langjährige Forschung zu Codec Avatars möglicherweise früher als erwartet auf eigenständigen Headsets implementiert wird, mit einer Messenger-Unterstützung, die darauf abzielt, mit Apple zu konkurrieren

Codec Avatars sind eine der vielversprechendsten Technologien, die in den kommenden Jahren oder sogar Jahrzehnten im Bereich VR/AR erwartet werden. Diese Avatare sind hochrealistische virtuelle Darstellungen von Personen, die sich von den derzeit von Meta verwendeten cartoonartigen Avataren unterscheiden. Sie erreichen ein Niveau an Hyperrealismus, das erfolgreich die unheimliche Talproblematik überwindet, eine Herausforderung, die ähnliche Technologien in der Vergangenheit heimgesucht hat.

Meta arbeitet seit mehreren Jahren an dieser Technologie. Bis vor kurzem sahen wir nur schnelle Prototyp-Videos, die unter perfekten Bedingungen mit teuren Kameraaufbauten aufgenommen wurden. Dies könnte sich jedoch bald ändern, da Meta derzeit Codec Avatars auf einem eigenständigen Gerät testet.

Meta testet diese Technologie seit einiger Zeit auf eigenständigen Geräten. Vor einem Jahr erwähnte Andrew Bosworth, Metas CTO, in seinem Instagram-AMA, dass Meta bei Codec Avatars für eigenständige Headsets „Fortschritte“ mache, sie aber noch „Jahre entfernt“ davon seien, vollständig realisiert zu werden.

Nun hat die VR-Enthusiastin Luna in der v68 PTC-Version von Meta Quest Hinweise auf Codec Avatars entdeckt. Diese Funde deuten darauf hin, dass Meta daran arbeitet, Codec Avatars für Messenger-Videoanrufe zu unterstützen.

Wann werden Codec Avatars auf eigenständigen Headsets verfügbar sein?

Laut Metas durchgesickertem Fahrplan von The Verge im letzten Jahr werden Codec Avatars ein Hauptmerkmal von Metas bevorstehendem Quest Pro Headset sein, das den Codenamen „La Jolla“ trägt. Dieser Bericht lieferte auch Details über die Quest 3 und Quest 3s.

Quest Pro 2 soll laut neuesten Leaks aus einer sehr zuverlässigen Quelle, die auch die geplanten Veröffentlichungstermine für Quest 4 und Quest 4s diskutieren, im Jahr 2027 auf den Markt kommen.

Quest Pro 2 wird natürlich, wie sein Vorgänger, über Augen- und Gesichtsverfolgung verfügen. Diese Verfolgung ist entscheidend für Codec Avatars, daher werden wir sie nicht auf Headsets wie Quest 3 sehen… oder doch?

Meta hat eine Version von Codec Avatars demonstriert, die keine Gesichts- oder Augenverfolgung benötigt. Stattdessen werden Gesichtsbewegungen aus dem vom Headset-Mikrofon aufgefangenen Audio geschätzt. Obwohl diese Methode nicht ideal ist, um reiche Gesichtsausdrücke zu erreichen, könnte sie als anständige Zwischenlösung für bestehende Quest 3- und Quest 2-Benutzer dienen.

Im Jahr 2021 demonstrierte Meta eine effiziente Methode zur Dekodierung von Codec Avatars auf Quest 2. Diese Methode ermöglichte es, einen Codec Avatar mit 72 FPS, drei mit 63 FPS und fünf mit etwa 43 FPS darzustellen. Da die Quest 3 deutlich leistungsfähiger ist als die Quest 2, können wir eine noch bessere Leistung erwarten.

Obwohl die Aussicht auf Codec Avatars auf eigenständigen Headsets aufregend ist, ist es wichtig, nicht dieselbe Qualität wie diejenige zu erwarten, die im Interview von Lex Fridman mit Mark Zuckerberg gesehen wurde. Die Avatares auf eigenständigen Geräten könnten denen aus Metas Codec Avatar Demo ähnlicher sein, die ein Smartphone für einen schnellen Gesichtsscan verwendete.