‘Apple’s augmented reality-bril bedien je met gezichtsuitdrukkingen’

De augmented en virtual reality-headset waar Apple aan zou werken, bedien je mogelijk met je ogen, hoofdbewegingen en gezichtsuitdrukkingen. Apple legt uit hoe de AR-bril werkt.
Benjamin Kuijten -

Er heerst nog altijd een groot mysterie rondom het project van Apple’s AR-bril. Er is in al die jaren nog steeds geen concreet product aangekondigd en het is daarom ook nog onduidelijk of de bril er überhaupt wel komt. Toch lijkt het erop dat we nu een kijkje hebben in hoe deze AR-bril werkt. In een patent genaamd Display System Having Sensors omschrijft Apple wat de mogelijkheden zijn. Het patent is in maart ingediend, maar is nu pas openbaar geworden.

‘Bediening van Apple’s AR-bril met hoofdbewegingen en gezichtsuitdrukkingen’

In het patent is te lezen dat je de bril op je hoofd zet. De headset is uitgerust met allerlei sensoren die verschillende dingen kunnen meten. Door te kijken naar de stand van je ogen, je gezichtsuitdrukking en bewegingen van je hoofd, kan de bril allerlei virtuele content in de echte wereld plaatsen. Omdat de bril met camera’s je gezicht niet kan zien terwijl je hem draagt, werken de sensoren samen om zo een beeld van je gezicht samen te stellen. Zo zou de bril de stand van je wenkbrauwen en kaken kunnen herkennen.

AR-bril bediening in een patent.

De bril heeft volgens het patent wel meerdere camera’s die beelden van je omgeving in hoge kwaliteit kan waarnemen. Hierdoor krijg je door de bril een virtuele versie van je daadwerkelijke omgeving te zien. In combinatie met de sensoren om je gezichtsuitdrukkingen te meten, kan er zo allerlei extra informatie via de bril getoond worden. Denk bijvoorbeeld aan navigatie-instructies tijdens het wandelen, waarbij de beelden meebewegen met je ogen.

AR-bril sensoren in patent.

Onlangs kwam in het nieuws dat Apple de ontwikkeling van de AR-bril gestaakt zou hebben en dat het team overgeplaatst is naar andere projecten. Deze informatie was afkomstig van bronnen bij de productieketen, maar het is lastig in te schatten in hoeverre dit klopt. In ieder geval kijken experts uit de augmented reality-industrie uit naar Apple’s AR-bril, ook al is er dus nog niks concreets aangekondigd.

Bekijk ook

Apple AR-bril concept door iDropNews en Martin Hajek: twee modellen

Gerucht: ‘Apple staakt ontwikkeling van AR-bril’

Apple zou zijn gestopt met de verdere ontwikkeling van de AR-bril, zo meldt een bron vandaag. Er waren de afgelopen jaren meermaals geruchten over Apple’s eigen augmented reality-bril.

Reacties: 4 reacties

  1. Allemaal wel leuk en aardig, maar hoe los je dat op voor mensen die een bril nodig hebben op sterkte? Er zijn zat mensen met minder zicht of een andere afwijking. Daarnaast moet het qua kosten uit kunnen.

    Kortom iets bedenken en uitvoeren en op de markt zetten verschilt nogal.

  2. FaceID is een grotere innovatie dan wordt gezien. We zagen de techniek, en op Apples manier krijgenw e er een ‘magische’, leuke functie bij in de vorm van Animoji. Nu komen we al bij de praktische zaken als het bewerken van je ogen zodat je iemand aankijkt bij het Facetimen, maar er komt een moment waar – zoals het artikel laat zien – systemen gekoppeld gaan worden, zodat je in data kunt kiezen. De volgende stap is dat content ook daarwerkelijk aan gaat passen op de data van FaceID, misschien zelfs gekoppeld aan je hartslag via AppleWatch. Stel je voor:

    – Facebook laat berichten zien waar je daarwerkelijk op reageert. Emotie wordt de nieuwe drijfveer en currency voor deze bedrijven. Engagement drijven door emotie. FaceID geeft de mogelijkheid om likes of smilies uit te delen aan de hand van fysieke handelingen, of zelfs onderbewuste handelingen zoals afschuw in mimiek.
    – Horrorgames die zien dat je hartslag omhoog gaat bij het zien van spinnen zullen je vaker de stuipen op het lijf jagen door middel van het laten zien van spinnen.
    – Muziek kan qua tempo, toonsoort, complexiteit en volume aanpassen op je handelingen op dat moment: het tempo van hardlopen, emotionele verbinding met de hoofdpersoon in een film, eerder waarschuwen voor aankomende problemen op een route om vervoer zo rustgevend genoeg te laten verlopen, etc.

  3. Er zijn als VR brillen die de rendering optimaliseren naar de locatie waarnaar je kijkt. Dat gedeelte wordt dan fijner gerenderd dan de rest van de scene, voor performance. Dus de ogen volgen wordt door concurrenten al toegepast. Maar dit gebruiken voor interactie is de volgende stap. En je hoofd bewegen om de scene te bekijken is natuurlijk standaard.

    Overigens zullen de camera’s geen “virtuele versie van je daadwerkelijke omgeving” laten zien, zoals beschreven. Want dan zou het een VR bril treffen. Die camera’s zijn nodig om informatie van de omgeving te scannen (zoals ARKit ook al doet) en er content overheen (of sinds ARKit 3.0 erachter) te projecteren.

    Ik kan begrijpen dat ze voor interactie liever geen controllers nodig hebben. Vraag me af of ze ook nog handen gaan herkennen. Maar nu is eindelijk duidelijk waarom we die Animoji’s hebben: om je gezichtspieren te trainen, want die ga je dan wel nodig hebben. 😉

  4. Dit alles lezende, is mijn gelaatsuitdrukking er inmiddels één van uiterste gereserveerdheid.
    Hopelijk kunnen ze daar hun voordeel mee doen en snel die bril vertonen…