Microsoft’s Seeing AI-app gebruikt nu LiDAR Scanner en spatial audio

Seeing AI werkt met LiDAR Scanner

Het gaat om een grote update van de Seeing AI-app van Microsoft, de app waarmee blinden en slechtzienden beter in hun omgeving kunnen navigeren. Er is een nieuw World-kanaal aanwezig op apparaten met LiDAR Scanner, die op iOS 14 draaien. Dit geldt voor de iPhone 12 Pro-modellen, maar ook in de nieuwste iPad Pro’s vind je een LiDAR Scanner voor het beter kunnen inschatten van diepte. Tot nu toe is het vooral gebruikt voor augmented reality-toepassingen.

Als je oortjes in doet kun je in een onbekende omgeving makkelijker rondlopen door gebruik te maken van spatial audio. De objecten om je heen worden aangekondigd, op basis van hun locatie in de kamer. Ook kun je een bepaald object zoeken door een audio-beacon te plaatsen. Microsoft hoort graag feedback, zodat ze het verder kunnen verbeteren. Het bedrijf spreekt van een ‘vroeg experiment’ dus het kan nog niet op alle punten perfect werken.

Lastig: de inhoud verpakkingen uit de koelkast en voorraadkast herkennen.

Op de iPhone 12 Pro en iPhone 12 Pro Max kan gebruik worden gemaakt van haptische feedback om de afstand tot objecten aan tegen. Daarbij moet je de LiDAR Scanner richten op objecten, waarna je vervolgens voelbare feedback krijgt. Voor mensen die slechtziend zijn, maar nog wel in staat zijn om het scherm af te lezen is er ook iets verbeterd in de app. Het hoofdscherm is opnieuw ontworpen met beter contrast.

Microsoft’s Seeing AI-app is bedoeld om de wereld te scannen en te vertellen wat er te zien is. Voor blinden en slechtzienden is het een oplossing om zelfstandig te kunnen navigeren in een ruimte. Spatial audio kan daarbij helpen om een kamer te scannen, om te kijken welke objecten er staan. Dat is ingewikkelder dan je denkt: terwijl je als menselijke kijker meteen weet op welke belangrijke objecten je moet letten, heeft een computer er meer moeite mee om in een drukke ruimte met veel troep een selectie te maken. Met audio beacons kun je zorgen dat bepaalde objecten als belangrijke locatiepunten gemarkeerd worden.

Op de foto: Florian Beijers, een Nederlandse gebruiker van Seeing AI.

Microsoft heeft nog meer vernieuwd in de app, zoals verbeterde beschrijvingen van afbeeldingen in het Scene-kanaal, verbeterde tekstherkenning in het Document-kanaal. En de app is nu in zeven extra talen te gebruiken: Tsjechisch, Deens, Fins, Grieks, Hongaars, Pools en Zweeds.