Voor blinde gebruikers: iPhone herkent knoppen automatisch

iPhone herkent knoppen

Apple heeft heel wat functies waarmee blinde gebruikers hun weg weten te vinden op de iPhone. Zo kun je met Voiceover alles laten voorlezen, bijvoorbeeld de teksten die op een knop staan. Niet iedere ontwikkelaar doet dat even netjes, maar dankzij een nieuw onthulde functie hoeft dat geen probleem meer te zijn. Machine learning herkent voortaan knoppen en andere elementen van de gebruikersinterface, waarna ze automatisch worden voorzien van een herkenbaar label.

Screen Recognition in iOS 14

Screen Recognition is een nieuwe functie in iOS 14, waarbij computerbeelden worden herkend. Er zijn duizenden afbeeldingen van apps gebruikt om de algoritmes te trainen. Daardoor weet het systeem hoe knoppen er meestal uit zien, wat icoontjes betekenen enzovoort. Op die manier kan het systeem herkennen hoe de gebruikersinterface eruit ziet. Onduidelijk is nog in welke iOS-versie deze functie is toegevoegd; Apple heeft daar zelf nog niets over gezegd. De functie is nog niet in het Nederlands beschikbaar.

In elke app werkt het en het kost maar een fractie van een seconde om een knop of schakelaar te voorzien van een label. Ontwikkelaars worden nog steeds aangemoedigd om hun apps handmatig van de juiste labels te voorzien, maar als dit niet is gebeurd kan een blinde gebruiker er toch wegwijs in worden.

Apple heeft de functie beschreven in een paper, die volgend jaar uitkomt. In iOS 13 lukte het al om iconen automatisch te voorzien van een label, nu gaat Screen Recognition nog een stap verder. Vroeger waren er ook al screen readers die alle pixels op een scherm analyseerden, maar machine learning kan ook met minder precieze data omgaan. En dankzij de performance van de iPhones kost het maar tienden van een seconde om alles te herkennen. Zoiets was een paar jaar geleden nog niet mogelijk.

Meer hierover lees je bij TechCrunch.