Waarom Apple handschriftherkenning zou moeten invoeren in iOS 10

OPINIE – Nu Apple een schrijfpen voor de iPad heeft uitgebracht, is het hoog tijd om een oude technologie weer uit de kast te halen: handschriftherkenning. Apple gebruikte handschriftherkenning al in de Newton MessagePad. Toen was het nog niet perfect, maar ondertussen zijn we ruim 20 jaar later en is de technologie met sprongen vooruit gegaan.

Kunstmatige intelligentie gebruiken we dagelijks, Siri begrijpt wat we bedoelen en zelflerende apps passen zich ongemerkt aan ons gedrag aan. Het interpreteren van handgeschreven tekst is tegenwoordig niet meer zo moeilijk als twintig jaar geleden. En met de iPad Pro en Apple Pencil is ook de hardware inmiddels beschikbaar. Concurrenten zoals Microsoft en Samsung laten zien dat het kan. Bovendien is de Notities-app in iOS 9 al uitgebreid met handgeschreven notities en tekeningen. Waar wacht Apple nog op?

Cultuurprobleem met laptops
iCulture-lezer Joop wees ons op een cultuurprobleem dat in veel organisaties heerst. Het is tijdens vergaderingen vaak nog niet gebruikelijk om met een laptop of een tablet met toetsenbordje te gaan zitten. “Alsof je ondertussen gewoon je mail aan het doen bent”, schrijft Joop.

Dat probleem begrijpen we wel. Over een paar jaar zal iedereen het misschien normaal vinden, maar nu kijken collega’s nog geïrriteerd als je je voortdurend achter je iPad verschuilt of als je je laptop openklapt en daarmee een muurtje tussen jezelf en de overige aanwezigen creëert. Ben je echt notities aan het maken, of zit je ondertussen stiekem op Facebook te kijken? Apple zou ervoor moeten zorgen dat je je iPad voortaan als notitieblok kunt gebruiken, waarbij je handschrift meteen wordt omgezet naar digitale tekst.

Apps met handschriftherkenning

Er zijn wel wat apps waarmee je handgeschreven notities kunt omzetten naar tekst, zoals WritePad Nederlands (link), PenReader (link) en 7Notes (link) maar die worden gemaakt door externe partijen, zijn daardoor gebonden aan de beperkingen die Apple stelt, kosten meestal geld en ondersteunen nog niet altijd de Apple Pencil. Apple zou het zelf moeten inbouwen in iOS 10. Dit is het juiste moment.

De Surface Pro 4 van Microsoft heeft het al. Met deze tablet en bijbehorende pen kun je via OneNote handgeschreven notities omzetten naar getypte tekst. Het werkt alleen als je je notities synchroniseert met OneDrive, maar dat is niet het grootste bezwaar. Als Apple een soortgelijke oplossing maakt, willen ze waarschijnlijk ook dat je met iCloud synchroniseert.

Interessant is dat Ink, de handschriftherkennings-engine van de Newton, jaren geleden al is toegevoegd aan OS X. Apple heeft er alleen niet zoveel meer mee gedaan. Apps die handschriftherkenning willen aanbieden (zoals de hierboven genoemde apps) moeten zelf voor de technologie voor tekstherkenning zorgen. Terwijl Apple ook standaard zou kunnen toevoegen aan iOS om van de iPad een echte kantoortablet te maken.

Handschriftherkenning anno 2000: Graffiti van Palm

Over de handschriftherkenning van Apple’s Newton hoor je zelden positieve verhalen (zie ook deze geniale strip). Maar er was rond het jaar 2000 wel een andere oplossing voor handschriftherkenning, die eigenlijk prima werkte: Graffiti van Palm (zie afbeelding). Daarmee moest je de letters op een vaste manier schrijven. Je moest er even aan wennen, maar daarna werkte het eigenlijk prima. Echt nieuw is handschriftherkenning dus niet. Moeilijk is het ook niet. Veel engineers die vroeger bij Palm hebben gewerkt, zitten nog steeds bij techbedrijven in Silicon Valley. En er lopen bij Apple zelf vast ook nog wel wat mensen rond, die aan de tekstherkenning voor Newton hebben gewerkt.

De tijd is rijp voor handschriftherkenning van Apple

Apple had eerder geen redenen om handschriftherkenning in te voeren: er was namelijk nog geen geschikte pen om op een natuurlijke manier te kunnen schrijven. iPad-pennetjes hadden last van een lichte vertraging tussen bewegingen en de pennenstreken op het scherm. Door de komst van de Apple Pencil is dat veranderd.

De kennis die Apple met Siri heeft opgedaan, komt goed van pas voor handschriftherkenning. In beide gevallen heb je namelijk een uitgebreide woordenlijst en heb je intelligentie nodig om woorden te herkennen en de context te begrijpen. Vindt de taalverwerking op het toestel zelf plaats, dan heb je een krachtige processor nodig (die is er: de A9X) of een flinke hoeveelheid cloudservers (ook die zijn er). Zelfs een functie om je handpalm te negeren tijdens het schrijven, is er al. Apple’s Inkwell-technologie moet wat afgestoft worden, maar is een begin om op voort te borduren.

Tijdens het schrijven van ons Apple Pencil-review probeerden we vulpen-handschrift in de app Paper, maar deze app heeft helaas geen tekstherkenning.

Handschrift met de Apple Pencil

Dat de Newton niet zo goed presteerde met handschriftherkenning, kwam omdat de oplossingen uit die tijd volledig afhankelijk waren van software. Bij hedendaagse oplossingen voor handschriftherkenning zit de intelligentie zowel in de software als in de hardware. Kijk maar naar Microsoft’s Surface Pen, de S-Pen van Samsung en de Executive Tablet Pen van HP.

Apple heeft de Pencil.

Tijdens het reviewen van de Apple Pencil merkten we dat het erg prettig is om ermee te schrijven. Je kunt in de Paper-app zelfs het effect van een vulpen nabootsen. De pen volgt je bewegingen razendsnel, alsof je op papier schrijft. Het is alleen jammer dat je notities achteraf niet meer goed kunt bewerken en dat ze niet te doorzoeken zijn. Je had net zo goed notities op papier kunnen maken, om er vervolgens een foto van te maken.

Die alternatieve oplossing werkt immers ook: apps zoals Microsoft Office Lens zijn bedoeld om foto’s te maken van handgeschreven teksten, bijvoorbeeld op een whiteboard of bierviltje. De app probeert het daarna om te zetten naar leesbare tekst. Eerder hebben we op iCulture wel eens Whitelines Link besproken, waarbij je met een gewone pen schrijft in een speciaal notitieboek. Vervolgens maak je een foto en wordt de tekst gedigitaliseerd en bijvoorbeeld naar Dropbox of Evernote gestuurd. Een andere bekende oplossing voor het digitaliseren van je aantekeningen is Livescribe, waar we op iCulture meermaals over hebben geschreven.

Bekijk ook

Microsoft Office Lens: nieuwe app laat je snel documenten scannen

Microsoft brengt Office Lens voor iOS uit, waarmee je papieren bonnetjes, notities en andere zaken kunt digitaliseren.

Tegenwoordig maken mensen wel handgeschreven notities op de iPad, maar blijven ze in handgeschreven vorm bewaard in apps als Evernote. Wie bereid is wat extra moeite te doen, tikt de aantekeningen over. Het mooiste zou een combinatie zijn van handgeschreven en digitaal, zodat bijvoorbeeld schema’s en tekeningetjes in de tekst in hun originele vorm blijven bewaard. Je kunt dan de digitale tekst makkelijk aanpassen en uitbreiden, zonder dat je tekeningen verloren gaan.

Drie obstakels voor handschriftherkenning

Wel zijn er nog drie obstakels om handschriftherkenning op de iPad tot een succes te maken. Ten eerste is het handschrift van veel mensen de afgelopen jaren sterk achteruit gegaan, omdat we helemaal niet meer gewend zijn om met pen op papier te schrijven. Daardoor is handschriftherkenning moeilijker geworden dan ooit.

Ten tweede is spraakherkenning eigenlijk veel makkelijker. Apple heeft flink geïnvesteerd in spraakherkenning en Siri, waardoor je heel veel handelingen tegenwoordig automatisch kunt uitvoeren door ze in te spreken. Als ik onderweg op de fiets ben en een berichtje wil sturen, dicteer ik de tekst omdat het toetsenbordje gebruiken onhandig is. Wil ik thuis de lampen aandoen, dan is een opdracht aan Siri voldoende.

Het derde punt is dat Apple jarenlang is uitgelachen om de spraakherkenning van Newton. In de loop der jaren werd de spraakherkenning steeds beter, waardoor het daadwerkelijk bruikbaar was. Maar Apple kwam toch maar niet van het imago af, dat het rare teksten opleverde. Als ze nu weer met spraakherkenning bezig gaan, zullen ze dat heel voorzichtig doen, om niet te hoge verwachtingen te wekken. En door al die honderden projecten waar Apple tegenwoordig mee bezig is, staat handschriftherkenning misschien wel heel erg laag bij Apple op het prioriteitenlijstje. Misschien moeten we ons er gewoon bij neerleggen dat schrijven met de hand een uitstervende bezigheid is.