Apple maakt Foto’s slimmer met kunstmatige intelligentie

Apple heeft tijdens WWDC 2016 een grote update voor Foto’s aangekondigd. Niet langer hoef je door een wirwar van foto’s te zoeken, alles wordt nu netjes geordend met hulp van kunstmatige intelligentie. En dat is slechts één van de nieuwe features.

Apple zet kunstmatige intelligentie in voor Foto’s

Apple gaat voor Foto’s gebruikmaken van kunstmatige intelligentie. Apple noemt het: Advanced Computer Vision. Het analyseert de inhoud van alle foto’s lokaal op je toestel en maakt daarbij gebruik van zogenaamde deep learning-technieken. Op je iDevice worden meer dan 11 miljard berekeningen per foto uitgevoerd, om ze te analyseren op gezichten, objecten en scènes. Zo kan Apple bepaalde personen herkennen, maar ook objecten zoals bergen, watervlaktes en honden.

Je ziet al die intelligentie op twee manieren terug: in een slimmere zoekfunctie waarmee je precies kunt zoeken naar bijvoorbeeld foto’s met stranden. Maar Apple bundelt ze ook om fotocollecties te maken, zonder dat je zelf iets hoeft te doen. Die collecties vind je op een nieuw tabblad: Aandenkens (in het Engels: Memories).

Apple schotelde ons op de WWDC 2016 geen indrukwekkende toekomstvisie over kunstmatige intelligentie voor, maar ze zijn er wel degelijk mee bezig. Net zoals alle andere techbedrijven trouwens. Apple’s toepassingen zijn vooral gericht op praktisch nut: hoe vind je foto’s terug die je al lang vergeten was? Andere bedrijven zijn daar ook druk mee bezig: zo schreven we onlangs op iCulture over The Roll, een app die je fotocollectie analyseert en ook allerlei objecten kan herkennen. Het verschil is dat The Roll ook een score aan de foto toewijst, waarbij op een aantal aspecten wordt gelet.

Anders dan Google Foto’s
Mensen die Google Foto’s gebruiken kennen het principe al: alle foto’s die je naar Google’s fotodienst opslaat worden geanalyseerd zodat je snel bepaalde objecten op foto’s kunt terugvinden. Er is echter een groot verschil: Apple maakt geen gebruik van de cloud en je hoeft je foto’s ook niet te uploaden. Het knappe van Apple’s nieuwe fotofuncties is dat alles lokaal werkt. Dat is goed voor je privacy: de data van de gezichtsherkenning wordt niet teruggestuurd naar Apple, zoals bij Google wel het geval is.

Aandenkens: de beste foto’s

De kunstmatige intelligentie die Apple toepast is het best zichtbaar bij de nieuwe functie Aandenkens, een nieuw tabblad in de Foto’s-app. Dit tabblad wordt automatisch gevuld met albums, gebaseerd op bepaalde eigenschappen. Sommige zijn gebaseerd op tijd of plaats, zoals een album met de naam ‘Lake Tahoe’. Andere zijn gebaseerd op personen of objecten die erin te zien zijn, zoals een bos, strand of bergen. Apple berekent de onderlinge verbanden tussen de foto’s, zodat je ook foto’s kunt vinden met honden én bergen. Daarbij wordt gebruik gemaakt van Apple’s computer-beeldherkenningstechniek.

De meest relevante foto’s in een collectie komen terecht in een samenvatting, waarin staat wie er op welke foto’s staan, waar de foto’s gemaakt zijn en welke gerelateerde foto’s er zijn. Denk hierbij bijvoorbeeld aan andere reizen die je gemaakt hebt of dagjes uit met dezelfde mensen.

De iPhone maakt ook automatisch een video-diashow van de Aandenkens, met muziek eronder. Die video kun je zelf nog aanpassen, bijvoorbeeld door ze korter of langer te maken of een thema toe te voegen. Alle foto’s en video’s worden overigens ook automatisch gesynchroniseerd met je Mac en Apple TV als je de iCloud-fotobibliotheek gebruikt.

Privacy-gevaren?
Apple’s gezichtsherkenning zal minder snel bezwaren oproepen bij privacy-aanhangers, omdat alle berekeningen lokaal op het toestel worden uitgevoerd. Maar toch kan er nog een rechtszaak volgen. Google en Facebook zijn momenteel verwikkeld in rechtszaken over hun gezichtsherkenning, waarmee ze de Biometric Information Privacy Act in de Amerikaanse staat Illinois zouden overtreden. Om een gezicht van een persoon te herkennen moet je een digitale ‘vingerafdruk’ maken van het gezicht om het te kunnen vergelijken met andere beelden. Volgens de klagers wordt hiermee biometrische informatie vergaard en daarvoor moet je bewust toestemming geven. Google en Facebook doen dit onvoldoende, vinden de klagers.

Apple’s oplossing is meer gericht op privacy: er zijn striktere regels voor de manier waarop data wordt verzameld en opgeslagen. Apple’s Craig Federighi benadrukte dat Apple alleen lokale data gebruikt en dat er geen informatie wordt opgeslagen op servers. Maar er wordt nog wel een digitaal model van je gezicht gemaakt. Dit gebeurt op je telefoon, zonder dat Apple zelf toegang heeft tot die gegevens.

Geheimzinnigheid
Waar Apple nog wel tegenaan zou kunnen lopen, zijn conflicten met allerlei patenten en open source-projecten op het gebied van patroonherkenning en gezichtsherkenning. Jarenlange research op het gebied van kunstmatige intelligentie heeft ervoor gezorgd dat we nu in staat zijn om dergelijke software te maken. Maar Apple heeft het natuurlijk niet zelf uitgevonden, al willen ze ons dat graag doen geloven.

Ze hebben gebruik gemaakt van AI-onderzoek waar jarenlang door anderen in geïnvesteerd is. Machine learning libraries zoals Torch zijn vrij te gebruiken. Facebook, Google, IBM en Microsoft doen dat ook, maar zij hebben regelmatig bijdragen geleverd aan de wetenschappelijke community door materiaal beschikbaar te stellen als open source software-projecten. Ze doen dit om verder onderzoek te versnellen, waar ze later weer van kunnen profiteren.

Apple doet dat niet. Mogelijk hebben ze hun eigen libraries gebouwd, maar ook dan is de kans groot dat ze daarbij gebruik hebben gemaakt van AI-onderzoek van anderen. Eén van de mogelijkheden is dat Apple op eigen houtje de software heeft geschreven, waarbij ze zorgvuldig te werk zijn gegaan, om op geen enkele manier van andere projecten te kopiëren. Anders loopt Apple niet alleen het gevaar dat ze licentieclaims aan hun broek krijgen van commerciële partijen, maar ze lopen ook het gevaar dat ze hun eigen code publiek moeten maken, als blijkt dat ze de open source-licenties van anderen hebben geschonden.