Onderzoek: Siri beantwoordt 79% van de vragen goed, maar Google Assistent is het best

Hoe goed reageert Siri op vragen in vergelijking met andere assistenten? Er is een nieuw onderzoek gedaan dat de kwaliteit van de assistenten met elkaar vergelijkt. Uit de test blijkt dat Siri het beter doet dan voorheen, want bijna 80% van de vragen wordt correct beantwoord.
Benjamin Kuijten -

Het bedrijf Loup Ventures komt vandaag met een nieuwe zogenaamde IQ-test met slimme assistenten. In de test stellen de onderzoekers Siri, Google Assistent, Alexa en Cortana 800 vragen. De vragen gaan over allerlei onderwerpen, zoals navigatie, informatie en opdrachten. Siri doet het in de test goed, maar is lang niet de slimste assistent die het beste de vragen beantwoordt. Siri gaat echter wel de goede kant op.


Siri, Google Assistant en meer getest
Om tot de conclusies te komen, zijn er een aantal praktische zaken om rekening mee te houden. De tests zijn uitgevoerd in het Engels, waardoor de resultaten in het Nederlands bij Siri mogelijk anders zijn. Alle assistenten zijn getest op smartphones en niet op speakers, omdat je speakers over het algemeen anders gebruikt. Wel zijn er enkele slimme apparaten getest waar via de assistenten opdrachten aan gegeven zijn. Het gaat dan onder andere om Philips Hue-lampen en de Wemo Dimmer Switch.

Tabel met resultaten van assistenten-test.

In de test hebben de onderzoekers onderscheid gemaakt tussen het correct begrijpen van de vraag en het geven van het goede antwoord. In de test begreep Siri in 99% van de gevallen de vraag, een verbetering ten opzichte van de 95% een jaar eerder. Toch is Siri hierin niet het beste, want Google Assistant scoorde maar liefst 100%. De verschillen zijn overigens klein, ook met de andere twee assistenten. Zowel Cortana als Alexa begrepen 98% van de vragen. Het grootste verschil zit hem echter in het geven van de juiste antwoorden.

De nieuwe test wijst uit dat Siri 78,5% van de vragen goed beantwoordt en scoort daarmee de tweede plaats. Op nummer 1 staat met kop en schouders Google Assistant. Google’s assistent weet maar liefst 85,5% van de vragen goed te beantwoorden. Op de derde en vierde plek staan respectievelijk Alexa (61,4%) en Cortana (52,4%). Als je de meest betrouwbare antwoorden wil hebben, moet je volgens deze test dus bij Google Assistant zijn.

Verschillen per categorie
Maar in welke categorieën scoren ze het beste? In de test is een onderscheid gemaakt tussen lokale vragen (‘Waar is de dichtstbijzijnde supermarkt?’), bestellingen plaatsen (‘Bestel een pizza’), navigatie (‘Hoe kom ik thuis?’), informatie (‘Tegen wie speelt Ajax vanavond?’) en opdrachten (‘Help me herinneren om Tim te bellen om 14:00’). In slechts één categorie scoort Siri het beste, namelijk bij opdrachten (90% goede antwoorden). De onderzoekers speculeren waarom Siri juist in deze categorie zo goed scoort. Zij vermoeden dat assistenten als Siri en Google Assistant sowieso beter scoren omdat deze standaard ingebouwd zijn en niet afhankelijk zijn van een losse app. De onderzoekers merken ook op dat Siri wat losser is wat betreft bewoording en daardoor een beter antwoord geeft.

Test tussen assistenten per categorie.

Bij alle andere categorieën staat Siri op de tweede plek, achter Google Assistant. Siri’s slechtst scorende categorie is het geven van informatie. Dat Google hier het beste scoort is geen verrassing, gezien de oorsprong van Google als zoekmachine. Tot slot heeft concluderen de onderzoekers dat Apple de meeste vorderingen gemaakt heeft. Siri steeg 13 procentpunten in het geven van goede antwoorden ten opzichte van een jaar eerder. Bij Google was dat 11 procentpunten en bij Cortana slechts 3. Alexa is in deze test voor het eerst meegenomen, waardoor er geen vergelijking gemaakt is.

De komende tijd staan er voor iOS-gebruikers meerdere vernieuwingen op de planning wat betreft assistenten. Zo komt Google Assistant nog dit jaar in het Nederlands beschikbaar en brengt Apple tegelijkertijd met iOS 12 de Siri Shortcuts-app uit. Dankzij Siri Shortcuts maak je zelf je eigen automatiseringen, zodat je met een zelfgekozen woord allerlei acties uit kan voeren.

Bekijk ook

Siri Shortcuts privacy

Siri Shortcuts (Opdrachten): zo werkt het automatiseren van taken

Met Siri Shortcuts (Opdrachten) kun je allerlei taken automatiseren. Je kunt meerdere acties achter elkaar laten uitvoeren met een spraakopdracht via Siri. Ook zijn sommige taken te automatiseren. In deze gids leggen we uit hoe het werkt op de iPhone, iPad, Mac en Apple Watch.

Siri

Siri is Apple's eigen spraakassistent en hier lees je er alles over. Siri kan informatie voor je opzoeken, taken uitvoeren en apparaten bedienen. Veel apps werken ook samen met Siri en je kunt met de Opdrachten-app je eigen Siri-opdrachten maken. Je vindt hier onze belangrijkste artikelen.

Siri in iOS 11

Reacties: 15 reacties

  1. Ja in het Nederlands klopt er niets van. Het verkiest zinnen die niet correct Nederlands zijn, en blijft dezelfde vraag verkeerd interpreteren.

  2. Het grootste probleem is dat siri je gewoon niet verstaat en er een andere vraag van maakt. Ook met dicteren via m’n carplay je het soms wel drie keer moet zeggen voor je een WhatsApp kunt versturen.

  3. Siri begrijpt sinds enkele maanden niet eens het commando ‘navigeer naar thuis’ oid meer,… (Ja, alles staat correct ingesteld)

    Als ik zeg “Shuffle all songs by the artist Motorhead”, speelt Siri enkel het nummer met die titel af ipv de artiest. Geen enkele variatie werkt om de artiest af te spelen.

    het is me een raadsel hoe dat onderzoek aan 79% komt.

  4. Ik vind Alexa toch nog beter
    En ze hebben nu zelfs een equalizer voor geluid als de bass te zwaar is
    Super
    Siri kan zoveel beter

  5. Ik denk dat de gap hier USA —> NL is. Daarom zullen wij waarschijnlijk pas in 2025 dezelfde kwaliteit krijgen als ze nu al hebben in de VS. Sad But true😔

  6. @Bart: Je hebt iig wel een hele goede shuffle muziek smaak. En ben het verder ook met je eens. Het werkt allemaal zo frustrerend dat ik denk, laat maar zitten.

  7. Geen last, werkt super, bellen, bericht sturen, familie bellen bij familienaam, navigeren naar huis of zelfs naar een winkel. Snap die 79% wel.

  8. Hier Siri gewoon uitgeschakeld 🙂

    • @Jonas: Hier ook en het is ook helemaal niet nodig, het is grappig misschien maar heb je het echt nodig nee.

  9. Siri doet het altijd NET niet. Probeer het veel, ook bij verschillende mensen. Doorvragen kan slecht, een drama.

    Nu we toch aan het zeuren zijn. Hey Siri komt gewoon 5 keer per dag omhoog ongewild…….

  10. Origineel geplaatst door Bart
    Siri begrijpt sinds enkele maanden niet eens het commando ‘navigeer naar thuis’ oid meer,… (Ja, alles staat correct ingesteld)

    Als ik zeg “Shuffle all songs by the artist Motorhead”, speelt Siri enkel het nummer met die titel af ipv de artiest. Geen enkele variatie werkt om de artiest af te spelen.

    het is me een raadsel hoe dat onderzoek aan 79% komt.

    Siri “navigeer naar mijn thuis adres” Siri: “ik zoek naar plekken…. huis. In Brabant.
    En ja alles staat goed ingesteld bah bah

  11. Zet de taal op Engels en Siri begrijpt je beter maar Nederlandse namen is een drama.

    Zet de taal op Nederlands en Siri begrijpt je redelijk maar ik daag je uit op With or Without you bijv. aan te vragen via Apple Music.

    😒😒😒

  12. Zelfs in het Engels bakt Siri er weinig van. Nu ben ik een ‘native English speaker’, maar Siri verstaat me slechts in ca. de helft van alle gevallen. Dramatisch!

  13. Wat ik heb met Siri is dat mijn iPad iPhone plots reageert op radio if tv , hij meent wat te horen dus, en nog s compleet fout ook. Niet mijn ding Siri

  14. Kan alleen zeggen dat ze me in de wagen enorm frustreert. Basiscommando’s om muziek af te spelen snapt ze echt niet. Precies of ze begrijpt enkel als je tittel en artiest zegt. Maar speel hits van…, of speel album van… Op 1 of andere manier maakt ze van mijn korte vraag altijd een symfonie van 3 zinnen lang en speelt ze die dan af. Voor basiscommando’s zoals zet wekker, maak notie, alles wat binnen IOS blijft gaat het wel redelijk. Haat het ook dat ik Engelse woorden (songtitels) moet ‘vernederlandsen’, bijna al spellend letter per letter moet zeggen omdat ze anders het niet snapt. Ook straatnamen, ze begrijpt het 100% correct, maar kan het niet vinden. Geef ik het manueel in geen probleem.