Apple’s plannen met AI in 2024: dit kun je verwachten in iOS 18

Update juni 2024: inmiddels is Apple Intelligence aangekondigd en weten we wat de definitieve plannen van Apple zijn.

Voor Apple is 2024 het jaar van kunstmatige intelligentie (AI). Er zullen diverse AI-functies worden aangekondigd tijdens WWDC, die we in iOS 18 en de andere besturingssystemen gaan terugzien. Dit blijkt uit diverse bronnen, waaronder research-materiaal van Apple zelf, investeringen in AI-technologieën en geruchten over samenwerking met OpenAI en Google. Wat kunnen we verwachten van de AI-strategie van Apple, die tijdens WWDC 2024 zal worden onthuld? We zetten de ontwikkelingen voor je op een rijtje!

Bekijk ook

Dit is Apple Intelligence, Apple’s eigen variant van AI: alles wat je moet weten

Apple Intelligence is Apple’s eigen variant op kunstmatige intelligentie, ook wel bekend als AI. Apple Intelligence vind je in veel van Apple’s aankomende software-updates. Lees hier wat Apple Intelligence is en wanneer jij het kan gebruiken.

Update 7 juni 2024: Apple Intelligence

Apple zou van plan zijn om de aanstaande AI-functies de naam ‘Apple Intelligence’ te geven. Daarmee geeft Apple een slimme draai aan de afkorting AI. De functies zijn opt-in en zullen te vinden zijn in iOS 18, iPadOS 18 en macOS 15. Apple zal gebruikers niet dwingen om ze te gebruiken, als ze dat niet willen. De systeemeisen zijn volgens Bloomberg ook bekend. Gebruikers hebben een iPhone 15 Pro of een van de iPhone 16-modellen nodig. Met een iPad of Mac heb je minimaal een M1-chip nodig. De AI-functies van Apple worden aangestuurd door eigen technologie, aangevuld met ools van OpenAI. Er komt ook een samenwerking met OpenAI, waarbij een ChatGPT-achtige robot wordt aangestuurd.

Apple Intelligence handelt basistaken op het gebied van AI af en werkt voornamelijk lokaal op het device. De code bepaalt of een verzoek op het apparaat zelf kan worden verwerkt, of dat hiervoor de servers van Apple nodig zijn.

Gurman zegt dat de AI-functies ongeveer de helft van de WWDC keynote-presentatie zullen innemen. De andere helft zal gaan over de overige softwarefuncties.

Update 31 mei 2024: Losse apps bedienen met AI

Siri geeft je in iOS 18 controle over individuele apps. Dat beweert Mark Gurman van Bloomberg. Apple heeft naar verluidt de onderliggende architectuur van de stemassistent aangepast met behulp van LLM’s, om dit te bereiken. Bovendien zal iOS 18 veel basistaken voor AI lokaal verwerken op het apparaat, voor een snellere respons en een prettiger gebruikservaring. Siri kan dan bijvoorbeeld documenten openen, notities verplaatsen naar een andere map, het verzenden of verwijderen van een e-mail en meer. Ook zou je een URL kunnen e-mailen of het apparaat kunnen vragen om de samenvatting van een artikel. Daarmee wordt Siri veel nuttiger in het dagelijks leven. Dit kan handig zijn tijdens het autorijden en sporten, maar komt ook van pas als je slechtziend of blind bent.

In een toekomstige release is Siri in staat om meerdere commando’s aan elkaar te koppelen. Dit komt echter pas later in een iOS 18.x update.

Update 30 mei 2024: Nog meer AI-functies gelekt

AppleInsider deelt in een uitgebreid artikel welke nieuwe AI-functies Apple allemaal in de pijplijn heeft zitten. Een aantal van deze functies waren al eerder uitgelekt, maar dit zijn in het kort de ontdekkingen van de bron:

• Siri: Betere reacties voor Siri dankzij een nieuw response framework. Daarbij houdt Siri in je verzoeken beter rekening met mensen, bedrijven, agenda-afspraken, locaties, data en andere variabelen.
• Betere Siri-stemmen: Apple zou meer natuurlijke stemmen voor Siri in de maak hebben. Onduidelijk is of dit ook voor de Nederlandse stem geldt.
• Met Siri andere apparaten bedienen: Het zou straks mogelijk zijn om met Siri op het ene apparaat (bijvoorbeeld de Apple Watch) iets af kunnen spelen op een ander apparaat. Iets soortgelijks werkt nu al met de HomePod en Apple TV: je kan aan Siri op de HomePod vragen om de Apple TV aan te zetten of om iets specifieks af te spelen.
• Catch Up: Krijg een samenvatting van je recente meldingen van Siri.
• Generative Playground: Dit is een wat meer experimentele functie die Apple intern in ontwikkeling heeft. Met AI is het dankzij deze tool mogelijk om plaatjes te genereren en te bewerken en deze rechtstreeks in iMessage te versturen dankzij een iMessage-app.
• Slimme antwoorden: Sneller antwoorden op inkomende berichten en e-mails met automatisch gegenereerde antwoorden. Deze functie was eerder al gelekt.
• Transcripties en samenvattingen in Notities: Je kan transcripties van audio krijgen en tekst automatisch samenvatten. Deze functie was eerder al gelekt.
• Math Notes: Wiskundige aantekeningen maken in de Notities-app, met een in-app rekenmachine. Dankzij AI worden dergelijke berekeningen automatisch herkend. Deze functie was eerder al gelekt, zie hiervoor ons artikel over de Notities-app in iOS 18.
• Clean Up: Met generatieve AI objecten uit foto’s verwijderen. Dit was eerder al uitgelekt.

Update 27 mei 2024: Deze 10 AI-functies staan gepland

Mark Gurman schrijft in zijn Power On-nieuwsbrief dat we minimaal 10 AI-functies kunnen verwachten. Een functie die nog niet eerder was genoemd, is het automatisch genereren van emoji, gebaseerd op de inhoud van een bericht.

Deze 10 functies zou Apple in de pijplijn hebben:

• Unieke emoji maken op basis van inhoud van een tekst
• Suggesties voor antwoorden op e-mail en berichten
• Slimme samenvattingen van berichten, webpagina’s, nieuwsberichten, documenten en notities
• Uitschrijven en samenvatten van spraakmemo’s
• Foto’s retoucheren
• Meer natuurlijke interactie met Siri
• Geavanceerde versie van Siri voor de Apple Watch, gericht op taken die je onderweg wilt doen
• Sneller en betrouwbaarder zoeken in Spotlight
• AI-assistent in Safari, voor verbeterd zoeken
• AI-tools voor Xcode, gericht op ontwikkelaars

Update 27 mei 2024: ‘Project Greymatter’ nog in beta

Apple heeft de codenaam ‘Project Greymatter’ gekozen voor de verzameling AI-tools die we gaan terugzien in standaardapps zoals Safari, Foto’s en Notities, zo schrijft Mark Gurman. Dit zal uiteindelijk niet de marketingnaam worden, want daarvoor is al ‘proactive intelligence’ gesuggereerd (zie verderop).

Apple zou van plan zijn om de AI-functies te voorzien van het label ‘beta’ of ‘preview’, wat aangeeft dat Apple nog niet zeker is of ze wel helemaal af zijn. Per taak zal worden bekeken of het verzoek lokaal kan worden afgehandeld of moet worden doorgestuurd naar de servers van Apple. Lokaal afhandelen is mogelijk alleen beschikbaar op recente iPhones en iPads. Er zou ook een miniatuur AI-model in de maak zijn, bedoeld voor de Apple Watch.

Gurman meldt dat iOS 18 een aparte chatbot zal bevatten, aangedreven door OpenAI’s ChatGPT. Mogelijk verschijnt OpenAI CEO Sam Altman op het podium tijdens de aankondiging op WWDC, om de samenwerking met Apple aan te kondigen. Verder wordt nog gesproken over een samenwerking met Google Gemini.

Update 20 mei 2024: Proactive intelligence

Mark Gurman van Bloomberg heeft meer details gegeven over hoe Apple AI in iOS 18 gaat gebruiken. Hij meldt dat er een automatische AI-gegenereerde samenvatting voor notificaties komt en dat het mogelijk wordt om met AI afspraken aan de agenda toe te voegen.

Deze functies worden door Apple “proactive intelligence” genoemd en zijn bedoeld voor dagelijks gebruik. Bovendien geven ze Siri betere spraakfuncties en krijg je meer het idee dat je een conversatie voert. Verdere functies zijn het samenvatten van nieuwsartikelen en het uitschrijven van spraakmemo’s. Ook bestaande functies voor de agenda en suggesties voor apps krijgen een make-over met AI. En met AI kun je voortaan foto’s verbeteren en aanpassen. Mensen die al de AI-functies van Adobe hebben gebruikt, zullen echter niet onder de indruk zijn, denkt Gurman. Veel van deze aanstaande AI-functies in iOS 18 zijn eerder al genoemd.

De functies zullen deels op het toestel zelf plaatsvonden en deels vanuit datacenters met high-end Apple Silicon worden geleverd. Een ChatGPT-achtige chatbot hoeven we niet te verwachten. Intern zouden topmensen hebben toegegeven dat Apple vooral een inhaalslag wil maken.

Bekijk ook

Round-up: dit zijn de beste iOS 18-functies [poll]

iOS 18 is (bijna) hier, maar wat zijn nu de beste iOS 18 functies? Welke hoogtepunten van iOS 18 mag je echt niet missen? In dit artikel lees je wat volgens ons de beste nieuwe functies van iOS 18 zijn.

Update 22 april 2024: ‘Alle AI-functies in iOS 18 werken lokaal’

Volgens Mark Gurman zullen alle AI-functies in iOS 18 volledig lokaal op het toestel werken. De Large Language Modellen (LLMs) die Apple aan het ontwikkelen is hebben geen verbinding met een server nodig. Dit is gunstiger voor de snelheid én voor je privacy. Andere analisten en experts hebben ook al laten doorschemeren dat de AI in iOS 18 on-device werkt. Dit model met de codenaam ‘Ajax’ profiteert waarschijnlijk van de kracht van Apple Silicon, dat in recente devices aanwezig is. Apple werkt overigens ook aan servergebaseerde versies van Ajax.

Voor- en nadelen van servergebaseerde AI

Het voordeel van LLM’s die op een server werken (zoals ChatGPT), is dat gebruik kunnen maken van veel meer computerkracht en over een rijkere database van kennis kunnen beschikken, waardoor ze ook allerlei trivia-feiten kunnen oplepelen. Ze kunnen bovendien worden afgestemd op heel specifieke taken. Van de andere kant hebben ze ook nadelen: ze zijn niet offline te gebruiken en ze reageren langzamer op eenvoudige opdrachten, omdat het verzoek eerst naar de cloud moet worden gestuurd.

Voor- en nadelen van lokale AI

Apple kiest vanwege de privacy dus vooral voor lokale AI-functies, zoals het er nu naar uitziet. Je kunt dan al je e-mail, chats en andere communicatie zonder zorgen door het on-device model laten verwerken, omdat de gegevens lokaal blijven. Ze kunnen ook redelijk goed documenten en afbeeldingen aanpassen op basis van aanwijzingen die je geeft, bijvoorbeeld het samenvatten van een tekst of het verwijderen van een persoon uit een foto. Bepaalde taken zou Apple kunnen uitbesteden aan een externe partij, zoals Google Gemini.

Bekijk ook

‘Apple nog steeds in gesprek over Google Gemini AI-functies in iOS 18’

Apple zou in gesprek zijn om Google’s Gemini in te bouwen in iOS 18 en iPadOS 18, voor meerdere generatieve AI-functies. Daarnaast zou Apple in gesprek zijn met OpenAI.

Update 16 februari 2024: AI-functies ook voor ontwikkelaars

Volgens een nieuw bericht van Bloomberg werkt Apple niet alleen aan AI-functies voor eindgebruikers, maar ook voor developers. Mark Gurman van Bloomberg zegt dat Apple dit jaar nog met Xcode-functies komt waarmee ontwikkelaars met behulp van AI code kunnen schrijven. Omdat het vergelijkbaar moet werken met Microsoft’s GitHub Copilot, is het aannemelijk dat Xcode met AI hele blokken code kan schrijven. Ook voor het testen van apps wordt AI ontwikkeld. Dat zou ontwikkelaars veel tijd kunnen besparen.

Verder schrijft Bloomberg dat Apple een nieuwe versie van Spotlight met AI overweegt. Hiermee zou Spotlight specifieke app-functies kunnen uitvoeren en complexe vragen kunnen beantwoorden. Het is echter niet gezegd of, en zo ja, wanneer het komt.

Update 24 januari 2024: Overname van AI-bedrijven

Apple heeft de afgelopen tijd stilletjes een reeks overnames gedaan en extra mensen aangenomen, om de AI-functies te versterken. Dit blijkt uit een reportage van de Financial Times. Volgens de krant concentreert Apple zich op AI-functies voor mobiele apparaten. Eén van de overgenomen start-ups is WaveOne, dat een AI-gestuurde techniek voor videocompressie maakte.

De helft van de AI-gerichte vacatures die Apple heeft uitstaan bevat de term ‘deep learning’, wat erop wijst dat er vooral gewerkt wordt aan algoritmen voor generatieve AI. We kennen dit vooral van toepassingen als ChatGPT. Apple zou sinds begin 2023 bezig zijn met een large language model (LLM) genaamd ‘Ajax’. Dit werkt lokaal op het mobiele apparaat en is niet afhankelijk van clouddiensten. De grootste uitdaging daarbij is dat een LLM veel opslagruimte vergt en krachtige processoren vereist. Apple moet dan ook snelle chips toepassen en het LLM zoveel mogelijk optimaliseren, om alle bewerkingen lokaal te laten plaatsvinden. Ook zou Apple van plan zijn om de microfoons van toekomstige iPhones te verbeteren, om te zorgen dat de door een LLM-aangestuurde Siri je beter verstaat.

Appel zou op schema liggen om de AI-gebaseerde tools en functies aan te kondigen tijdens WWDC in juni 2024, als onderdeel van iOS 18. Meer over de verbeterde Siri in iOS 18 lees je in een apart artikel.

Bekijk ook

Siri wordt slimmer in iOS 18: dit zijn de nieuwe functies

Apple gaat Siri een flinke upgrade geven in iOS 18. Dit zorgt ervoor dat Siri veel complexere taken kan afhandelen, dankzij een nieuw systeem dat werkt met diverse AI-functies, genaamd Apple Intelligence. Maar niet alles is al meteen te proberen en niet alles is in het Nederlands.

Update 4 januari 2024: AI-functies worden aangekondigd op WWDC

Geruchtenlekker yeux1122 deelt op de Koreaanse blog Naver enkele nieuwe informatie over Apple’s aankomende AI-functies voor Siri. Volgens ontwikkelaarsbronnen zou Apple de generatieve AI-functies voor Siri, vergelijkbaar met Chat-GPT, willen aankondigen tijdens de WWDC 2024. Het zou gaan om een taalmodel dat intern bij Apple getraind is. Dit gaat om hetzelfde taalmodel als waar Bloomberg-journalist Mark Gurman afgelopen juli al over sprak (zie onderstaand). Hoewel Apple dit taalmodel eerst alleen intern zou willen gebruiken, zou er nu toch sprake zijn van een consumentenversie. Hierdoor wordt Siri persoonlijker en kun je natuurlijkere gesprekken voeren, zo zegt de bron.

Concrete voorbeelden worden niet genoemd, maar de functie zou helpen bij het ‘efficiënter beheren van meerdere Apple-devices, koppelingen met externe diensten en het bieden van Apple-specifieke diensten’. Denk bijvoorbeeld aan een functie waarmee Siri bepaalde afbeeldingen kan genereren, op basis van wat jij als gebruiker omschrijft.

Vermoedelijk zien we deze nieuwe AI-functies verwerkt worden in iOS 18, de aankomende software-update van dit najaar. Het is echter nog maar de vraag welke talen er ondersteund gaan worden. Dergelijke Siri-verbeteringen komen meestal eerst alleen in het Engels beschikbaar. Pas (veel) later volgen andere talen.

Update 22 oktober 2023: iOS 18 krijgt AI-functies

‘iOS 18 krijgt AI-functies’

Apple zou in iOS 18 nieuwe AI-functies willen invoeren, zegt Mark Gurman van Bloomberg. Apple zou zijn overvallen door de plotselinge opkomst van generatieve AI-tools zoals ChatGPT. Intern wordt daarom hard gewerkt om een inhaalslag te maken. Topfiguren Craig Federighi (software), John Giannandrea (AI) en Eddy Cue (diensten) zouden daarom met man en macht werken om AI-functies in de producten en diensten van Apple in te bouwen. Het gaat onder andere om verschillende AI-functies voor iOS 18, zoals slimmere antwoordsuggesties in de Berichten-app. In Apple Music komen AI-gegenereerde afspeellijsten en in Pages en Keynote krijg je ook hulp van kunstmatige intelligentie. Daarnaast komt er een slimmere versie van Siri, die ook in 2024 klaar moet zijn.

Apple’s belangrijkste doelstelling is om AI in te bouwen in allerlei functies voor eindgebruikers. Daarnaast wil Apple dat de ontwikkelaars aanhaken door AI-functies in Xcode in te bouwen. Het is bijvoorbeeld mogelijk om met ChatGPT en Github Copilot code te schrijven en dat moet ook met Xcode mogelijk worden. De interne klantenservice zou ook hulp moeten krijgen van AI.

Volgens Gurman is er intern onenigheid of deze AI-functies lokaal op het apparaat moeten plaatsvinden, of moeten worden uitbesteed aan Apple’s clouddiensten. De eerste optie is beter voor je privacy, maar de tweede optie maakt krachtiger oplossingen mogelijk. Dit zou wel eens per functie besloten kunnen worden. Meer info is te lezen in de Power On-nieuwsbrief van Gurman.

Hieronder lees je ons eerdere artikel van 19 juli 2023.

Binnen Apple zou de afgelopen maanden extra hard zijn gewerkt aan AI-projecten, vooral op het gebied van grote taalmodellen. Sinds chatbot-diensten en AI-functies overal opduiken, wil Apple niet achterblijven. Zo is er ChatGPT van OpenAI, Microsoft Bing en Google Bard, die er sinds kort ook in het Nederlands is. Intern zou Apple gewerkt hebben aan een chatbot die binnenskamers ‘Apple GPT’ wordt genoemd. Apple zou echter geen duidelijke strategie hebben om er een consumentendienst van te maken, zegt Gurman.

Het gaat er Apple vooral om niet achterop te raken. Door gebruik van AI-technieken gaan mensen anders met smartphones om. De medewerkers die er intern aan werken moeten speciaal toegang vragen om de chatbot-app te mogen gebruiken. Apple zou het vooral gebruiken voor prototypes van producten. De bot kan vragen beantwoorden op basis van data die Apple heeft gevoed om te trainen. Apple zou eerder hebben overwogen om een contract met OpenAI te sluiten en probeerde de technologie ook intern uit, maar besloot toch een andere oplossing te kiezen.

Apple’s platform is gebouwd met het Jax machine learning framework van Google en draait in Google Cloud. De teams gebruiken het bijvoorbeeld om problemen rondom privacyzorgen op te lossen. In vergelijking met concurrenten is Apple veel voorzichtiger op het gebied van privacy, waardoor de assistent Siri lang niet zo slim is.

Facebook had in 2018 al chatbots, maar die konden nog geen speech schrijven of een reisplanning maken.

‘AI-aankondiging in 2024’

Apple zou van plan zijn om in 2024 een grote aankondiging op het gebied van AI te doen, maar concrete details zijn nog niet bekend. Apple heeft al een tijd geleden John Giannandrea aangesteld als hoofd AI. Het Apple Car-team rapporteert rechtstreeks aan hem, maar er speelt veel meer. Tim Cook zei in mei dat er nogal wat zaken rond AI opgelost moeten worden, voordat het mainstream zal worden. Hij zei ook dat Apple AI ziet als een belangrijke ontwikkeling en dat het gaandeweg in producten zal sluipen.

In iOS 17 is daar al iets van te merken: Apple heeft een nieuw taalmodel in gebruik genomen om tekstcorrectie te verbeteren. Ook kunnen voortaan individuele huisdieren herkend worden. Volgens Gurman zien we dan ook al enkele resultaten van het project in de zoekfuncties, Siri en Kaarten.

Meer informatie lees je in het artikel van Bloomberg.