Wat zijn de best practices voor het analyseren van data met AI in marketing en het nemen van goed onderbouwde beslissingen? De gouden regel past op één regel: behandel elke AI-conclusie als een hypothese totdat je de data erachter kunt laten zien. Al het andere (de vraag goed formuleren, bronnen samenbrengen, als team beoordelen) bestaat om ervoor te zorgen dat die regel wordt nageleefd zonder van elke analyse een audit te maken.
Het onderwerp heeft de contracten al bereikt. Volgens Digiday verwerken bureaus AI clausule voor clausule in hun raamovereenkomsten in plaats van ze te herschrijven. Drie dingen zetten de wijzigingen in gang: een klant die vraagt om toegang tot de eigen AI-tool van het bureau, een klant die vraagt om specifieke AI-formuleringen toe te voegen, of een nieuwe AI-tool die op een klantproject wordt ingezet. Keri Bruce, partner bij advocatenkantoor Reed Smith, zegt het eenvoudig: ‘Uiteindelijk willen mensen openheid. Ze willen weten welke tools worden gebruikt.’
Weten welke tool is gebruikt is de eerste stap. De volgende, die elke account director in een meeting wel eens heeft gehoord, is ongemakkelijker: ‘En hoe weten we dat?’ Als het antwoord ‘de AI zegt het’ is, is het inzicht heel weinig waard, hoe goed het ook is.
Waarom wekken door AI gedreven analyses wantrouwen?
Omdat ze vaak zonder spoor binnenkomen. Een nette samenvatting, drie stellige conclusies en geen route terug naar de oorspronkelijke data. De klant kan niet zien of het gaat om een solide lezing of om een aannemelijke synthese die niemand heeft gecontroleerd.
Dan komen daar de silo’s nog bij. Social listening zit bij het ene team, campagnedata bij het andere, het CRM-systeem bij de klant en advertenties van concurrenten staan als screenshots in een presentatie. AI analyseert alleen wat je erin stopt, dus gedeeltelijke bronnen leveren gedeeltelijke conclusies op, en elk team komt naar de meeting met zijn eigen versie van de werkelijkheid.
Het resultaat is maar al te bekend: uren besteed aan het sluitend maken van cijfers, meetings om te beslissen welk getal wint en een klant die voor de zekerheid geen enkel getal vertrouwt.
Informatieasymmetrie: het probleem eronder
De Information Asymmetry Theory, die econoom George Akerlof populair maakte met zijn beroemde ‘market for lemons’, verklaart wat er gebeurt als de ene partij veel meer weet dan de andere. De koper, die goed niet van slecht kan onderscheiden, wantrouwt alles en betaalt voor alles minder.
AI werkt hetzelfde. Als de klant niet kan zien hoe een conclusie tot stand is gekomen, waardeert hij alle conclusies lager, ook de goede. En de timing had niet slechter kunnen zijn: volgens Digiday vermindert AI de uren die het werk vraagt en zet het het model van declarabele uren bij bureaus op zijn kop. Als het werk minder uren kost en minder vertrouwen wekt, komt de marge van twee kanten onder druk te staan.
De asymmetrie bestaat ook binnen het bureau. De analist weet hoe de analyse is gedaan; de account director niet; het creatieteam nog minder. De uitweg is in beide gevallen dezelfde: deel het bewijs. Samenwerking overwint inefficiëntie wanneer iedereen naar dezelfde data kijkt en dezelfde dingen kan controleren.
Wat maakt een AI-conclusie verifieerbaar?
Gebruik deze tabel als checklist voordat een analyse naar een klant gaat.
| Criterium | ‘Black box’-conclusie | Verifieerbare conclusie |
|---|---|---|
| Herkomst | ‘De AI zegt het’ | Links naar specifieke posts, advertenties of records |
| Reikwijdte | Geen bronnen, volume of periode | Vermeldt bronnen, geanalyseerd volume en datums |
| Redenering | Vermengt waarneming en interpretatie | Scheidt wat is gezien van wat is afgeleid |
| Kritische toets | Alleen onderbouwend bewijs | Bevat wat de conclusie tegenspreekt of nuanceert |
| Beoordeling | Eén persoon, geen vastlegging | Beoordeeld door strategie, media en accounts |
| Reproduceerbaarheid | Onmogelijk te herhalen | Iemand anders in het team komt tot hetzelfde resultaat |
| In de meeting | Verdedigd met autoriteit | Verdedigd met voorbeelden |
Best practices voor data-analyse met AI, stap voor stap
- Begin met de beslissing, niet met de data. Schrijf de vraag op en wat je anders zou doen afhankelijk van het antwoord. Als geen enkel antwoord iets zou veranderen, heb je de analyse niet nodig.
- Breng de bronnen op één plek samen. Social listening, advertenties van concurrenten, campagnedata en, waar mogelijk, klantdata. Hoe minder versnipperd de basis, hoe minder vertekend de conclusie.
- Scheid waarneming van interpretatie. ‘Veel reacties noemen de prijs’ is een waarneming. ‘De prijs remt de aankoop’ is een interpretatie. Vraag de tool ze apart te presenteren.
- Sta op traceerbaarheid tot de oorspronkelijke data. Elke conclusie moet herleidbaar zijn tot de posts, advertenties of records die haar onderbouwen. In Defy Monitor leidt bijvoorbeeld elke AI-conclusie terug naar de echte posts erachter, omdat strategie wordt afgeleid uit wat doelgroepen en concurrenten daadwerkelijk publiceren, niet uit enquêtes.
- Ga op zoek naar tegenbewijs. Vraag wat de conclusie tegenspreekt. Als er niets boven komt, wees dan argwanend: of de steekproef is klein, of de vraag was sturend.
- Beoordeel als team voordat je presenteert. Een kwartier met strategie, media en accounts die naar dezelfde voorbeelden kijken, scheelt weken aan misverstanden.
- Documenteer tools, bronnen en datums. Dat is precies wat klanten volgens Digiday beginnen te vragen: welke tools worden gebruikt en hoe met hun data wordt omgegaan.
Wil je zien hoe deze werkwijze is georganiseerd, van het verzamelen van de data tot het als team bevragen ervan? Kijk dan eens naar het Defy-platform.
Hoe doorbreek je datasilo’s in een bureau?
Niet met nog een wekelijkse meeting, maar met een gedeelde bewijsbasis. Als strategie, media, creatie en accounts dezelfde bronnen raadplegen, gaan de discussies niet meer over welk getal klopt, maar over wat je ermee doet.
Het helpt enorm als het bevragen van die basis niet van één persoon afhangt. Als alleen de analist het dashboard kan bedienen, is de silo er nog steeds; hij is alleen menselijk geworden. Tools waarmee je de data in gewone taal vragen stelt, verspreiden de toegang en daarmee de verantwoordelijkheid om te controleren.
Wat moet er in het contract en in de presentatie?
De contracten bewegen al. Volgens Digiday heeft Mile Marker clausules aangepast over het beheer van metadata, intellectueel eigendom in door AI gegenereerde content en transparantie over de gebruikte tools, terwijl Go Fish in de afgelopen zes maanden clausules over brand safety en gegevensbescherming heeft toegevoegd. Klanten, zo vat het medium samen, willen weten hoe hun data wordt opgeslagen en gebruikt, welk menselijk toezicht er is en welke tools erbij betrokken zijn.
Het is verstandig om met drie toezeggingen vooruit te lopen die niet op de volgende verlenging hoeven te wachten:
- Een bewijsbijlage bij elke deliverable, met de bronnen en voorbeelden achter elke conclusie.
- Een toezichtsregel die vermeldt wie de analyse heeft beoordeeld en wanneer.
- Een toolinventaris: welke AI is gebruikt, waarvoor en met welke data.
Brian Yamada van VML waarschuwt in hetzelfde stuk dat er eerst een standaard kostenstructuur voor AI moet worden afgesproken voordat er standaard contracttaal kan worden geschreven, en adviseert flexibiliteit in te bouwen om de voorwaarden te kunnen herzien. Totdat die standaard er is, is transparantie de beste clausule die nog in geen enkel contract staat.
