Hoe de AI Commerce Readiness Score wordt berekend

Wat de score meet

De AI Commerce Readiness Score meet of een merk voorbereid is op vier verschillende onderdelen van AI-gestuurde commerce.

Het is niet één AI-zichtbaarheidsmetriek die over vier labels wordt uitgerekt. Elke trede beoordeelt een andere gereedheidsvraag en gebruikt de input die bij die vraag past.

1. Trede 01 · Wees zichtbaar ●Live

   Kent en beveelt AI het merk aan?

   Brand Visibility meet het merk op het vaste panel van vijf modellen van Herm, met de vragen die kopers in de betreffende sector stellen.

2. Trede 02 · Wees verkoopbaar ●Live

   Kan AI de productdata van het merk gebruiken om een aanbeveling af te ronden?

   Voor Product Readiness moet het merk zijn productfeed aanleveren. Herm beoordeelt of de data die nodig is om het product te noemen en de shopper door te sturen aanwezig, actueel en bruikbaar is, door representatieve winkelsituaties via gecontroleerde Winkeltests tegen de gekoppelde catalogus te laten lopen.

3. Trede 03 · Wees relevant ◐Vroege toegang

   Kunnen de eigen ingelogde ervaringen van het merk een betere keuze maken voor een verbonden shopper?

   Deze trede wordt beoordeeld op basis van de Customer Intelligence-koppeling en de bijbehorende regels voor wie in aanmerking komt. In een ingelogde sessie die in aanmerking komt, stuurt het merk de opties die het al zou kunnen tonen, samen met de verbindingscontext van die shopper; Herm geeft een rangschikking of een selectie terug, en waar dat wordt ondersteund een optionele toegestane toelichting. Het onderliggende shopperprofiel blijft binnen Herm. De trede scoort daarom de eigen in-sessie-oppervlakken van het merk (productcarrousels, de eigen site-assistent, aanbiedingsplekken) en dekt geen e-mail, CRM of ander offline kanaal, omdat beslissingen alleen worden teruggegeven zolang een verbonden shopper in sessie is. Het meet niet, en Herm beïnvloedt niet, wat een frontier-AI-assistent aan een individuele shopper aanbeveelt.

4. Trede 04 · Word de voorkeur ●Live

   Kopen de shoppers die de categorie kopen ook het merk, en blijven ze het kopen?

   Deze trede wordt gemeten op basis van kassabondata van Herm, met toestemming: welk aandeel van de geverifieerde categoriekopers ook het merk koopt, en of ze het opnieuw kopen bij verschillende retailers in plaats van in één winkel. Waar de dekking van het kassabonpanel voldoende is (momenteel Turkije), is er geen input van het merk nodig, en een Offers-koppeling voegt meting van inwisselingen en herhaalaankopen toe. Een geverifieerde kassabon bewijst dat er een aankoop heeft plaatsgevonden; bewijs over oppervlakken heen dat één specifiek AI-antwoord één specifieke aankoop heeft veroorzaakt, is vandaag niet algemeen beschikbaar.

Schaal op AI is de bestemming van het raamwerk, geen vijfde deelscore voor gereedheid. Het telt niet mee in de hoofdscore.

Het vaste panel van vijf modellen

• ChatGPT
• Claude
• Gemini
• Perplexity
• Grok

Voor de meting van Brand Visibility wordt een vast panel gebruikt van ChatGPT, Claude, Gemini, Perplexity en Grok.

Doordat het panel vast blijft, is verandering in de tijd te interpreteren. Als de set gemeten modellen elke cyclus zou verschuiven, zou een stijging of daling in de zichtbaarheid van een merk niet te onderscheiden zijn van een verandering in het meetinstrument.

Modellen worden bevraagd zonder ingelogd account en zonder personalisatie, zodat een resultaat weergeeft wat het model teruggeeft aan een onbekende shopper, niet aan een geprofileerde.

De vragen die de modellen krijgen

De vragenset staat voor het soort commerciële vragen dat een shopper stelt voordat die een product of aanbieder kiest: de vragen die een shortlist bepalen, geen vragen die zijn ontworpen om een merknaam uit te lokken.

Herm beoordeelt categorieën in plaats van modellen te vragen een specifiek merk te noemen. Een prompt die het merk noemt, test of het model de prompt onthoudt, niet de zichtbaarheid in de categorie.

Vragensets worden per sector en per land opgebouwd. Resultaten die onder de vragenset van de ene sector zijn gemeten, zijn niet vergelijkbaar met die van een andere.

Hoe Herm omgaat met modelvariantie

Antwoorden van AI-modellen zijn probabilistisch. Dezelfde vraag twee keer aan hetzelfde model stellen kan andere merken in een andere volgorde opleveren, en één antwoord is geen stabiele ranglijst.

Herm past daarom dezelfde regels voor herhaalde runs en aggregatie toe op elk merk in een gemeten sector, in plaats van één antwoord als het resultaat te behandelen. Merken binnen een sector worden altijd in hetzelfde tijdvenster gemeten, zodat een vergelijking nooit gaat tussen runs die dagen uit elkaar liggen.

Een model dat een run niet kan voltooien, wordt voor die run als niet beschikbaar geregistreerd in plaats van geteld als afwezigheid van het merk.

Wat er gebeurt als een trede niet is gekoppeld

Sommige input voor gereedheid kan worden gemeten voordat een merk iets koppelt. Andere input vereist een koppeling die het merk beheert, en Herm kan die pas beoordelen als ze bestaat.

Niet-beschikbare input wordt gelabeld als niet beschikbaar. Die wordt niet gepresenteerd als, en mag niet worden gelezen als, hetzelfde als een onvoldoende resultaat: een merk zonder gekoppelde productfeed is niet gezakt voor Wees verkoopbaar; het is er niet op gemeten.

Waar Herm niet genoeg gemeten dimensies heeft om een zinvolle totale Readiness Score te onderbouwen, wordt het resultaat gerapporteerd als een gedeeltelijke gereedheidsbeoordeling met de dimensies die wel zijn gemeten, in plaats van als een hoofdscore. Een niet-beschikbare dimensie is er een waarvoor Herm nog niet het bewijs heeft om te scoren; het is geen gefaalde dimensie.

Wat deze versie nog niet publiceert

Deze versie beschrijft wat de score meet en hoe de input wordt verzameld. Ze publiceert nog niet de inputvariabelen per trede, hun normalisatie en gewichten, de formule voor de hoofdscore, het aantal prompts en herhaalde runs per model, of de verversingsfrequentie per onderdeel.

Dat zijn productiewaarden, en een benadering ervan publiceren zou erger zijn dan niets publiceren: deze pagina bestaat zodat een resultaat kan worden gecontroleerd, en een formule die niet overeenkomt met de formule die in gebruik is, kan niet worden gecontroleerd. Ze worden in een toekomstige versie beschreven, en de versiegeschiedenis hieronder legt vast wanneer.

Waarom Index- en Brand Visibility-resultaten niet worden vergeleken

De openbare sectorindex en het Brand Visibility-resultaat van een merk zijn afzonderlijke metingen en niet uitwisselbaar. De Index legt één gedeelde vragenset voor aan elk merk in een sector, en dat maakt de ranglijst tussen merken legitiem. Een Brand Visibility-resultaat komt van vragen die rond één merk zijn ontworpen, en wordt dus op zijn eigen voorwaarden gerapporteerd en afgezet tegen de eigen geschiedenis van dat merk. Herm berekent geen verschil tussen de twee, en geen enkele ranglijst op deze site is afgeleid door de ene op de andere toe te passen.

De openbare AI Visibility Index rangschikt momenteel 3.734 merken. Het getal wordt uit de gepubliceerde Index gelezen wanneer deze pagina wordt gebouwd, en verandert dus mee als er sectoren bijkomen.

Wat de Readiness Score niet betekent

De Readiness Score is geen maat voor merkkwaliteit, marktaandeel, omzet, klanttevredenheid of de algehele gezondheid van een bedrijf. Hij meet de voorbereiding op AI-gestuurde commerce, en verder niets.

Output van AI-modellen is probabilistisch en verandert naarmate modellen, retrievalsystemen, bronnen en het gedrag van aanbieders veranderen. Een score is een meting onder een vermelde methodologie op een vermeld moment, geen permanente eigenschap van het merk.

Een hoge Brand Visibility-score betekent niet dat AI met succes een transactie met het merk kan afronden. Product Readiness vereist actuele productdata en wordt apart beoordeeld.

Brand Visibility wordt afgelezen uit wat een model teruggaf: de antwoordtekst, de merken die het noemde, de bronnen die het citeerde en de uitleg die het antwoord zelf geeft. Herm neemt de interne redenering van een model niet waar, en geen enkel resultaat op deze site mag worden gelezen als een uitspraak over waarom een model een antwoord gaf, verder dan wat dat antwoord zelf zegt.

Product Readiness wordt afgelezen uit gecontroleerde Winkeltests die tegen de gekoppelde catalogus worden uitgevoerd. Die tests zijn een gecontroleerde meetomgeving. Ze zijn niet de live consumentenervaring van ChatGPT, Claude of een andere AI-assistent van derden, ze maken geen winkelwagens aan en verwerken geen betalingen, en een resultaat op deze trede is een uitspraak over de gereedheid van het merk, geen bewijs van wat een extern systeem commercieel heeft gedaan.

Een geverifieerde kassabon bewijst dat er een aankoop heeft plaatsgevonden. Hij bewijst op zichzelf niet welk AI-antwoord de aankoop heeft veroorzaakt. Attributie op antwoordniveau over oppervlakken heen vereist een identifier die van het antwoord tot de transactie behouden blijft, en dat mechanisme is vandaag niet algemeen beschikbaar.

Versiegeschiedenis

Herm kan deze methodologie bijwerken naarmate AI-platforms, winkelgedrag en de eigen productmogelijkheden van Herm zich ontwikkelen. Materiële wijzigingen krijgen een versienummer, zodat een score kan worden geïnterpreteerd tegen de methodologie die gold toen hij werd berekend. Waar een wijziging de vergelijkbaarheid met oudere scores materieel doorbreekt, staat dat in de rij.