Woordenlijst

Zo bereken je de steekproefgrootte van een A/B-test voordat je lanceert

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •6 min leestijd
Zo bereken je de steekproefgrootte van een A/B-test voordat je lanceertZo bereken je de steekproefgrootte van een A/B-test voordat je lanceert

TL;DR, kort antwoord

6 min leestijd

De steekproefgrootte van een A/B-test leg je voor de lancering vast op basis van drie invoerwaarden: het basisconversiepercentage, het minimaal detecteerbare effect en het benodigde statistische onderscheidingsvermogen, meestal 80%, bij een gekozen significantieniveau, meestal 95%. Een test die uitgaat van een basis van 5% met een minimaal detecteerbaar effect van 1 procentpunt heeft ongeveer 8.146 bezoekers per variant nodig. Resultaten bekijken voordat dat aantal is bereikt en stoppen bij een gunstige uitschieter drijft het percentage fout-positieven op tot boven het significantieniveau waarvoor de test is opgezet.

Hoe bereken je de steekproefgrootte van een A/B-test?

Drie invoerwaarden bepalen de steekproefgrootte van een A/B-test nog voordat één bezoeker de test ziet: het basisconversiepercentage, het minimaal detecteerbare effect en het benodigde statistische onderscheidingsvermogen. Vul die drie samen met een gekozen significantieniveau in de formule voor de steekproefgrootte in, en de formule geeft het aantal bezoekers dat elke variant nodig heeft voordat je de test kunt aflezen. Bereken dat aantal voor de lancering, niet nadat de test een week loopt en iemand een vroeg antwoord wil, en gebruik het om te bepalen wat een goed conversiepercentage als doel voor de test is voordat je het resultaat met een externe benchmark vergelijkt.

Wat is het basisconversiepercentage?

Het basisconversiepercentage is de huidige waarde van de statistiek die je test, gemeten op de pagina voordat er een wijziging live gaat, met dezelfde formule voor het conversiepercentage die het bedrijf al gebruikt. Een afrekenpagina die vandaag op 5% converteert, is de basis voor een test op diezelfde pagina, en de formule definieert elke andere invoerwaarde ten opzichte van dat startgetal. Haal de basis uit minstens twee tot vier weken normaal verkeer in plaats van uit één afwijkende dag.

Een laptop met een online afrekenpagina, als beeld van de pagina waarop een basisconversiepercentage wordt gemeten.

Wat is het minimaal detecteerbare effect?

Het minimaal detecteerbare effect is de kleinste verandering in conversiepercentage die de test moet kunnen opvangen, uitgedrukt als het verschil tussen de basis en het doelpercentage. Kies je een minimaal detecteerbaar effect van 1 procentpunt bij een basis van 5%, dan is de test ontworpen om betrouwbaar een stijging naar 6% te zien, en vangt hij een kleinere stijging zoals naar 5,3% niet betrouwbaar op. Een kleiner minimaal detecteerbaar effect vraagt een grotere steekproef, omdat de formule een kleiner verschil van willekeurige ruis moet onderscheiden.

Wat betekent statistisch onderscheidingsvermogen in een A/B-test?

Statistisch onderscheidingsvermogen (power) is de kans dat de test een echt effect van de gekozen grootte opmerkt, als dat effect echt bestaat. Een power van 80%, de gangbare standaard, betekent dat de test een echt effect één op de vijf keer mist. Verhoog je de power naar 90%, dan vang je meer echte effecten op, maar heb je daar een grotere steekproef voor nodig.

Wat betekent het significantieniveau in een A/B-test?

Het significantieniveau is de kans dat je een winnaar uitroept terwijl er geen echt verschil tussen de varianten is, meestal ingesteld op 5%, wat overeenkomt met een significantieniveau van 95%. Verlaag je dat percentage fout-positieven naar 1%, dan wordt de test voorzichtiger en, net als bij een hogere power, groeit de steekproef die je nodig hebt voor een uitspraak. Dat is dezelfde afweging die A/B-testen op live verkeer in bredere zin bepaalt.

Wat is de formule voor de steekproefgrootte?

De formule voor de steekproefgrootte combineert het basispercentage, het doelpercentage en de Z-scores voor de gekozen power en het significantieniveau tot één berekening per variant.

n = (Z(1-alpha/2) + Z(1-beta))^2 x [p1(1-p1) + p2(1-p2)] / (p2 - p1)^2

Reken het door voor een test op een afrekenpagina. Het basisconversiepercentage p1 is 5% (0,05), het doel p2 is 6% (0,06) na een minimaal detecteerbaar effect van 1 procentpunt, de significantie is 95% (Z = 1,96) en de power is 80% (Z = 0,84).

InvoerwaardeSymboolWaarde
Basisconversiepercentagep15%
Doelconversiepercentagep26%
Minimaal detecteerbaar effectp2 min p11 procentpunt
Significantieniveaualpha5% (Z = 1,96)
Statistisch onderscheidingsvermogenbeta80% (Z = 0,84)
Steekproefgrootte per variantn8.146 bezoekers

(1,96 + 0,84)^2 = 7,84, en [0,05 x 0,95 + 0,06 x 0,94] = 0,1039. Deel je 7,84 x 0,1039 door (0,01)^2, dan krijg je 8.145,76, naar boven afgerond 8.146 bezoekers per variant, of ongeveer 16.292 in totaal over beide varianten. Halveer je het minimaal detecteerbare effect naar 0,5 procentpunt, dan wordt dat aantal ongeveer vier keer zo groot, omdat de noemer de effectgrootte kwadrateert.

Een analist die aan een bureau grafieken en spreadsheets bekijkt, als beeld van de discipline om op de volledige steekproef te wachten in plaats van resultaten vroeg te bekijken.

Twee manieren om een lopende test te lezen
Laat hem lopen tot 8.146 per variant
  • Eén keer aflezen, bij het aantal dat de formule vastlegde
  • Het significantieniveau van 95% blijft staan zoals ontworpen
  • Een uitkomst geldt als beslissing
Kijken voordat het aantal is bereikt
  • Twee weken lang dagelijks bekeken: veertien kansen voor ruis om de drempel te passeren
  • Het werkelijke percentage fout-positieven komt ruim boven 5% uit
  • Een gunstige uitschieter is informeel, geen uitkomst
Dezelfde drempel van 95% beschermt het resultaat alleen als je één keer kijkt, bij de steekproefgrootte die voor de lancering is vastgelegd.

Waarom maakt vroeg kijken naar resultaten de berekening van de steekproefgrootte stuk?

Resultaten bekijken voordat de berekende steekproefgrootte is bereikt, maakt de test stuk omdat elke vroege blik een nieuwe kans is voor willekeurige ruis om de significantiedrempel te passeren. Een test die twee weken lang dagelijks wordt bekeken, geeft toevallige variatie veertien afzonderlijke kansen om een fout-positief op te leveren. Het werkelijke percentage fout-positieven komt dan ruim boven de 5% uit waarvoor de test is opgezet, ook al gebruikte elke afzonderlijke controle een geldige drempel van 95%. Leg de steekproefgrootte voor de lancering vast, laat de test tot dat aantal lopen zonder onderweg naar een uitkomst te kijken, en gebruik funnel- en doeldata om te bevestigen hoeveel dagelijks verkeer je nodig hebt om het op tijd te halen.

Een test dimensioneren voordat hij live gaat
1
Meet de basis. Twee tot vier weken normaal verkeer op de pagina die je test.
2
Leg het minimaal detecteerbare effect vast. De kleinste verandering die het opvangen waard is, als verschil in procentpunten.
3
Leg power en significantie vast. 80% power en 95% significantie zijn de gangbare standaarden.
4
Laat hem lopen tot het aantal, niet tot een datum. Lees resultaten niet als uitkomst voordat de steekproefgrootte is bereikt.
Vier stappen die voorkomen dat de steekproefgrootte van een A/B-test een discussie in een spreadsheet wordt.

Veelgestelde vragen

Welke steekproefgrootte heb ik nodig voor een A/B-test?

De steekproefgrootte hangt af van je basisconversiepercentage, het minimaal detecteerbare effect en de gekozen power en het significantieniveau, en er is geen vast getal dat voor elke test geldt. Een test die een basis van 5% met 1 procentpunt verschuift bij 80% power en 95% significantie heeft ongeveer 8.146 bezoekers per variant nodig.

Wat is een goed minimaal detecteerbaar effect?

Een goed minimaal detecteerbaar effect is de kleinste verandering die het nog waard is om live te zetten, niet de kleinste verandering die theoretisch meetbaar is. Leg je het te klein vast, dan dwing je een onredelijk grote steekproef af; leg je het te groot vast, dan glippen echte, kleinere verbeteringen onopgemerkt door de test.

Waarom hebben kleinere effecten grotere steekproeven nodig?

Kleinere effecten hebben grotere steekproeven nodig omdat de formule het minimaal detecteerbare effect in de noemer kwadrateert, dus een gehalveerd effect maakt de benodigde steekproef ongeveer vier keer zo groot. Een test die een verschuiving van 0,5 procentpunt moet opvangen, heeft ongeveer vier keer zoveel bezoekers nodig als een test voor 1 procentpunt.

Wat gebeurt er als ik een A/B-test vroegtijdig stop?

Een A/B-test vroegtijdig stoppen op basis van een gunstig ogend resultaat, voordat de berekende steekproefgrootte is bereikt, drijft het werkelijke percentage fout-positieven op tot boven het significantieniveau waarvoor de test is ontworpen. De gemelde betrouwbaarheid van 95% weerspiegelt niet langer de echte kans op een valse winnaar zodra het team herhaaldelijk resultaten bekijkt en erop handelt.

Flowsery
Flowsery

Start je gratis proefperiode van 14 dagen

Realtime dashboard

Doelen bijhouden

Tracking zonder cookies

Is 80% power altijd de juiste keuze?

80% power is een gangbare standaard, geen vereiste, en het betekent dat de test één op de vijf echte effecten van de gekozen grootte mist. Verhoog je de power naar 90%, dan vang je meer echte effecten op, ten koste van een grotere benodigde steekproef.

Kan ik een kleinere steekproef gebruiken als ik alleen een richtinggevend signaal wil?

Onder de berekende steekproefgrootte draaien voor een richtinggevende indruk kan, maar het resultaat heeft een duidelijk grotere kans om ruis te zijn, en het is geen kleinere versie van dezelfde betrouwbaarheid. Behandel elke aflezing voor de doelsteekproef als informeel en gebruik hem niet voor een definitieve beslissing.

Hoe lang duurt het om de steekproefgrootte te halen die een A/B-test nodig heeft?

De formule geeft een aantal bezoekers terug, geen aantal dagen, dus de doorlooptijd hangt af van hoeveel verkeer de geteste pagina al krijgt. Een afrekenpagina die 8.146 bezoekers per variant nodig heeft, haalt dat aantal sneller op een pagina met veel verkeer dan op een met weinig. Kijk voor de lancering naar funnel- en doeldata om te zien of het huidige dagelijkse verkeer het doel in een redelijke tijd kan halen.

Waarom meet je de basis over twee tot vier weken in plaats van één dag?

Eén dag kan ongewoon hoog of laag uitvallen om redenen die niets met de test te maken hebben, zoals een dip in het weekend of een marketingactie. Twee tot vier weken normaal verkeer strijkt die schommelingen glad en geeft de formule een basisconversiepercentage dat de pagina echt vertegenwoordigt. Elke andere invoerwaarde in de formule, waaronder het doelpercentage en het minimaal detecteerbare effect, is gedefinieerd ten opzichte van dat startgetal.

Gaat de formule ervan uit dat elke variant evenveel verkeer krijgt?

De formule berekent n als het aantal bezoekers per variant, en het voorbeeld van de afrekenpagina past diezelfde 8.146 toe op zowel de controle als de variant, voor 16.292 bezoekers in totaal. De berekening gaat dus uit van een gelijke verdeling van verkeer over de twee versies die je vergelijkt. Een test die ongelijk verkeer naar elke variant stuurt, haalt beide steekproefgroottes niet tegelijk.

Mag het basisconversiepercentage van een andere pagina komen dan de geteste pagina?

Nee, de basis moet komen van precies de pagina waarop de test draait, gemeten op de statistiek waarvoor die pagina wordt getest. Een afrekenpagina die op 5% converteert, is de basis voor een test op diezelfde afrekenpagina, niet een percentage dat je leent van een andere pagina of een andere statistiek. Een percentage van elders gebruiken breekt de relatie tussen de basis en het doelpercentage waarop de formule leunt.

Was dit artikel nuttig?

Laat ons weten wat je ervan vindt!

Zie ons vaker in Google

Met één klik markeer je Flowsery als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

Flowsery

Flowsery

Analytics voor je website, met omzet voorop

Volg elke bezoeker, bron en conversie in realtime. Eenvoudig, krachtig en zonder cookies.

Realtime dashboard

Doelen bijhouden

Tracking zonder cookies

Gerelateerde begrippen

Hoe gebruikerssegmentatie van één rapport meerdere antwoorden maaktHoe gebruikerssegmentatie van één rapport meerdere antwoorden maakt
Woordenlijst

Hoe gebruikerssegmentatie van één rapport meerdere antwoorden maakt

In analytics splitst gebruikerssegmentatie één rapport op in groepen met een gedeeld kenmerk. Bekijk de soorten segmenten, hoe je er een bouwt en wanneer een segment te klein is.

•8 min leestijd
Zo meet je het formulierafhaakpercentage, veld voor veldZo meet je het formulierafhaakpercentage, veld voor veld
Woordenlijst

Zo meet je het formulierafhaakpercentage, veld voor veld

Een formulierafhaakpercentage vergelijkt gestarte formulieren met verzonden formulieren. Bekijk de formule, hoe GA4 en Zuko een start definiëren, en een uitgewerkt voorbeeld per veld.

•8 min leestijd
Een checkout-funnelanalyse op de stappen die echt lekkenEen checkout-funnelanalyse op de stappen die echt lekken
Woordenlijst

Een checkout-funnelanalyse op de stappen die echt lekken

Een checkout-funnelanalyse beslaat alleen de stappen van begin_checkout tot purchase, want daar is het lek te dichten en zijn de eventnamen standaard.

•8 min leestijd
De formule voor de gemiddelde orderwaarde stap voor stap uitgewerktDe formule voor de gemiddelde orderwaarde stap voor stap uitgewerkt
Woordenlijst

De formule voor de gemiddelde orderwaarde stap voor stap uitgewerkt

De formule voor de gemiddelde orderwaarde deelt omzet door bestellingen, en één kortingscode of retourbeleid kan ongemerkt elk cijfer verstoren dat een team rapporteert.

•6 min leestijd
De formule achter een typisch winkelwagenverlatingspercentageDe formule achter een typisch winkelwagenverlatingspercentage
Woordenlijst

De formule achter een typisch winkelwagenverlatingspercentage

Ongeveer zeven op de tien online winkelwagens worden nooit een bestelling, en de formule voor het winkelwagenverlatingspercentage laat zien hoeveel omzet dat gat in een maand vertegenwoordigt.

•6 min leestijd
Waar de uitval in een conversiefunnel echt plaatsvindtWaar de uitval in een conversiefunnel echt plaatsvindt
Woordenlijst

Waar de uitval in een conversiefunnel echt plaatsvindt

Stapconversie en totale conversie beantwoorden verschillende vragen over een conversiefunnel, en het verschil ertussen laat precies zien waar de uitval plaatsvindt.

•6 min leestijd

Gerelateerde artikelen