Twee jaar geleden vertelde ik op een vorige Google Analytics User Conference dat Google’s eigen A/B-testing tool Content Experiments ruim voldoende was voor de beginnende en de iets meer geavanceerde tester. Gelukkig evolueren de zaken en vandaag ben ik er van overtuigd dat er betere oplossingen zijn die ook te integreren zijn met je standaard Google Analytics setup.

Wat zijn zoal de belangrijke beperkingen van Google Content Experiments?

 

  • Segmentatie

Hoewel je wel degelijk custom segmenten kan aanduiden om testresultaten te zien, zal je heel vaak tegen de sampling limieten aanlopen. Dit maakt dat de data die je krijgt niet accuraat genoeg is om beslissingen te nemen over segmenten. Wil je dus weten of die nieuwe paginastructuur nu enkel op mobile beter is of niet? Tough luck.

  • Template testing

Content Experiments is een oplossing die vooral voor single-page-testing gemaakt lijkt. Hoewel het mogelijk is om meerdere pagina’s (bijvoorbeeld een template voor een categoriepagina) te testen, is het zeer omslachtig en krijg je het waarschijnlijk niet werkend met jouw CMS.

  • Novelty effect

Heel vaak is het zo dat in de eerste week/weken van een test de resultaten helemaal anders zijn dan in de daaropvolgende periode. Bij het testen van een nieuw item/structuur/... zullen je terugkerende bezoekers vaak opmerken dat er iets veranderd is, wat ook hun gedrag kan veranderen. Daarom is het altijd goed om een incubatieperiode in te stellen waarin je geen rekening houdt met die resultaten.

  • Significantie en jackpot-effect

Iedereen kent het wel: bij het opzetten van een test in Google Analytics duik je elk uur toch eens in de grafiek om te zien of je zorgvuldig uitgebouwde hypothese resultaat oplevert.

Hoewel het leuk is om naar te kijken, durf je zo al eens te snel naar foute conclusies geleid te worden. En ook Google zelf is daar schuldig aan, met de significantie-indicator en de automatische traffic-verdeler die te snel inspelen op een kleine trend. “Set up and forget” is een veel betere methode om dingen te testen.

  • Een winnaar gevonden? Wacht eens even.

Google bepaalt automatisch een winnaar wanneer de significantiegrens is bereikt. Leuk natuurlijk, maar bij het beëindigen van een experiment (manueel of automatisch zoals in dit voorbeeld), stopt de test gewoon en wordt aldus de oorspronkelijke versie terug als standaard getoond.

Als je niet goed oplet, kan dit dus betekenen dat je slechtst werkende versie een tijdje als enige versie getoond wordt. Vergeet dus nooit om je winnaar zo snel mogelijk als default versie op je site te plaatsen.

In mijn sessie op GAUC zal ik dieper ingaan op de alternatieven die je hiervoor kan creëren en hoe je zo alle bovenstaande beperkingen kan opzijzetten.