A/B testování
Porovnání dvou verzí stránky nebo prvku
Co je A/B testování
A/B testování je metoda, při které se dvě varianty stránky nebo jejího prvku zobrazují náhodně rozdělené návštěvnosti ve stejném čase a porovnává se, u které dopadla sledovaná akce lépe. Podstatné jsou obě podmínky. Náhodné rozdělení zajistí, že v obou skupinách skončí podobní lidé, společný čas zajistí, že do výsledku nevstoupí výplatní termín, svátek ani víkendová sleva konkurence.
Srovnání typu „minulý měsíc jsme měli tohle, letos tamto“ proto testem není. Je to měření dvou různých situací a rozdíl v něm může pocházet z čehokoli.
Jak dlouho test nechat běžet
Dva dny nestačí nikdy. Po dvou dnech vidíte hlavně náhodu: pár objednávek navíc v jedné variantě posune poměr tak, že to vypadá na jasného vítěze, a za týden se pořadí otočí. Běh by měl pokrýt celé týdenní cykly, protože nakupování v úterý dopoledne a v neděli večer vypadá jinak. Když do testu spadne Black Friday nebo hlavní sezóna, výsledek zahoďte a pusťte ho znovu.
Co znamená statistická významnost
Statistická významnost odpovídá na jedinou otázku: jak pravděpodobné by bylo naměřit takový rozdíl náhodou, kdyby obě varianty byly ve skutečnosti stejně dobré. Nízká hodnota znamená, že náhoda je špatným vysvětlením toho, co vidíte. Neříká, že varianta B je lepší přesně o tolik procent, ani že to tak bude i za půl roku. Potřebný rozsah vzorku závisí na tom, jak malý rozdíl chcete zachytit, a spočítat si ho patří před spuštěním, ne v půlce běhu.
Před spuštěním si napište na papír, co měříte, jak dlouho to poběží, jaký rozdíl by vás přiměl variantu nasadit a co uděláte, když nevyjde nic. Papír pak schovejte a v průběhu do něj nešahejte. Většina sporů o výsledek vzniká tím, že se pravidla dopisovala až podle toho, co v datech vylezlo.
Chyby, které vidím nejčastěji
- Změna pěti věcí najednou. Vyhrálo to, gratuluji, ale nevíte proč a jinde to nezopakujete. Na víc proměnných existuje vícerozměrné testování, jenže to spolkne mnohonásobně víc provozu než obyčejný A/B.
- Zastavení testu v momentě, kdy graf poprvé ukáže náskok.
- Varianta B nasazená jenom na mobilech, zatímco A sbírá i desktop; rozdíl pak měří zařízení, ne úpravu.
- Sezónní špička uprostřed běhu.
Co konkrétně testovat a odkud brát hypotézy, řeším u pojmu CRO. Test sám o sobě nápad nevymyslí, jenom ho rozsoudí.