E-mail marketing

A/B testování (e-mail)

Porovnání dvou verzí e-mailu pro zjištění lepší výkonnosti

(A/B Testing)

Co je A/B testování e-mailu

A/B testování e-mailu je porovnání dvou verzí zprávy, které se rozešlou náhodně rozděleným částem databáze, a následné vyhodnocení, která z nich uspěla líp. Vítězná varianta pak jde na zbytek kontaktů.

Jedna proměnná, jinak se nedozvíte nic

Když najednou změníte předmět, jméno odesílatele i hlavní obrázek a verze B vyhraje, víte akorát to, že vyhrála. Příště z toho nevytěžíte nic. Testovat se dá:

předmět zprávy, nejrychlejší a nejčastější test
jméno odesílatele, tedy značka proti konkrétnímu člověku z firmy
hlavní obrázek, případně jeho úplné vynechání
text tlačítka
čas odeslání, jenže ten se plete se všemi ostatními vlivy a výsledek obvykle platí jen pro tu jednu rozesílku

Podle čeho vyhodnocovat

Většina rozesílačů nabízí jako výchozí kritérium vítěze míru otevření. Tohle nastavení měním. Otevření se měří stažením neviditelného pixelu a ochrana soukromí v poštovních klientech ho zapisuje i bez zásahu člověka, takže do výsledku testu vstupuje šum, který s vaším předmětem nemá nic společného. Vyhodnocuju proto podle prokliku, a když rozesílač umí přiřadit tržbu z e-shopu, tak podle objednávek. U testu předmětu to zní nelogicky. Jenže vás nezajímá otevření, zajímá vás, kolik lidí to dotáhlo dál, a jak moc je míra otevření zkreslená, se dočtete na její vlastní stránce.

Malá databáze test neunese

Rozdíl mezi dvěma verzemi bývá drobný a na několika stovkách adres ho spolehlivě přebije náhoda. Nástroj přitom vítěze vyhlásí vždycky, i když je odstup statisticky bezcenný. U malých seznamů proto radši netestuju a ten čas věnuju nabídce a segmentaci, protože ty s výsledkem pohnou o řád víc.

Každý test si zapisuju do jednoduché tabulky: co se testovalo, na jak velkém vzorku, jak to dopadlo. Bez toho po půl roce nikdo neví, co už se zkoušelo, a testuje se dokola to samé. Výsledek pak beru jako hypotézu, ne jako zákon. Varianta předmětu, která vyhrála v lednu, může na podzim prohrát, protože se mezitím změnila nabídka i to, co lidem chodí do schránky od konkurence.

Časté otázky

Podle jaké metriky vyhodnocovat A/B test e-mailu?

Podle prokliků, a pokud rozesílač vidí do e-shopu, tak podle objednávek. Míra otevření je zkreslená měřením přes pixel, takže test postavený na ní stojí na vratkém základu i tehdy, když testujete zrovna předmět.

Kolik proměnných se dá testovat najednou?

Jedna. Při dvou současných změnách se výsledek nedá přiřadit k příčině a do budoucna vám nic nenapoví. Když potřebujete změnit víc věcí, pusťte testy po sobě.

Vyplatí se testovat na malé databázi?

Většinou ne. Rozdíly mezi verzemi bývají tak malé, že na několika stovkách adres zaniknou v náhodě, i když nástroj nějakého vítěze vyhlásí. Čas se v takovém případě víc vyplatí věnovat nabídce a segmentaci.