Ogromnym problemem wielu testów A/B jest to, że są przeprowadzane bez sensu oraz źle na poziomie metodologicznym. Dlaczego? Jak przeprowadzać prawidłowe testy A/B?
Fiksacja na testowanie
Owszem, jest fiksacja na testowanie. To chyba nawet dobrze, bo dzięki temu można się uczyć co działa, co niekoniecznie i optymalizować swoje działania.
Niestety fiksacja dotyczy tylko złych rzeczy (np.koloru przycisku). Same testy A/B są dobre, kiedy przynoszą wartościową wiedzę biznesową np. po ile sprzedawać produkt/usługę.
Innymi słowy, zanim zaczniemy się bawić w kolorki czy przekładanie obrazka z lewa na prawo, warto przetestować “większe” rzeczy. Te, które mają znaczenie. Ofertę, cenę, budowę landing page.
Mądre testy A/B
Testując cały landing page nie wiem co zadziałało (grafika, oferta, tekst?) – więc test jest o tyle bezużyteczny, że wiem tylko, że landing page 1 był lepszy niż landing page 2. Ale czy da mi to wiedzę na przyszłość? Nie.
Innymi słowy, nie można testować wielu rzeczy na raz. Ale jeśli będziemy testować każde ułożenie przycisku, to możemy tak testować przez 100 lat.
Jako klient, który ma produkt, z którym “zostaje” (w przeciwieństwie np. do agencji, która zwykle pracuje okresowo) chce wiedzieć, który tekst lepiej sprzedaje, która grafika itd.
Testy wymagają wiargodności
Kolejnym aspektem, poza błędami związanymi z testowaniem za dużej liczby zmiennych oraz testowaniem nieznaczących zmian, jest sama próbka badawcza. To trochę jak z obiadem – jak Twoja rodzina mówi, że jej smakuje, to nie znaczy, że jak by to podano komuś innemu też by smakowało.
Jasne, trzeba mieć odpowiednio dużą grupę docelową, ale też nie przesadzajmy z jej wielkością. W zależności od błędu, na jaki się zgadzamy (i oczywiście ilości konwersji, ale weźmy 5%) to np. potrzebujemy 7-8 tysięcy ludzi na stronę. Jasne, jak mamy budżet 100 zl, to się pewnie nie da. Pytanie też, czy testujemy jedynie reklamami (czyli w danej grupie odbiorczej). Jeśli testujesz stronę docelową, przecież ruch może być z różnych miejsc. Krótko mówiąc – za kilka tysięcy zł można zrobić normalny test na 1 dużą hipotezę*. A za mniej – też, tylko obarczoną większym ryzykiem błędu. Pamiętajmy, że test może trwać np. pół roku – nie trzeba go robić w miesiąc. To też jakąś plagą – marketing to działania na lata, a nie zamykanie sprzedaży w tym samym miesiącu.
*powiedzmy, że 8 tysięcy osób na stronę możemy osiągnąć ~4-8 tysięcy złotych.
Jak zrobić testy A/B dobrze?
Zajrzyjcie na stronę Evana, który udostępnia fajne narzędzia do testowania A/B, które mogą wam pomóc.
- sample size calculator to nic innego jak kalkulator określający ile osób potrzebujemy do testu
- test chi kwadrat – prosty kalkulator dla tych, którzy testują ile razy się coś udało na 100 prób (i czy występuje podobieństwo między dwoma grupami)
- sekwencyjny sampling – jeśli robicie testy A/B sekwencyjnie – dowiecie się ile potrzebujecie konwersji
- jest również narzędzie do T-Testów, liczenia “surwiwalu” w czasie czy innych danych
Przykładowo: przy 5% błędzie poznawczym (na 100 razy, 5 razy się pomylicie) i konwersji na poziomie 20% potrzebujemy 1030 osób próby. Ale kto ma 20% konwersji 😛 Na szczęście, przy 3% konwersji wystarczy nam próbka 221 osób (NA WARIACJĘ). Czyli testując A/B potrzebujecie x2. Analogicznie 2060 lub 442 osoby.
Testy A/B mogą przynieść bardzo wartościowe informacje. Facebook sam udostępnia narzędzie, które przetestuje różne wariacje naszych reklam. Ale landing page musimy badać sami. Róbmy to z głową.
PS. Jeśli potrzebujesz pomocy z przeprowadzaniem testów A/B – zgłoś się do mnie. Chętnie pomogę 🙂
