Testy A/B. Od kliknięcia do klienta — Dan Siroker i Pete Koomen

przez Karol Bocian | 26 listopada, 2020
0 komentarzy

Przeczytałem ostatnio kolejną książkę. W tym wpisie dzielę się informacjami, które w niej znalazłem oraz które wdrożyłem w swoim życiu. Staram się z każdej książki wdrażać minimum jedną rzecz.

Wdrożyłem:

  1. Staram się podejmować decyzje na podstawie faktów.
  2. Próbuję wykonywać testy A/B.

Książkę możesz kupić tutaj:

Notatki:

Mantra: Zawsze testuj! Zawsze podważaj słuszność rozwiązania.

Idea testowania A/B polega na przedstawieniu różnych wariantów rozwiązania różnym osobom i zmierzeniu, która wersja działa na nich najlepiej. Jeżeli wszystkie osoby będą przez dany czas mieli styczność z losowymi wariantami rozwiązania, to otrzymamy kontrolowany eksperyment.

Źródło: Rysunek na podstawie Rysunek A.1 Pętla testowa — Testy A/B. Od kliknięcia do klienta — Dan Siroker i Pete Koomen. Strona 164.

Testowanie A/B pozwala optymalizować rozwiązanie na podstawie faktów (faktycznych rezultatów), a nie przypuszczeń. Testem może być np. sprawdzenie jaki kolor guzika przekłada się na największą sprzedaż. Przez określony czas wyświetlamy odbiorcom różne kolory guzików i sprawdzamy, w której wersji sprzedaż było znacząco wyższa.

Testowanie A/B to odrzucenie swojej wiedzy, doświadczenia i przekonania, że znamy najlepsze rozwiązanie na rzecz procesu szukania rozwiązania poprzez wykonywania testów na prawdziwych użytkownikach i sprawdzaniu, które usprawnienie działa najlepiej. Wyniki testów (fakty) pozwalają budować naprawdę coraz lepsze rozwiązania, ponieważ odczytywane są faktyczne potrzeby klientów (a nie to, co nam się wydaje oraz nie to, co wydaje się klientowi). Testowanie A/B jest jedną z najbardziej opłacalnych inwestycji, ponieważ zwiększa zwrot ze wszystkich pozostałych inwestycji. Testowanie A/B powinno być integralną częścią procesu opracowywania produktów.

Jeżeli ktoś w Twoim zespole naciska, że należy coś zmienić / przetestować, zróbcie to-zróbcie test A/B umożliwiający poprawienie danego elementu. Kultura testowania i decydowania na podstawie faktów nakazuje kwestionować różne rzeczy i zadawać pytania: dlaczego to robimy, dlaczego w taki sposób, etc. Należy udzielać odpowiedzi na nie na podstawie faktów.

Chcąc wprowadzić test A/B w organizacji i zrobić z nich jedną z podstawowych wartości, warto mieć w firmie:

  1. Koordynatora — Osobę, dla której optymalizacja jest w pracy najważniejsza. Ta osoba jest odpowiedzialna za testowanie.
  2. Zwolenników — Są to osoby, które popierają ideę testowania A/B. Dobrze jest, jeśli są we wszystkich komórkach firmy.
  3. Upodmiotowieni testerzy — Testerzy są odpowiedzialni za testy A/B, mają na nie czas, zgodę, odpowiednie zasoby i możliwości testowania.
  4. Dziennik testów — Spis testów, ich przebiegu, wyników, przemyśleń, dlaczego coś się nie powiodło. Warto wprowadzić standaryzację: konwencję nazewniczą, osoby odpowiedzialne, historia, etc. Spis powinien być dostępny, wykorzystywany i aktualizowany przez całą firmę cały czas.

Przekazujcie wyniki testów swoim współpracownikom, np. możecie je zbierać w formie wiki i uzupełniać. Jeżeli ktoś zacznie szukać usprawnienia przycisku z CTA, będzie mógł jako część rozwiązań wziąć już kiedyś testowane.

Proces testowania A/B:

  1. Zdefiniowanie sukcesu – Należy zdefiniować do czego służy rozwiązanie i co ma robić najlepiej. Pozwala to określić kwantyfikowane wskaźniki sukcesu i zmierzyć, czy rozwiązanie ulega poprawieniu, czy pogorszeniu.
  2. Wskazanie wąskiego gardła — Znalezienie miejsca, które najbardziej ogranicza uzyskanie dobrego rezultatu.
  3. Sformułowanie hipotezy — Wymyślenie możliwych usprawnień i hipotez na temat, co może ograniczać dobre wyniki.
  4. Wyznaczenie priorytetów — Wybranie usprawnień, które mogą mieć największy wpływ na poprawę rozwiązania, aby w pierwszej kolejności przetestować je i wdrożyć te, które okażą się właściwe.
  5. Testowanie — Wykonanie testów poprzez losowe pokazanie usprawnień odbiorcom i sprawdzenie, które z nich jest najlepsze.

W Call To Action (CTA) powiedz użytkownikowi wprost, co ma zrobić: używaj czasowników, zamiast innych form, np. Wypróbuj produkt, zamiast Darmowa wersja próbna.

Różne konteksty (formy przekazu) mogą w różny sposób wpływać na odbiorców. Testuj zmianę całej formy narracji, np. z negatywnej na pozytywną, z nastawienia na zysk na zapobiegnięciu straty, z biernej na aktywną.

To, co okazało się lepsze w młodym produkcie, może być złe w starszym. Nowi użytkownicy mogą różnić się od starych i na nich coś innego może lepiej działać. Raz wykonany test A/B danego elementu nie sprawia, że już nigdy więcej nie należy znowu wykonać jego testów. Znalezione usprawnienie w jednym miejscu, nie oznacza, że należy je zastosować wszędzie indziej (np. czerwony przycisk kupuj może działać tylko na stronie mobilnej, a na innych już odrzucać klientów).

Test A/A to test, w którym wszystkie warianty są takie same. Sprawdza on, czy nasz proces testowania jest dobry. Taki test powinien dać wynik, mówiący, że wszystkie warianty przynoszą takie same rezultaty.

Test wielowymiarowy to test umożliwiający odkrycie efektów interakcyjnych między różnymi elementami. Efekty interaktywne są stosunkowo rzadkie, dlatego lepiej jest wykonywać mniejsze testy liniowo, najpierw przetestować jeden element, a potem kolejny.

Najpopularniejszym daniem w restauracjach jest zazwyczaj drugie najtańsze. Wprowadź do swojej oferty również najtańszy produkt, może być darmowy i pozbawiony większości funkcji, aby klient mógł wybrać nie najtańszą opcję. Dodaj też ofertę najdroższą, aby klient miał opcję kupienia czegoś, co nie jest najdroższe. Niech oferta, której chcesz sprzedać najwięcej, będzie tylko trochę droższa od innej, a jednocześnie sporo lepsza. Klient wtedy pomyśli, że jest to świetna okazja zakupowa.

Książkę możesz kupić tutaj:

Wszystkie posty związane z książkowymi wdrożeniami:

Źródła

Obraz główny

Materiały

  • Testy A/B. Od kliknięcia do klienta — Dan Siroker i Pete Koomen

Linki oznaczone (*) są linkami afiliacyjnymi. Jeżeli uważasz, że czerpiesz korzyści z mojej pracy, to kup coś korzystając z powyższego linku. Sprawi to, że dostanę prowizję z afiliacji.

Kategoria: IT Książkowe wdrożenia

O Karol Bocian

Programowanie i świat agentów programowalnych, który poznał na Wydziale Matematyki i Nauk Informacyjnych, wciągnął go w przemysł IT. W trakcie swojej praktyki zawodowej Karol zrozumiał, że nie ważne co się robi i kim się jest, ale wiedza z zarządzania przydaje się wszędzie. Rozpoczął studia na kierunku Zarządzanie i Inżyniera Produkcji. W przypadku Karola zarządzanie to nie tylko teoria czy praca, ale prawie każdy element jego życia, to jego pasja.

Zobacz wszystkie wpisy, których autorem jest Karol Bocian →