W tekście sprzed kilku tygodniu postawiłem tezę, że krystalizuje się nowa metodyka (tutaj ten artykuł) – nazywam ją eksploracyjną. Jednym z kluczowych jej komponentów jest stawianie hipotez i na tej podstawie planowanie zakresu.
Aby samemu przetestować to podejście w mojej grze mobilnej postawiłem hipotezę, że implementacja notyfikacji typu push podniesie retencję o 5 punktów procentowych. Retencja w grze była moim głównym problemem i poradzenie sobie z nią determinowało, czy jest sens dalej grę rozwijać, czy też projekt trzeba zamrozić. Retencja jednodniowa w okresie porównawczym wynosiła 15%, co jest wynikiem wyjątkowo słabym. Moim celem było podniesienie jej do poziomu przynajmniej 40% w długofalowej perspektywie. Ale teraz postawiłem hipotezę, że za pomocą notyfikacji push da się podnieść do poziomu 20%.
To jest cytat z tamtego artykułu:
- Wierzymy, że – Dodanie powiadomień w grze mobilnej, które wyświetlają się, gdy gracz nie gra w nią
- Da efekt – wzrostu retencji i liczby sesji w grze
- Będziemy pewni, że można potwierdzić hipotezę, gdy – retencja jednodniowa wzrośnie o 5 punktów procentowych a liczba sesji o 10 punktów procentowych liczonych dla kolejnych 10 dni.
Zabrałem się od roboty. Kilka releasów zawierajacych kolejne notyfikacje odpalane w różnych okresach, po drodze usunięcie serii błędów destabilizujących grę. Okazało się też, że aby notyfikacje miały sens dla gracza, gra musi działać w tle. To znaczy, że mimo iż gracz nie gra, to w grze jest mierzony upływ czasu tylko 200 razy wolniej. Po dodaniu tych rzeczy z dumą donoszę, że cel 25% został osiągnięty z górką. Retencja jednodniowa za ostatnie 10 dni to 25,3%. Zakres okazał się tylko nieco większy, bo trzeba było usuwać błędy i dodać granie w tle (łącznie ok. 2 dni pracy dodatkowo).
Czego to uczy? Po pierwsze odkryłem jaka jest wartość notyfikacji push. Jestem w trakcie odkrywania, że gracze mają chyba nieco inny styl grania niż zakładałem. Poza tym dzięki postawieniu hipotezy na temat krytycznego parametru mogłem się skupić na właściwej funkcjonalności. Twórca gry pomysłów na rozwój ma tysiące. Coraz wyraźniej widzę, że sztuką jest odgadnąć, czego chcą gracze. Ostatni wniosek jest taki, że zmienność obserwacji jest duża (od retencji 0% to ponad 60%), bo mam małą dzienną próbę graczy. Im większa dzienna próba, to tym bardziej wykres się wyrównuje. Żeby upewnić się, że zmiana nastąpiła, policzyłem średnią kroczącą. Zmiana jest znaczna, więc nie czułem potrzeby robienia testów statystycznych, ale zgodnie z metodyką powinienem.
Drugi wskaźnik w hipotezie mówił o liczbie sesji i okazuje się, że był źle dobrany. Dlaczego? Bo za liczbę sesji w dużej mierze odpowiada, to czy AppStore będzie promował grę, czy nie. Częściowo zależy to od atrakcyjności gry, ale częściowo od magicznych czynników, na które nie mam wpływu. Dla porządku jednak pokazują też liczbę sesji. Zmiana nastąpiła nawet powyżej oczekiwań w okresie porównawczym było 10,5 sesji dziennie, w okresie ostatnich 10 dni 24,9 sesji dziennie.
Kolejna hipoteza, która sobie stawiam to, że:
- Wierzymy, że – Dodanie modułu produkcji fabryk do gry mobilnej z funkcją produkowania w tle i notyfikacji push
- Da efekt – wzrostu retencji i liczby sesji w grze
- Będziemy pewni, że można potwierdzić hipotezę, gdy – retencja jednodniowa wzrośnie o 5 punktów procentowych do 30% liczonych dla kolejnych 10 dni.
