Szacowanie za pomocą tzw. expert judgement jest najczęstszą techniką prognozowanie, kiedy zadanie się skończy, ile będzie kosztować, na jakie ryzyka jest wystawione, jaka jakość jest możliwa do osiągnięcia.
Jest to najczęściej wymieniana technika w PMBOK Guide. I, zaryzykowałbym stwierdzenie, jedna z najbardziej zawodnych. Szacowanie eksperckie często daje wyniki, których wiarygodności nie sposób ocenić.
Wiedza o analizowanym właśnie problemie jest rozproszona w zespole nierównomiernie. Przykładowo, gdy pytamy członka zespołu, ile godzin poświęci na przygotowanie koncepcji, nie wiemy, czy robił podobne rzeczy wcześniej, ma otwarty umysł, jest zmotywowany do pracy, przyjrzał się uważnie wymaganiom klienta, zasięgnął opinii odnośnie potencjalnych ryzyk, ma w końcu pomysł, jak uporać się z pewnymi kwestiami technicznymi, … czy też nie. W odpowiedzi usłyszymy – 5 dni… chyba.
Powodem tak powszechnego stosowania tej metody jest jej niski koszt. Wystarczy podejść do kolegi i zapytać „Ty wiesz o co w tym chodzi? Damy radę na jutro?”
Tytułowa technika zaczyna dawać bardziej wiarygodne rezultaty, gdy rośnie liczba ekspertów. Na naszych kursach robiliśmy eksperyment i zadawaliśmy pytanie z wiedzy ogólnej, na którym nikt na sali raczej nie powinien bliżej się znać. Na przykład: ile kilometrów ma Amazonka? (faktyczne pytanie było nieco inne, ale nie chcę psuć zabawy uczestnikom naszych kolejnych szkoleń) Okazuje się, że na ponad 100 osób, które odpowiadały na takie pytania w naszym eksperymencie, właściwie nikt nie udzielił poprawnej odpowiedzi. Jednak w tym wypadku ustalenie wiarygodności ekspertów zajmuje kilka sekund, wystarczy Google. W przypadku projektów już nie jest tak łatwo.
Kiedyś w zespole miałem programistę. Najszybszego z całego zespołu, o najwyższych kompetencjach oraz motywacji i jednocześnie wiecznie spóźnionego. A właściwie to właśnie dlatego spóźniającego się, że miał wysokie zaangażowanie (chciał szybko kończyć zadania) i dużą pewność swojej wiedzy (wszystko jest przecież takie proste). Miałem też innego, kompetentnego programistę, który zaczynał każdą odpowiedź od „nie”. „Dasz radę na jutro to skończyć?” „Nie, no chyba, że uda mi się uwinąć z poprzednim zadaniem, które już właściwie zrobiłem.” Niezrażony tak rozwiniętą asertywnością potraktowałem ją jak szansę na poradzenie sobie z niedoszacowanymi terminami tego pierwszego. Kiedy jeden mówił, że coś potrwa 2 dni, drugi dawał 7 dni. Jak pierwszy wskazywał, że nie ma żadnych zagrożeń, drugi widział je wszędzie. Zacząłem pytać ich obu (początkowo nie informując nawzajem o tym) o prognozy wykonania kolejnych zadań. Szybko mi wyszło, że faktyczny termin końca wypadał mniej więcej po środku obu szacunków. Wystarczyło uśrednić pesymistę z optymistą, aby stworzyć realistę. 🙂 To trwało nawet, gdy obaj panowie się zorientowali w moim niecnym postępowaniu.
Podejście Scrum proponuje ciekawą technikę szacowania – Planning Poker. Po krótce wygląda to tak, że gdy zespół musi oszacować wielkość konkretnego wymagania klienta, staje w kółku i naraz każdy pokazuje, ile punktów dałby danej funkcjonalności. Ważne, aby cały zespół (zwykle do 8 osób) brał udział w szacowaniu. Skrajne oceny są dyskutowane. Szacowanie powtarza się, aż wszyscy uzyskają konsensus w swoim ocenach.
Szczególnym podejściem do expert judgement jest metoda delficka, gdzie o udzielenie odpowiedzi prosi się grupę ekspertów. Każdy z nich niezależnie dokonuje oceny. Co więcej eksperci nie kontaktują się ze sobą. Następnie wszystkie odpowiedzi są składane w jeden dokument i anonimowo rozsyłane z powrotem wszystkim ekspertom z prośbą o ustosunkowanie się i być może wyśrodkowanie swojej opinii. Proces ponawia się do uzyskania jednolitej opinii wszystkich ekspertów. Takie podejście spółki niekiedy stosują przy rozwiązywaniu problemów podatkowych lub prawnych. Znowu ważne, aby mieć grupę ekspertów, których poprosi się o opinię.
We wspomnianym eksperymencie uczestników niekiedy zaskakuje, jak rozbieżne mogą być oceny długości tej samej rzeki. W książce How to measure anything podane jest wyliczenie, które pokazuje, że mając odpowiednio dużą populację ekspertów. Mamy aż 93% szans, że wśród 5 losowo wybranych odpowiedzi znajdzie się ta prawdziwa. Przykładowo wybrawszy losowo 5 osób, mamy 93% szans, że faktyczna długość Amazonki będzie między najmniejszą a największą oceną z tych pięciu. Nam przez kilkanaście kursów nie zdarzyło się, aby prawidłowa odpowiedź nie znalazła się pomiędzy najmniejszą i największą z wybranych losowo pięciu.
Podsumowując, ocena ekspercka, zwana niekiedy „szacowaniem z czapki albo z fusów”, jest mało wiarygodna. Jej rzetelność można jednakże podnieść, angażując większą liczbę ekspertów oraz pozwalając im porozmawiać ze sobą o danym problemie.
Odnosząc się do komentarza Piotra (dyskusja na FB), przy angażowaniu większej liczby ekspertów pojawia się ryzyko, że konsultacje będą przedłużać się w nieskończoność. W związku z tym Poker Planning musi być tzw. Timeboxed, czyli na sztywno ograniczony czasem. Zaś metodę delficką w praktyce stosuje się wyłącznie w sytuacjach niejednoznacznych o wielu równoważnych alternatywach działania. Nasze przepisy podatkowe są tego dobrym przykładem :).
