3 antywzorce, które niszczą wiarygodność QA

Seria: QA Leadership · Artykuł 9 z 9 · Finał

Ten artykuł mogłem napisać tylko dlatego, że sam popełniłem każdy z opisanych tu błędów. Mój pierwszy dashboard dla zarządu miał dwadzieścia trzy wykresy i byłem z niego naprawdę dumny. Prezes poświęcił mu jakieś dziewięć sekund.

Przez osiem artykułów budowaliśmy warsztat: pięć metryk, wskaźnik decyzyjny, narrację. Zostało ostatnie pytanie, czyli co potrafi to wszystko zepsuć. Odpowiedź jest krótka. Trzy nawyki, które wyglądają niewinnie, a każdy z nich po cichu podkopuje zaufanie do zespołu jakości. Znam je dobrze, bo latami hodowałem wszystkie trzy naraz.

Dobra wiadomość jest taka, że żaden z nich nie wynika ze złej woli ani z braku kompetencji. Wszystkie biorą się z nadmiaru dobrych chęci. I właśnie dlatego tak łatwo w nie wpaść.

Antywzorzec 1: raport, który pokazuje wszystko

czyli dashboard z dwudziestoma trzema wykresami

Logika wydaje się żelazna. Skoro zbieramy tyle danych, pokażmy je. Więcej wykresów znaczy więcej pracy, więcej pracy znaczy więcej wiarygodności. Tak myślałem, przygotowując tamten dashboard (tablicę wskaźników), i tak myśli większość zespołów QA na pewnym etapie dojrzewania.

Uwaga słuchacza działa jednak jak budżet, nie jak studnia. Każdy kolejny wykres wydaje część tego budżetu i pomniejsza to, co zostaje dla pozostałych. Przy sześciu wskaźnikach sala jeszcze nadąża. Przy dwunastu zaczyna wybierać losowo, na co patrzeć. Przy dwudziestu trzech poddaje się po cichu i czeka na kolejny punkt agendy. Nikt tego nie powie głośno, bo wypada docenić włożoną pracę.

Wyjście z tego nawyku boli, bo wymaga wyrzucenia rzeczy, nad którymi się napracowałeś. Zasada, która u mnie zadziałała: jeden slajd, jeden wskaźnik decyzyjny, maksymalnie cztery liczby wspierające. Cała reszta ląduje w załączniku i czeka na pytania. Paradoks polega na tym, że odkąd pokazuję mniej, ludzie pytają o więcej.

Antywzorzec 2: liczba, która chodzi sama

czyli 94% bez odpowiedzi na pytanie „to dobrze?"

Scena z życia. Sprint review, na slajdzie „DDR: 87%”, w sali dwanaście osób. Ktoś z biznesu podnosi rękę i pyta, czy to dobry wynik. No właśnie. Osiemdziesiąt siedem procent czego względem czego? Bez punktu odniesienia ta liczba jest szumem, który brzmi jak informacja.

Słuchacz pozbawiony kontekstu zrobi jedną z dwóch rzeczy. Albo dopowie sobie własną interpretację, zwykle błędną, albo przestanie słuchać. Obie opcje pracują przeciwko Tobie. Najgorsze jest to, że nadawca zwykle nie widzi problemu, bo sam kontekst ma w głowie. Wie, że kwartał temu było 74%. Tylko zapomniał, że wie to wyłącznie on.

Zamiast tłumaczyć dalej, po prostu sprawdź to na sobie. Trzy prawdziwe liczby, trzy szybkie decyzje.

Lekarstwo jest tanie. Każda liczba wychodzi na spotkanie z jednym z trzech towarzyszy: trendem (jak było wcześniej), punktem odniesienia (benchmark, cel, inna miara) albo mianownikiem (na wydanie, na sprint, zgodnie z artykułem szóstym). Jedno dodatkowe zdanie na slajdzie. Tyle kosztuje różnica między informacją a szumem.

Antywzorzec 3: klątwa wiedzy

czyli flaky testy, race condition i twarz Product Ownera

Kiedyś na statusie z biznesem powiedziałem zdanie, które do dziś pamiętam: „Regresja się sypie, bo mamy flaky testy przez race condition na CI, a coverage dropnął po refactorze”. Product Owner pokiwał głową. Po spotkaniu podszedł i zapytał, czy to znaczy, że będzie opóźnienie. Nic więcej z mojej wypowiedzi nie dotarło.

Psychologia nazywa to klątwą wiedzy. Gdy coś wiemy, tracimy zdolność wyobrażenia sobie, jak to jest nie wiedzieć. Skróty naszego świata wydają się oczywiste, więc mówimy nimi także do ludzi spoza tego świata. Słuchacz z grzeczności kiwa głową, a w środku podejmuje decyzję, żeby następnym razem zapytać kogoś innego. Tak po cichu umiera pozycja doradcy.

Poniżej pięć zdań, które naprawdę padły na spotkaniach. Kliknij każde z nich, żeby zobaczyć wersję, która dociera.

Zwróć uwagę, co łączy wersje ukryte pod każdym zdaniem. Żadna nie tłumaczy mechanizmu. Wszystkie tłumaczą skutek i mówią, co dalej. Biznesu nie interesuje, jak działa race condition (wyścig procesów). Interesuje go, czy wydanie wyjdzie w piątek i czy klient coś odczuje. Odpowiadaj na to pytanie, a technikalia zostaw na rozmowy z inżynierami, gdzie są na swoim miejscu.

Autodiagnoza: sprawdź się, zanim zrobi to za Ciebie sala

Sześć pytań, po dwa na każdy antywzorzec. Zaznacz te, które brzmią znajomo. Bez oszukiwania, nikt nie patrzy.

Cztery tygodnie do pierwszego raportu, który działa

Cała seria za nami, więc na koniec plan minimum. Sprawdzony w praktyce, bez rewolucji, do zrobienia obok normalnej pracy.

Dziewięć artykułów później

Zaczęliśmy od diagnozy: QA raportuje aktywność, biznes chce słyszeć o wynikach. Pomiędzy tymi dwoma punktami zmieściło się pięć metryk, jeden wskaźnik decyzyjny, warsztat narracyjny i dzisiejsze trzy przestrogi. To komplet. Nie dlatego, że nie dałoby się dodać kolejnych wskaźników, tylko dlatego, że ten zestaw wystarcza, a wszystko ponad niego zaczyna pracować przeciwko Tobie. Wiesz już dlaczego, pisałem o tym kilka ekranów wyżej.

Jeśli z całej serii miałaby zostać jedna myśl, niech będzie ta: metryki nie służą do udowadniania, że QA pracuje. Służą do tego, żeby firma podejmowała lepsze decyzje. Różnica wydaje się subtelna, a zmienia wszystko, od doboru wskaźników po układ slajdu.