Seria: QA Leadership · Artykuł 6 z 9

Wyobraź sobie dwa zespoły. Oba raportują: „W tym kwartale mieliśmy 3 błędy na produkcji". Jeden zasługuje za to na premię, drugi powinien natychmiast zatrzymać dostarczanie i zrobić głęboką retrospektywę. Gdzie tkwi różnica? W liczbie wydań - jedynej metryce, której żaden z nich nie uwzględnił w raporcie.

3
błędy produkcyjne · 2 wydania
Średnio 1,5 błędu na wydanie. Co drugie wdrożenie przynosi klientowi problemy.
Kryzys
vs
3
błędy produkcyjne · 15 wydań
Zaledwie 0,2 błędu na wydanie. Zdecydowana większość releasów przebiega bez najmniejszych problemów.
Sukces

Ta sama liczba bezwzględna potrafi opisywać dwie zupełnie różne rzeczywistości. Właśnie dlatego Number of Releases to nie jest wskaźnik, który po prostu się prezentuje - to fundament, przez pryzmat którego ocenia się wszystkie inne dane.

To najczęściej pomijana metryka z pięciu omawianych w tej serii, bo z pozoru wydaje się banalna („Po prostu policz, ile zrobiliśmy wydań”). Jej rola jest jednak kluczowa. Bez niej wskaźniki takie jak DDR, Escaped Bugs czy Issues per Release są tylko suchymi liczbami, pozbawionymi realnej skali.

Metryka, która nie świeci sama - ale oświetla resztę

Wyobraź sobie pozostałe cztery metryki serii jako satelity. Każda z nich krąży wokół jednego punktu odniesienia - liczby releasów. Bez tego centrum każda z nich dryfuje bez kontekstu.

Wspólny mianownik
Number of Releases
nadaje skalę każdej z poniższych
Escaped Bugs
escaped ÷ releasy
= escaped per release
→ realny wpływ na klienta
Issues per Release
issues ÷ releasy
= dojrzałość per release
→ porównywalność w czasie
DDR
kontekst: ile okazji
do wykrycia / ucieczki
→ skala procesu
Confidence Score
trend przez N releasów
= stabilność predykcji
→ powtarzalność
Liczba bezwzględna mówi, ile się wydarzyło. Liczba znormalizowana mówi, czy to dużo. A „czy to dużo" to jedyne pytanie, które naprawdę interesuje biznes.

Jak normalizować każdą metrykę serii

Normalizacja to po prostu podzielenie liczby bezwzględnej przez liczbę releasów. Ale efekt jest transformacyjny - z liczby, która zmienia się wraz z tempem pracy, robi się wskaźnik jakości niezależny od tego tempa.

MetrykaBezwzględnaZnormalizowanaCo zyskujesz
Escaped Bugs12 / kwartał÷ releasyPorównywalność między kwartałami o różnym tempie
Issues found96 / kwartał÷ releasyTrend dojrzałości kodu niezależny od liczby wdrożeń
Czas QA320h / kwartał÷ releasyKoszt jakości na jeden release - argument dla budżetu
Hotfixy8 / kwartał÷ releasyStabilność procesu releasowego, nie surowa liczba awarii

Konkretny przykład - ten sam zespół, dwa kwartały

Popatrz, jak normalizacja całkowicie odwraca wniosek. Bez niej Q4 wygląda gorzej niż Q3. Z nią - widać wyraźną poprawę.

Escaped bugs - bezwzględnie vs znormalizowane
Liczby bezwzględne rosną (więcej releasów). Per release - spadają. Który wniosek jest prawdziwy?
Q3 vs Q4
Escaped łącznie (szt.) Escaped per release

Interpretacja liczb bezwzględnych: „Liczba błędów produkcyjnych wzrosła z 7 do 12 - nasza jakość spada”. Interpretacja po normalizacji: „Liczba błędów na wydanie spadła z 1,4 do 0,8. Podwoiliśmy tempo dostarczania, a jakość naszego oprogramowania wyraźnie wzrosła”. Drugi wniosek jest prawdziwy. Pierwszy to biznesowa pułapka.

Number of Releases a Deployment Frequency

Liczba wydań to bardzo bliski krewny najsłynniejszej branżowej metryki tempa dostarczania - Deployment Frequency z badań DORA. To pierwsza z czterech kluczowych metryk DevOps i bezpośredni wskaźnik tego, jak często Twoja organizacja realnie dostarcza wartość użytkownikom.

Warto pamiętać, że najnowszy raport DORA odszedł od klasycznego podziału na cztery poziomy na rzecz siedmiu archetypów, ale dane w klasycznym układzie wciąż pozostają świetnym punktem odniesienia. Tylko około 16% zespołów potrafi wdrażać zmiany „na żądanie” (on demand), podczas gdy 24% robi to rzadziej niż raz w miesiącu. Przepaść w dojrzałości jest ogromna.

Najwyższy poziom
On demand
Wielokrotnie dziennie, małe partie kodu · ~16% zespołów
Wysoki
Dziennie - tygodniowo
Co najmniej raz w tygodniu, często częściej
Średni
Tygodniowo - miesięcznie
Cykle sprintowe, koniec sprintu co 1-2 tyg.
Niski
Rzadziej niż miesięcznie
Duże partie zmian, wysokie ryzyko każdego wdrożenia · ~24% zespołów

Dlaczego to ważne dla QA? Bo tempo dostarczania i jakość nie są przeciwstawne - to jeden z najważniejszych wniosków z wieloletnich badań DORA. Najszybsze zespoły są też najbardziej stabilne. Częstsze, mniejsze releasy oznaczają mniejszy promień rażenia każdej zmiany, łatwiejszą diagnozę i szybsze wycofanie (rollback). Liczba releasów to nie tylko mianownik dla Twoich metryk - to sygnał dojrzałości całego procesu.

Wzrost liczby releasów przy spadającym escaped per release to najsilniejszy dowód, jaki QA może przedstawić: dostarczamy szybciej i bezpieczniej jednocześnie. To dokładnie to, co DORA nazywa cechą najwyższej wydajności.

Deployment ≠ Release - i dlaczego to zmienia liczenie

Zanim zaczniesz zbierać dane, musisz jasno określić: czy liczysz wdrożenia (deploymenty), czy wydania (releasy)? To nie to samo, co bywa mylące nawet dla doświadczonych zespołów - zwłaszcza tych, które pracują z mechanizmem feature flags.

Deployment
🚀 Wdrożenie
Techniczna czynność. Kod ląduje na środowisku produkcyjnym, ale może być ukryty przed użytkownikiem - np. za wyłączoną flagą.
Przykład: kod nowej funkcji wdrożony, ale flaga wyłączona
Release
🎁 Wydanie
Biznesowy moment udostępnienia nowej funkcji użytkownikom. Może nastąpić tygodnie po deploymencie - np. przez samo włączenie flagi dla 100% bazy użytkowników.
Przykład: włączenie flagi dla 100% użytkowników

Dla metryk QA tej serii liczymy to, co dociera do użytkownika, czyli releasy w sensie biznesowym. Escaped bug to problem, który odczuł klient - więc mianownikiem musi być liczba momentów, w których cokolwiek mogło do klienta trafić. Jeśli Twój zespół oddziela deployment od release przez feature flags, ustal jasno: czy escaped bug liczony jest od momentu wdrożenia kodu, czy od włączenia flagi? Spójność tej definicji jest kluczowa - podobnie jak przy escaped bugs w artykule 3.

Kalkulator normalizacji

Wpisz liczby bezwzględne i liczbę releasów - kalkulator pokaże znormalizowane wartości z oceną dla każdej metryki.

Normalizator metryk QA
Zobacz, jak liczba releasów zmienia interpretację Twoich danych
Escaped / release
0,60
Dobry
Issues / release
8,0
Do poprawy
Czas QA / release
24h
Koszt jakości

Jak zacząć liczyć - i robić to dobrze

To najprostsza w zbieraniu metryka z całej serii - ale ma kilka pułapek definicyjnych, które warto rozstrzygnąć od początku.

1
Ustal, co liczysz jako „release"
Deployment czy udostępnienie użytkownikowi? Hotfix - czy liczy się jako osobny release? Wycofanie i ponowny deploy - jeden release czy dwa? Zapisz definicję i trzymaj się jej. Dla metryk jakości rekomenduję liczyć to, co dociera do użytkownika.
2
Wyciągnij dane z tego, co już masz
Git tags, historia CI/CD (Jenkins, GitHub Actions, GitLab), changelog, lista wersji w Jirze. Liczba releasów to jedna z najłatwiej dostępnych danych w całej serii - zwykle wystarczy policzyć tagi produkcyjne.
3
Dodaj liczbę releasów jako kontekst do KAŻDEGO raportu
To jest sedno. Nigdy nie raportuj escaped bugs, issues czy DDR bez liczby releasów obok. Jedno zdanie - „przy 10 releasach w tym kwartale" - zmienia interpretację każdej innej liczby.
4
Normalizuj wszystkie pozostałe metryki - i pokazuj oba widoki
Pokazuj zarówno liczbę bezwzględną, jak i znormalizowaną. Bezwzględna mówi o skali pracy, znormalizowana o jakości. Razem dają pełny obraz - i chronią przed błędnymi wnioskami w obie strony.

Trzy pułapki przy używaniu liczby releasów

01
Liczba releasów jako cel sama w sobie
Więcej releasów nie jest celem - jest środkiem. Jeśli zespół zacznie sztucznie dzielić jeden release na pięć, żeby „poprawić" znormalizowane metryki, to oszukiwanie systemu. Liczba releasów ma odzwierciedlać realny rytm dostarczania wartości, nie być optymalizowana pod ładniejsze wykresy.
02
Porównywanie zespołów o różnym modelu dostarczania
Zespół deployujący on demand i zespół releasujący raz na sprint to dwa różne światy. Znormalizowane metryki pomagają, ale nie wymazują różnic kontekstowych - regulacje, typ produktu, architektura. Używaj normalizacji do porównań w czasie dla jednego zespołu, nie do rankingowania zespołów między sobą.
03
Ignorowanie wielkości releasów
10 małych releasów to nie to samo co 10 dużych. Sama liczba nie uwzględnia rozmiaru. Dla precyzyjniejszej normalizacji rozważ wagę przez story points lub liczbę zmian - szczególnie gdy releasy mocno różnią się skalą. Liczba releasów to dobry mianownik domyślny, ale nie idealny dla wszystkich przypadków.

Liczba releasów w rozmowie z biznesem

Sprint Review „W tym kwartale zrealizowaliśmy 12 wydań - o 4 więcej niż w poprzednim. Pomimo tak dużego wzrostu tempa, wskaźnik błędów na wydanie spadł z 1,0 do 0,5. Dostarczamy szybciej i bezpieczniej."
1:1 z EM „Bezwzględna liczba błędów na produkcji wzrosła, bo podwoiliśmy liczbę wydań. Jednak gdy spojrzymy na wskaźnik per release, nasza jakość znacząco się poprawiła. Osiągamy dokładnie to, co badania DORA określają mianem najwyższej wydajności: tempo i stabilność rosną jednocześnie."
Zarząd „Zwiększyliśmy częstotliwość wdrożeń z 3 do 12 wydań na kwartał, awansując do wyższej ligi według benchmarków DORA. Co ważniejsze, usterkowość wydań spadła o połowę. Szybciej dostarczamy wartość biznesową, drastycznie obniżając ryzyko."

Dlaczego ta „banalna” metryka jest fundamentem

Number of Releases daje Ci
  • Wspólny mianownik dla wszystkich pozostałych metryk serii
  • Ochronę przed błędnymi wnioskami z liczb bezwzględnych
  • Porównywalność między kwartałami o różnym tempie
  • Most do Deployment Frequency - języka DORA i zarządu
  • Dowód, że tempo i jakość mogą rosnąć jednocześnie
Number of Releases nie jest
  • Celem samym w sobie - więcej nie zawsze znaczy lepiej
  • Miarą wielkości releasów (sama liczba ignoruje skalę)
  • Narzędziem do rankingowania różnych zespołów
  • Wystarczająca samodzielnie - świeci tylko z innymi metrykami
Number of Releases to metryka, której się nie prezentuje - to metryka, przez którą prezentuje się wszystkie inne. Najcichszy bohater całej serii.

W następnym artykule

Pięć metryk za nami. Artykuł siódmy łączy je wszystkie w jeden wskaźnik decyzyjny - Release Confidence Score. Trzy modele obliczania, od prostego traffic light po model ważony, krok po kroku wdrożenie i przykłady z praktyki. To moment, w którym cała seria zaczyna działać jako system - pojedyncza liczba, która odpowiada na najważniejsze pytanie biznesu: czy możemy releasować?

Seria: Metryki QA, które biznes chce słyszeć
  • 01
    Diagnoza, trzy filary, pięć metryk, model mapowania QA → KPI
  • 02
    Formuła, progi, dane historyczne, sezonowość, pułapki
  • 03
    Taksonomia, zbieranie danych, koszt każdego typu, jak raportować
  • 04
    Issues per Release przeczytany
    Wdrożenie od zera, związek z procesem wytwórczym, rozmowa z EM
  • 05
    Wskazywanie problemów, nie tylko obserwowanie trendów
  • 06
    Number of Releases czytasz teraz
    Metryka kontekstowa, normalizacja, związek z Deployment Frequency
  • 07
    Release Confidence Score krok po kroku
    Trzy modele obliczania, wdrożenie, przykłady z praktyki
  • 08
    Storytelling z metrykami - jak budować narrację
    Jak zamienić tabelę liczb w argument biznesowy
  • 09
    3 antywzorce, które niszczą wiarygodność QA
    Za dużo metryk, brak kontekstu, żargon - i jak unikać