Twój model prognostyczny pokazuje MAPE na poziomie 8% i wygląda to imponująco – dopóki nie okazuje się, że w kluczowej kategorii produktowej pomyłki sięgają kilkudziesięciu procent, tylko rozmywają się w uśrednieniu. Ocena trafności prognozy przez MAPE bywa myląca, jeśli traktuje się ją jako jedyną liczbę raportu. Ten artykuł wyjaśnia, co poszczególne miary błędu prognozy naprawdę mierzą i jak zestawiać je tak, żeby ocena dokładności prognozy była uczciwa, a nie kosmetyczna.
Co naprawdę mówi trafność prognozy mierzona przez MAPE?
MAPE (Mean Absolute Percentage Error) to średni bezwzględny błąd procentowy – suma odchyleń prognozy od wartości rzeczywistej wyrażonych w procentach, uśredniona po wszystkich okresach. Jego popularność wynika z prostoty interpretacji: wynik podaje się w procentach, więc menedżer bez zaplecza statystycznego rozumie, że „mylimy się średnio o tyle procent”. To zaleta komunikacyjna, ale też źródło większości nieporozumień wokół trafności prognozy MAPE.
Problem w tym, że MAPE nie jest miarą neutralną. Dzieli błąd bezwzględny przez wartość rzeczywistą, więc każdy okres o niskim wolumenie waży w wyniku nieproporcjonalnie dużo. Pomyłka o kilka sztuk przy sprzedaży rzędu kilkunastu jednostek generuje ogromny błąd procentowy, podczas gdy identyczne odchylenie przy dużym wolumenie ledwie zauważalnie ruszy wskaźnik. W praktyce oznacza to, że MAPE karze model za nietrafność tam, gdzie stawka biznesowa jest najmniejsza, a nagradza za pozorną precyzję tam, gdzie liczby są duże.
Druga pułapka to asymetria. MAPE inaczej traktuje zawyżenie prognozy niż zaniżenie. Ponieważ mianownikiem jest wartość rzeczywista, prognozy zawyżone mogą teoretycznie generować błąd procentowy nieograniczony w górę, podczas gdy zaniżenie, przy nieujemnych prognozach, jest matematycznie ograniczone do 100%. Model, który konsekwentnie prognozuje zaniżająco, może wypaść w MAPE lepiej niż model odważny, nawet jeśli oba mylą się podobnie co do wartości bezwzględnej. To nie jest niuans – to systematyczne przekłamanie oceny.
Trzecia kwestia: MAPE w ogóle nie działa, gdy w danych pojawiają się zera. Dzielenie przez zero jest niezdefiniowane, więc każdy okres bez sprzedaży – typowy dla produktów sezonowych, nowości czy pozycji o rzadkim popycie – trzeba albo wykluczyć, albo obejść sztuczkami, które zniekształcają wynik. Dlatego trafność prognozy oceniana wyłącznie przez MAPE bywa bezużyteczna dokładnie tam, gdzie prognozowanie jest najtrudniejsze.
Jak zestawiać MAPE, WAPE i RMSE, żeby ocena dokładności prognozy była uczciwa?
Żadna pojedyncza miara nie opisuje trafności prognozy w pełni, bo każda odpowiada na inne pytanie. Sensowna ocena dokładności prognozy polega na czytaniu kilku wskaźników równolegle i wnioskowaniu z różnic między nimi. Poniżej trzy miary, które w połączeniu dają obraz tego, gdzie model naprawdę się myli:
- MAPE – odpowiada na pytanie „o ile procent mylimy się średnio”, ale waży okresy odwrotnie do ich wolumenu i psuje się przy zerach. Dobra do komunikacji, ryzykowna jako jedyne kryterium.
- WAPE (Weighted Absolute Percentage Error, nazywany też MAD/Mean) – sumuje błędy bezwzględne i dzieli je przez sumę wartości rzeczywistych. Dzięki temu waży błędy proporcjonalnie do wolumenu, radzi sobie z pojedynczymi zerami, o ile suma wartości rzeczywistych w analizowanym zbiorze nie jest zerowa, i lepiej oddaje błąd prognozy popytu w kategoriach o zróżnicowanym wolumenie.
- RMSE (Root Mean Squared Error) – pierwiastek ze średniej kwadratów błędów, wyrażony w jednostkach oryginalnych, nie w procentach. Podnoszenie do kwadratu sprawia, że RMSE mocno reaguje na duże, pojedyncze pomyłki. To miara wrażliwa na wartości odstające.
Największa wartość diagnostyczna leży w porównaniu tych liczb. Kiedy MAPE jest wysokie, a WAPE niskie, sygnał jest jasny: model myli się głównie na pozycjach o małym wolumenie, a duże pozycje prognozuje trafnie. Odwrotna relacja oznacza, że problem może dotyczyć kluczowych, wysokoobrotowych produktów. Z kolei rozjazd między miarami liniowymi a RMSE wskazuje na obecność rzadkich, ale bardzo dużych pomyłek – RMSE rośnie znacznie szybciej niż miary liniowe, gdy w danych siedzi kilka spektakularnych chybień.
Jak podkreślają eksperci Hume’s Institute, pojedyncza liczba błędu nigdy nie mówi, czy prognoza jest dobra – dopiero zestawienie kilku miar pokazuje, gdzie model naprawdę się myli i czy jego pomyłki mają charakter systematyczny, czy losowy. Raport z jedną wartością MAPE to raport, który ukrywa więcej, niż ujawnia.
Do tego zestawu warto dołożyć jeszcze jedną miarę, która nie dotyczy wielkości błędu, lecz jego kierunku. Bias, czyli błąd średni ze znakiem, pokazuje, czy model systematycznie zawyża albo zaniża prognozę. Miary bezwzględne, takie jak MAPE czy WAPE, gubią tę informację, bo traktują odchylenie w górę i w dół tak samo. Tymczasem systematyczne zaniżanie prognozy popytu prowadzi do innych konsekwencji operacyjnych niż systematyczne zawyżanie, a żadna miara błędu bezwzględnego tego nie wychwyci.
W praktyce układ MAPE plus WAPE plus RMSE plus bias tworzy zestaw, który odpowiada na cztery różne pytania: jak duży jest błąd względny, jak duży jest błąd ważony wolumenem, czy występują ekstremalne chybienia i czy model ma tendencję w jedną stronę. Analiza tych czterech wymiarów naraz zamienia ocenę dokładności prognozy z rytuału raportowego w narzędzie diagnostyczne.
Kiedy miary błędu prognozy prowadzą na manowce?
Najczęstszy błąd metodologiczny to porównywanie MAPE między różnymi zbiorami danych bez zastanowienia. MAPE dwóch modeli najbezpieczniej zestawiać wtedy, gdy prognozują ten sam szereg albo szeregi o podobnej strukturze wolumenów i zmienności. Porównywanie trafności prognozy MAPE dla produktu wysokoobrotowego z produktem niszowym bywa mylące – niższa liczba przy dużym wolumenie nie musi oznaczać lepszego modelu, może oznaczać łatwiejsze zadanie.
Druga pułapka to agregacja. Uśredniony MAPE na poziomie całego portfela potrafi wyglądać zdrowo, gdy w rzeczywistości maskuje dramatyczne rozjazdy w poszczególnych segmentach. W projektach Hume’s Institute obserwuje się, że dopiero rozbicie miar błędu prognozy na poziomie kategorii, kanału czy regionu ujawnia, gdzie faktycznie leży problem – zbiorczy wskaźnik często wygląda lepiej niż jego składowe. Ocena dokładności prognozy powinna zaczynać się od dezagregacji, nie od jednej liczby na slajdzie.
Trzecie ryzyko to ignorowanie punktu odniesienia. Sam MAPE na poziomie kilkunastu procent nie mówi nic, dopóki nie wiadomo, jaki błąd generuje model naiwny – na przykład prognoza zakładająca, że jutro będzie tak jak wczoraj, albo powtarzająca wartość sprzed roku. Jeśli zaawansowany model nie bije prostego benchmarku, jego niski błąd bezwzględny jest bez znaczenia. Miary względne, porównujące błąd modelu z błędem prognozy naiwnej, chronią przed samozadowoleniem opartym na ładnie wyglądającej liczbie.
Warto też pamiętać o horyzoncie prognozy. Błąd prognozy popytu na najbliższy tydzień i na kwartał do przodu to dwie różne rzeczy, a mieszanie ich w jednym wskaźniku zaciera obraz. Trafność prognozy zwykle spada wraz z wydłużaniem horyzontu, więc miary błędu powinny być raportowane osobno dla każdego przedziału czasowego, który ma znaczenie decyzyjne.
Jak dobrać miarę błędu do konkretnego zadania?
Wybór miary powinien wynikać z charakteru danych i celu prognozy, nie z przyzwyczajenia. Poniżej praktyczne kryteria, które porządkują decyzję:
- Gdy wolumeny są zróżnicowane, a w danych występują zera – postaw na WAPE zamiast MAPE. Waży błędy proporcjonalnie i nie psuje się na pojedynczych pozycjach zerowych, o ile suma wartości rzeczywistych w analizowanym zbiorze nie jest zerowa, co czyni ją lepszą do oceny błędu prognozy popytu w szerokim portfelu.
- Gdy koszt dużej pojedynczej pomyłki jest wysoki – dołóż RMSE. Jej wrażliwość na wartości odstające jest zaletą wszędzie tam, gdzie jedno duże chybienie boli bardziej niż wiele drobnych.
- Gdy raport trafia do odbiorcy nietechnicznego – MAPE bywa użyteczna komunikacyjnie, ale nigdy jako jedyna liczba. Podawaj ją zawsze obok WAPE i z komentarzem o strukturze błędu.
- Gdy istotny jest kierunek pomyłki – raportuj bias. To jedyna z tych miar, która pokaże systematyczną tendencję modelu do zawyżania lub zaniżania.
- Zawsze – zestaw wynik z benchmarkiem naiwnym. Bez punktu odniesienia żadna liczba nie mówi, czy model jest dobry, czy tylko wygląda przyzwoicie.
W ocenie modeli prognostycznych stosowanych w badaniach rynku ta sama logika obowiązuje niezależnie od tego, czy prognozuje się sprzedaż, wolumen zapytań czy udziały. Zestaw kilku miar błędu prognozy, dezagregacja wyników i porównanie z benchmarkiem to warsztatowe minimum, które oddziela uczciwą ocenę dokładności prognozy od raportu dopasowanego pod korzystnie brzmiącą liczbę.
Najczęściej zadawane pytania
Co to jest MAPE?
MAPE (Mean Absolute Percentage Error) to średni bezwzględny błąd procentowy – miara pokazująca, o ile procent średnio prognoza odbiega od wartości rzeczywistej. Liczy się ją jako uśrednione odchylenia bezwzględne wyrażone w procentach wartości rzeczywistej. Jest ceniona za łatwość interpretacji, ale wrażliwa na niskie wolumeny i niezdefiniowana przy wartościach zerowych.
Kiedy MAPE myli przy niskich wolumenach?
MAPE dzieli błąd bezwzględny przez wartość rzeczywistą, więc przy niskich wolumenach nawet drobna pomyłka co do liczby sztuk daje ogromny błąd procentowy. W efekcie okresy o małej sprzedaży dominują w wyniku, mimo że ich znaczenie biznesowe jest niewielkie. Przy szeregach zawierających zera MAPE w ogóle nie działa – w takich sytuacjach lepiej sprawdza się WAPE, o ile suma wartości rzeczywistych w analizowanym zbiorze nie jest zerowa.
Jaką miarę błędu wybrać do prognozy popytu?
Do prognozy popytu o zróżnicowanych wolumenach często sprawdza się WAPE, bo waży błędy proporcjonalnie do wielkości sprzedaży i radzi sobie z pojedynczymi zerami, o ile suma wartości rzeczywistych nie jest zerowa. Warto ją uzupełnić o RMSE, jeśli duże pojedyncze pomyłki są kosztowne, oraz o bias, by wychwycić systematyczne zawyżanie lub zaniżanie. Żadnej z tych miar nie należy czytać w oderwaniu od benchmarku naiwnego.
Zapytaj o ocenę trafności prognoz dla Twojej firmy
Jeśli chcesz sprawdzić, czy Twoje modele prognostyczne mylą się tam, gdzie to naprawdę kosztuje, eksperci Hume’s Institute pomogą dobrać właściwy zestaw miar błędu i przeprowadzić rzetelną ocenę dokładności prognozy. Skontaktuj się z Instytutem Hume’a, aby omówić zakres analizy.
