Niska liczba zwróconych ankiet może wynikać z błędnie zdefiniowanej próby, problemu z kontaktem albo nieadekwatnego licznika w raporcie terenowym. Response rate pozwala uporządkować te sytuacje, ale tylko wtedy, gdy wskaźnik odpowiedzi jest liczony na jasno określonej populacji jednostek kwalifikujących się do badania i interpretowany razem z obciążeniem nieodpowiedzi.
Jak poprawnie liczyć response rate w badaniu ankietowym?
Response rate, czyli wskaźnik odpowiedzi, informuje, jaka część jednostek objętych próbą i kwalifikujących się do badania faktycznie udzieliła odpowiedzi. W praktyce nie wystarczy jednak podzielić liczby wypełnionych ankiet przez liczbę wysłanych wiadomości. Taki skrót może prowadzić do błędnych wniosków, ponieważ w bazie kontaktów często znajdują się rekordy nieaktywne, duplikaty, adresy nieistniejące, osoby niespełniające kryteriów badania albo zaproszenia, które nie mogły zostać dostarczone.
Najprostszy wzór ma postać: liczba pełnych, użytecznych wywiadów podzielona przez liczbę jednostek kwalifikujących się do badania, a następnie pomnożona przez sto. Kluczowe znaczenie ma tu pojęcie „kwalifikujących się”. Jeżeli badanie ankietowe dotyczy osób, które w określonym czasie korzystały z danej usługi, do mianownika nie powinny trafiać kontakty należące do osób, które nigdy nie spełniały tego warunku. W praktyce należy też z góry określić sposób postępowania z przypadkami o nieznanej kwalifikacji, na przykład niedostarczonymi zaproszeniami, gdy nie da się potwierdzić, czy należały do populacji badania.
W projektach badawczych warto od początku rozdzielić statusy rekordów. Pozwala to nie tylko obliczyć response rate, lecz także ustalić, na którym etapie procesu pojawia się problem. Statusy powinny odróżniać przypadki zakończone od tych, które nie mogły zostać zrealizowane z przyczyn technicznych lub metodologicznych:
- pełna odpowiedź – respondent ukończył ankietę i jego dane spełniają kryteria jakościowe przyjęte w projekcie;
- częściowa odpowiedź – ankieta została rozpoczęta, lecz przerwana przed punktem uznanym za wystarczający do analizy;
- odmowa – osoba otrzymała możliwość udziału, ale świadomie nie wzięła udziału;
- brak kontaktu – nie udało się nawiązać kontaktu lub nie uzyskano reakcji; samo nieotwarcie wiadomości nie zawsze pozwala jednoznacznie rozpoznać taki przypadek;
- brak kwalifikacji – kontakt został nawiązany, lecz osoba nie spełniała kryteriów rekrutacyjnych;
- przypadek niekwalifikujący się do kontaktu – rekord dotyczył jednostki spoza populacji badania albo kontakt był trwale błędny; duplikaty należy identyfikować i usuwać zgodnie z przyjętą procedurą.
W badaniu CAWI rozróżnienie tych kategorii jest szczególnie ważne. Liczba wiadomości wysłanych przez system mailingowy nie musi odpowiadać liczbie osób, które miały realną możliwość odpowiedzi. Wiadomości mogą odbić się od serwera, trafić do folderu ze spamem, zostać wysłane na nieaktywny adres albo dotrzeć do skrzynki współdzielonej przez kilka osób. Dlatego raport z realizacji powinien pokazywać zarówno liczbę wysyłek, jak i liczbę dostarczonych zaproszeń, rozpoczęć oraz ukończeń ankiety. Dane o otwarciach warto interpretować ostrożnie, ponieważ mogą być niepełne z powodu blokowania mechanizmów śledzących przez programy pocztowe.
Warto również oddzielić response rate od odsetka ukończeń. Odsetek ukończeń odpowiada na pytanie, ilu respondentów, którzy zaczęli formularz, dotarło do końca. Response rate opisuje natomiast relację ukończonych wywiadów do kwalifikującej się próby. Można więc mieć wysoki odsetek ukończeń i niski wskaźnik odpowiedzi, gdy formularz jest kończony przez większość osób, które go rozpoczęły, ale samo zaproszenie przyciąga niewiele osób.
Definicja zastosowana w raporcie powinna być zapisana wprost. Dzięki temu odbiorca wyników wie, czy w mianowniku uwzględniono wszystkie jednostki wylosowane do próby, wyłącznie potwierdzone przypadki kwalifikujące się czy także przypadki o nieznanej kwalifikacji. Liczbę wysłanych lub dostarczonych wiadomości można raportować jako odrębne wskaźniki operacyjne, ale nie należy ich automatycznie utożsamiać z response rate. Bez tej informacji porównywanie response rate pomiędzy falami badania, segmentami próby albo różnymi kanałami rekrutacji może być pozorne.
Jak diagnozować niski wskaźnik odpowiedzi i ograniczać obciążenie nieodpowiedzi?
Niski response rate sam w sobie nie wskazuje jeszcze jednej przyczyny. Może wynikać z jakości bazy kontaktów, sposobu zaproszenia, terminu realizacji, długości ankiety, zbyt szerokiego doboru odbiorców albo z barier technicznych. Dlatego analiza powinna zaczynać się nie od ogólnego pytania „dlaczego ludzie nie odpowiadają?”, lecz od przeglądu lejka realizacji i statusów rekordów.
Najpierw należy sprawdzić, jaki odsetek zaproszeń został dostarczony. Jeżeli problem pojawia się już na tym etapie, nie dotyczy on zachowania respondentów, lecz stanu danych kontaktowych lub konfiguracji wysyłki. Następnie analizuje się otwarcia, z zachowaniem ostrożności w ich interpretacji, oraz przejścia do ankiety. Niski udział wejść do formularza może oznaczać, że temat wiadomości, nadawca albo treść zaproszenia nie pozwalają odbiorcy szybko rozpoznać celu kontaktu. Kolejny etap to rozpoczęcie i ukończenie ankiety. Spadek między tymi punktami wymaga przeglądu konstrukcji kwestionariusza, logiki filtrów, komunikatów technicznych oraz urządzeń używanych przez respondentów.
W badaniu CAWI warto kontrolować, czy formularz działa poprawnie na urządzeniach mobilnych. Nie chodzi jedynie o estetykę widoku. Pytania z długimi listami odpowiedzi, niewidoczne przyciski przejścia dalej, obowiązkowe pola bez komunikatu o błędzie lub zbyt skomplikowane macierze mogą zwiększać liczbę przerwanych ankiet. Tego rodzaju problemy wpływają przede wszystkim na odsetek ukończeń i mogą pośrednio obniżać końcowy response rate.
Ważniejszy od samego poziomu response rate jest fakt, czy osoby, które nie odpowiedziały, różnią się od tych, które odpowiedziały pod względem cech istotnych dla badanych wyników. To właśnie taka różnica może tworzyć obciążenie nieodpowiedzi. Jeżeli nieuczestniczenie w badaniu nie jest systematycznie związane z badanymi cechami, niższy wskaźnik odpowiedzi nie musi automatycznie zniekształcać estymacji. Jeżeli jednak określone grupy systematycznie częściej ignorują zaproszenie, uzyskana próba może nie odzwierciedlać struktury populacji.
Ocena obciążenia nieodpowiedzi wymaga danych pomocniczych. Mogą to być znane cechy z bazy klientów, rejestru uczestników, historii kontaktów lub danych operacyjnych dostępnych przed rozpoczęciem ankiety. Przykładowo można porównać strukturę osób, które odpowiedziały, ze strukturą całej zaproszonej populacji według segmentu klienta, kanału kontaktu, stażu relacji, regionu lub innych legalnie i metodologicznie uzasadnionych zmiennych.
Przydatna jest także analiza odpowiedzi po kolejnych przypomnieniach. Osoby odpowiadające dopiero po ponownym kontakcie bywają bardziej podobne do nieodpowiadających niż respondenci reagujący natychmiast. Nie jest to dowód sam w sobie, ale może sygnalizować, że kolejne próby kontaktu zmieniają skład zrealizowanej próby. W raporcie warto więc przedstawiać nie tylko łączny odsetek realizacji, ale również strukturę odpowiedzi według momentu udziału.
Działania ograniczające niską zwrotność powinny wynikać z diagnozy. Przed uruchomieniem badania należy przede wszystkim zadbać o jednoznaczne kryteria kwalifikacji, aktualność kontaktów oraz zrozumiałe zaproszenie. Odbiorca powinien otrzymać informację, kto prowadzi badanie, czego ono dotyczy, ile czasu wymaga i jak będą wykorzystywane dane. W przypadku relacji B2B ważne jest również, aby zaproszenie trafiało do osoby posiadającej wiedzę potrzebną do udzielenia odpowiedzi.
W trakcie fieldworku należy monitorować wyniki według segmentów, kanałów oraz fal kontaktu. Taka kontrola pozwala odróżnić sytuację, w której response rate jest równomiernie niski, od sytuacji, w której zanika udział konkretnej grupy. W drugim przypadku zagrożeniem nie jest jedynie liczba ankiet, ale nierówny skład próby. W zależności od dostępnych danych pomocniczych można wtedy zastosować dodatkowy kontakt z niedoreprezentowaną grupą, zmienić kanał dotarcia albo uwzględnić korektę wagową na etapie analizy.
Ważne jest, aby przypomnienia były zaplanowane w protokole realizacji. Należy określić, do kogo są kierowane, po jakim czasie, ile kontaktów jest dopuszczalnych oraz jak będzie raportowany ich efekt. Dzięki temu zwiększanie odsetka odpowiedzi nie odbywa się przypadkowo, a każda decyzja pozostaje możliwa do odtworzenia i oceny metodologicznej.
Co najczęściej zniekształca interpretację response rate?
Najczęstszym błędem jest traktowanie response rate jako uniwersalnej miary jakości badania. Wskaźnik odpowiedzi jest ważnym parametrem realizacji, ale nie opisuje samodzielnie reprezentatywności, trafności pytań ani jakości danych. Wynik ankiety może być obciążony także wtedy, gdy response rate jest relatywnie wysoki, na przykład przez błąd pokrycia, nieprecyzyjne pytania, nieprawidłowe filtrowanie respondentów albo błędne ważenie danych.
Drugą pułapką jest porównywanie wskaźników policzonych różnymi metodami. Jeden wykonawca może liczyć w mianowniku wszystkie jednostki wylosowane do próby, drugi tylko potwierdzone przypadki kwalifikujące się, a trzeci stosować regułę szacowania kwalifikacji przypadków o nieznanym statusie. Każdy z tych wskaźników może być przydatny, ale odpowiada na inne pytanie. Liczbę rekordów w bazie czy dostarczonych wiadomości należy traktować jako odrębne wskaźniki operacyjne. Bez definicji licznika i mianownika porównanie odsetka realizacji między projektami nie ma wartości analitycznej.
Błędem jest także włączanie do ostatecznej liczby odpowiedzi wszystkich rozpoczętych ankiet. Częściowe wywiady można czasem wykorzystać, jeśli respondent wypełnił kluczowe bloki pytań i zasady analizy zostały ustalone wcześniej. Nie powinno się jednak poprawiać response rate przez automatyczne uznawanie każdej rozpoczętej ankiety za pełną realizację. Taka praktyka zaciera różnicę między kontaktem, udziałem i dostarczeniem kompletnych danych.
Warto uważać na interpretację wysokiego odsetka otwarć wiadomości. Otwarcie nie oznacza przeczytania zaproszenia, przejście do formularza nie oznacza rozpoczęcia ankiety, a rozpoczęcie nie oznacza odpowiedzi użytecznej analitycznie. Dodatkowo pomiar otwarć może być niepełny lub zniekształcony przez ustawienia programów pocztowych. Każdy etap lejka mierzy inne zachowanie. Dopiero zestawienie tych etapów pokazuje, czy niska zwrotność wynika z dostarczalności, reakcji na zaproszenie czy rezygnacji w trakcie formularza.
Kolejne ograniczenie dotyczy wag analitycznych. Ważenie może zmniejszać obciążenie nieodpowiedzi, gdy dostępne są wiarygodne dane o strukturze populacji i odpowiednie zmienne pomocnicze. Nie jest jednak automatycznym rozwiązaniem każdego problemu. Jeśli osoby nieodpowiadające różnią się od respondentów pod względem cech, których nie ma w danych pomocniczych, korekta wagowa nie usunie w pełni ryzyka błędu.
Nie należy też ukrywać przypadków wykluczonych z analizy jakościowej. W badaniu ankietowym mogą wystąpić odpowiedzi zbyt szybkie, sprzeczne, duplikowane albo wskazujące na brak zaangażowania. Raport powinien pokazywać, ile wywiadów uznano za pełne, ile odrzucono po kontroli jakości i jak ta decyzja wpłynęła na końcowy response rate. Transparentność procedury jest ważniejsza niż prezentowanie jednego wskaźnika bez kontekstu.
Jak przygotować kontrolę response rate przed rozpoczęciem realizacji?
Kontrola wskaźnika odpowiedzi powinna być elementem projektu badawczego, a nie działaniem wykonywanym dopiero po zamknięciu ankiety. Już na etapie przygotowania należy opisać populację badania, źródło próby, jednostkę analizy oraz zasady kwalifikacji. Inaczej liczy się response rate dla indywidualnych konsumentów, inaczej dla kontaktów firmowych, a jeszcze inaczej dla ankiety kierowanej do użytkowników konkretnej usługi.
Dobrym rozwiązaniem jest przygotowanie tabeli statusów przed startem fieldworku. Tabela powinna wskazywać, które statusy wchodzą do licznika, które do mianownika oraz które są wyłączane jako przypadki niekwalifikujące się. Należy w niej również opisać postępowanie z przypadkami o nieznanej kwalifikacji. Dzięki temu zespół realizacyjny, analityczny i osoba odbierająca wyniki stosują tę samą definicję.
Przed uruchomieniem badania warto uzgodnić następujące elementy kontroli:
- definicję pełnej i częściowej odpowiedzi oraz minimalny zakres danych wymagany do analizy;
- zasady identyfikowania duplikatów, błędnych kontaktów i osób niespełniających kryteriów;
- sposób raportowania dostarczalności, wejść do ankiety, rozpoczęć, ukończeń i odrzuceń jakościowych;
- częstotliwość monitorowania response rate w trakcie realizacji;
- zmienne pomocnicze, które umożliwią ocenę obciążenia nieodpowiedzi;
- reguły przypomnień, dodatkowych prób kontaktu i dokumentowania zmian w procesie.
Przygotowany w ten sposób monitoring pozwala rozdzielić dwa zagadnienia: efektywność realizacji oraz jakość uzyskanej próby. Pierwsze mówi, czy badanie ankietowe dociera do zaproszonych osób i czy formularz jest kończony. Drugie odpowiada na pytanie, czy respondenci są podobni do populacji, o której mają mówić wyniki. Response rate jest istotnym wskaźnikiem realizacji i może być sygnałem do analizy jakości próby, ale nie zastępuje oceny obciążenia nieodpowiedzi.
Najczęściej zadawane pytania
Jak obliczyć response rate w badaniu ankietowym?
Response rate oblicza się jako iloraz liczby pełnych, zaakceptowanych wywiadów i liczby jednostek kwalifikujących się do badania, pomnożony przez sto. Trzeba wcześniej ustalić sposób uwzględniania przypadków o nieznanej kwalifikacji. Liczbę wysłanych lub dostarczonych zaproszeń warto raportować osobno jako wskaźnik operacyjny. Definicję należy zapisać w raporcie metodologicznym.
Czy niski response rate oznacza, że wyniki są niewiarygodne?
Niski response rate nie przesądza automatycznie o niewiarygodności wyników. Kluczowe jest to, czy nieodpowiadający różnią się systematycznie od respondentów pod względem cech związanych z badanym zagadnieniem. Ocena wymaga analizy obciążenia nieodpowiedzi oraz, jeśli to możliwe, porównania próby z danymi o populacji.
Jak zwiększyć odsetek odpowiedzi w ankiecie?
Należy najpierw ustalić, na którym etapie lejka spada udział respondentów: przy dostarczaniu zaproszeń, przejściu do formularza, rozpoczęciu czy ukończeniu ankiety. Następnie można poprawić jakość kontaktów, jasność komunikatu, działanie formularza i sposób przypomnień. Każdą zmianę warto dokumentować, aby ocenić jej wpływ na response rate i skład próby.
Zapytaj o realizację badania ankietowego z kontrolą jakości próby
Hume’s Institute pomaga zaplanować badanie ankietowe, monitorować response rate oraz ocenić ryzyko obciążenia nieodpowiedzi na podstawie transparentnych zasad realizacji i analizy danych.
