Wywiad kognitywny to metoda jakościowego testowania kwestionariusza, która pozwala sprawdzić, jak respondent rozumie pytania, przypomina sobie informacje i wybiera odpowiedzi. Ujawnia błędy niewidoczne w gotowych danych ankietowych, zanim narzędzie zostanie wykorzystane w badaniu właściwym.
Co to jest wywiad kognitywny?
Wywiad kognitywny jest ustrukturyzowaną rozmową z osobą należącą do grupy docelowej badania, prowadzoną w celu oceny działania pytań ankietowych. Nie służy przede wszystkim poznaniu opinii respondenta na temat badanego zjawiska. Jego celem jest ustalenie, czym jest dla respondenta dane pytanie, jak interpretuje użyte w nim pojęcia oraz w jaki sposób dochodzi do wskazania odpowiedzi.
Metoda wywodzi się z badań nad procesami poznawczymi zachodzącymi podczas wypełniania ankiety. Przyjmuje się, że udzielenie odpowiedzi wymaga przejścia przez kilka etapów: zrozumienia pytania, wydobycia z pamięci potrzebnych informacji, sformułowania osądu oraz dopasowania go do dostępnych kategorii odpowiedzi. Problem może pojawić się na każdym z tych etapów. Respondent może na przykład inaczej niż badacz rozumieć określenie „regularnie”, nie pamiętać zdarzeń z wymaganego okresu lub nie znaleźć odpowiedzi odpowiadającej jego sytuacji.
W praktyce wywiad kognitywny umożliwia wykrycie między innymi takich problemów jak:
- niejednoznaczne słownictwo, skróty branżowe i terminy niezrozumiałe dla części próby;
- pytania zawierające więcej niż jedno zagadnienie;
- zbyt długi lub nieprecyzyjny okres odniesienia;
- kategorie odpowiedzi, które się nakładają, nie wyczerpują możliwości lub sugerują odpowiedź;
- niejasne instrukcje, filtry i logikę przejść w ankiecie internetowej, telefonicznej lub realizowanej przez ankietera;
- pytania wywołujące dyskomfort, presję społeczną albo potrzebę przedstawienia siebie w korzystnym świetle.
Testowanie kwestionariusza z wykorzystaniem tej metody nie polega na pytaniu wyłącznie: „Czy pytanie jest zrozumiałe?”. Respondenci często deklarują zrozumienie, mimo że interpretują pytanie inaczej niż zakładał autor narzędzia. Dlatego badacz prosi o opis sposobu myślenia, parafrazę pytania własnymi słowami lub wyjaśnienie, skąd pochodzi wskazana odpowiedź.
Zastosowanie wywiadu kognitywnego w praktyce
Wywiad kognitywny stosuje się przede wszystkim przed rozpoczęciem badania ilościowego, gdy koszt błędnie zaprojektowanego kwestionariusza jest wysoki. Jest szczególnie użyteczny w projektach, w których wyniki mają wspierać decyzje dotyczące oferty, marki, obsługi klienta, komunikacji lub segmentacji odbiorców.
W badaniach B2C metoda pomaga zweryfikować na przykład ankiety dotyczące zwyczajów zakupowych, korzystania z usług cyfrowych, doświadczeń klienta czy postrzegania marki. W branży FMCG może ujawnić, że konsumenci odmiennie rozumieją „częstotliwość zakupu” niż „częstotliwość używania produktu”. W badaniach finansowych warto dzięki niej sprawdzić, czy pojęcia takie jak „produkt inwestycyjny”, „opłata dodatkowa” lub „aktywny klient” są interpretowane jednolicie.
W projektach B2B wywiad kognitywny ma znaczenie zwłaszcza wtedy, gdy kwestionariusz zawiera specjalistyczną terminologię, pytania o procesy zakupowe albo dane firmowe. Osoba odpowiadająca może znać obszar operacyjny, lecz nie mieć dostępu do informacji finansowych lub nie rozumieć wskaźników używanych przez zleceniodawcę. Test pozwala ustalić, czy właściwy respondent został wskazany oraz czy jest w stanie udzielić wiarygodnej odpowiedzi.
Metoda znajduje zastosowanie także przy:
- adaptacji zagranicznego kwestionariusza do języka i realiów polskiego rynku;
- projektowaniu badań satysfakcji i doświadczeń klientów;
- testowaniu ankiet trackingowych, w których porównywalność pomiarów w czasie ma kluczowe znaczenie;
- badaniach pracowników, w tym ankietach zaangażowania i kultury organizacyjnej;
- tworzeniu formularzy samoobsługowych, badań po kontakcie z infolinią oraz ankiet osadzonych w serwisach internetowych.
W Hume’s Institute wywiad kognitywny może stanowić etap przygotowawczy badań ilościowych lub mixed-methods. W takim układzie wnioski z rozmów służą do korekty narzędzia przed realizacją na większej próbie, a nie do szacowania skali badanego zjawiska.
Wywiad kognitywny a powiązane metody
Wywiad kognitywny bywa mylony z pilotażem ankiety, indywidualnym wywiadem pogłębionym oraz testem użyteczności. Metody te mogą się uzupełniać, ale odpowiadają na różne pytania badawcze.
Pilotaż sprawdza funkcjonowanie całego procesu badawczego w warunkach zbliżonych do realizacji właściwej. Może ujawnić problemy techniczne, długość ankiety, działanie losowania lub współczynnik ukończeń. Nie zawsze jednak wyjaśnia, dlaczego respondent wybrał konkretną odpowiedź. Wywiad kognitywny koncentruje się właśnie na tym mechanizmie interpretacji i odpowiedzi.
Indywidualny wywiad pogłębiony służy głównie eksploracji potrzeb, motywacji, postaw i języka odbiorców. Może dostarczyć materiału do stworzenia kwestionariusza. Wywiad kognitywny zaczyna się natomiast od istniejących pytań i sprawdza ich jakość pomiarową. Granica bywa płynna, ponieważ w obu metodach stosuje się rozmowę moderowaną, lecz różni je cel oraz sposób analizy.
Test użyteczności ocenia, czy użytkownik potrafi obsłużyć formularz lub interfejs: znaleźć przycisk, przejść do kolejnego ekranu czy poprawić błąd. Testowanie kwestionariusza metodą kognitywną może obejmować elementy użyteczności, zwłaszcza w ankietach CAWI, ale przede wszystkim bada znaczenie pytań i proces dochodzenia do odpowiedzi.
Wywiad kognitywny może być również łączony z analizą danych z pilotażu, obserwacją procesu wypełniania ankiety oraz analizą otwartych komentarzy respondentów. Takie zestawienie pozwala odróżnić problem wynikający z treści pytania od trudności technicznych lub niewłaściwej konstrukcji formularza.
Jak przeprowadzić wywiad kognitywny przed badaniem?
Odpowiedź na pytanie, jak przeprowadzić wywiad kognitywny przed badaniem, wymaga zaplanowania zarówno doboru respondentów, jak i sposobu testowania konkretnych elementów ankiety. Rozmowy powinny obejmować osoby możliwie podobne do przyszłych uczestników badania, w tym użytkowników o różnym poziomie wiedzy, doświadczenia i zaangażowania w kategorię.
Proces zwykle rozpoczyna się od wskazania pytań o podwyższonym ryzyku błędu. Są to zwłaszcza pytania nowe, złożone, wrażliwe, zawierające definicje lub wymagające przypominania informacji z dłuższego okresu. Następnie przygotowuje się scenariusz zawierający pytania diagnostyczne, nazywane probingiem, oraz instrukcje do techniki głośnego myślenia.
W technice głośnego myślenia respondent mówi na bieżąco, co rozważa podczas udzielania odpowiedzi. Probing polega na zadawaniu dodatkowych pytań po odpowiedzi, na przykład:
- „Jak rozumie Pan/Pani to pytanie?”
- „Co oznacza dla Pana/Pani określenie użyte w tym pytaniu?”
- „Jakie informacje wziął/wzięła Pan/Pani pod uwagę?”
- „Czy dostępne odpowiedzi obejmują Pana/Pani sytuację?”
- „Czy trudno było przypomnieć sobie tę informację? Z czego wynikała trudność?”
Po realizacji rozmów analizuje się nie tylko deklaracje respondentów, lecz także powtarzające się wzorce interpretacji, zawahania, prośby o wyjaśnienie i różnice między grupami. Na tej podstawie można uprościć język, doprecyzować definicje, zmienić okres odniesienia, rozdzielić pytanie na dwa lub przebudować skalę odpowiedzi. Po istotnych zmianach testowanie kwestionariusza warto powtórzyć, aby potwierdzić, że korekta rozwiązała problem, a nie stworzyła nowego.