WWW.ABSTRACT.XLIBX.INFO
FREE ELECTRONIC LIBRARY - Abstract, dissertation, book
 
<< HOME
CONTACTS



Pages:   || 2 | 3 | 4 |

«Zusammenfassung In der Umfrageforschung sind kognitive Interviews ein effektives Werkzeug, um potentielle Probleme bei Survey-Fragen zu ...»

-- [ Page 1 ] --

Kognitive Interviews

Peter Prüfer & Margrit Rexroth

Zentrum für Umfragen, Methoden und Analysen, Mannheim

Zusammenfassung

In der Umfrageforschung sind kognitive Interviews ein effektives Werkzeug,

um potentielle Probleme bei Survey-Fragen zu identifizieren. In diesem

Beitrag werden die wichtigsten kognitiven Techniken vorgestellt und

Empfehlungen für die Durchführung kognitiver Interviews gegeben.

ZUMA How-to-Reihe, Nr. 15

Inhaltsverzeichnis

Seite

1. Was sind kognitive Interviews?

2. Was soll getestet werden?

3. Die wichtigsten kognitiven Techniken

3.1 Nachfragen

Nachfragen zum Verständnis

Nachfragen zur Wahl der Antwortkategorie/des Skalenwertes

Nachfragen zum Besitz relevanter Informationen

Nachfragen zur Informationsbeschaffung/-gewinnung

Unspezifische Nachfragen

3.2 Technik zur Bewertung der Verlässlichkeit einer Antwort

3.3 Paraphrasieren

3.4 Sortiertechnik

3.5 Technik des lauten Denkens

4. Empfehlungen zur Durchführung kognitiver Interviews

5. Wie wertet man kognitive Interviews aus?

6. Finanzieller und zeitlicher Aufwand

Literatur

Beispiel für ein Auflistungsschema zur Auswertung einer Frage über alle Interviews........... 21 1. Was sind kognitive Interviews?

Kognitive Interviews führt man in der Entwicklungsphase eines Fragebogens durch, um Einblick in die kognitiven Prozesse zu bekommen, die beim Beantworten von Fragen ablaufen. Speziell ist dabei von Interesse, wie Befragte

• Fragen oder Begriffe interpretieren und verstehen,

• Informationen und Ereignisse aus dem Gedächtnis abrufen,

• Entscheidungen darüber treffen, wie sie antworten,

• ihre „intern“ ermittelte Antwort formalen Antwortkategorien zuordnen.

Das eigentliche Ziel dabei besteht darin, durch diese Informationen Hinweise auf unterschiedlichste Frage-Probleme zu erhalten.

Wie kann man nun Informationen über die genannten Aspekte erhalten?

Mit einem einfachen Beobachtungs-Pretest1, bei dem der Testfragebogen unter den Bedingungen der Hauptstudie2 erhoben wird und dabei lediglich die von den Testpersonen spontan geäußerten Bemerkungen registriert werden, ist dies nur in geringem Umfang und zudem nur sehr unsystematisch möglich, und zwar vor allem deshalb, weil Befragte Probleme bei der Beantwortung einer Frage von sich aus nur selten äußern. Dies ist häufig darauf zurückzuführen, dass Befragte in „Problem-Fällen“ eine Frage für sich selbst so modifizieren, dass sie sie leichter beantworten können.3 Zum Beispiel beantwortet ein Befragter die Frage „Wie oft haben Sie in den letzten vier Wochen in einem Supermarkt eingekauft?“ nur für die beiden letzten Wochen, an die er sich besonders gut erinnern kann, die ersten zwei Wochen berücksichtigt er bei seiner Antwort nicht.

Er verändert die Frage so, dass sie für ihn leichter zu beantworten ist.

Probleme dieser Art können also mit einer Vorgehensweise wie beim Beobachtungs-Pretest nicht zuverlässig aufgedeckt werden, sondern nur mit kognitiven Interviews, bei denen gezielt Nachfragen bzw. andere „aktive“ Techniken eingesetzt werden.

Kognitive Interviews zeichnen sich durch folgende Merkmale aus (Praktische Hinweise zur

Durchführung kognitiver Interviews werden in Kapitel 4, Seite 16 gegeben):

• Kognitive Interviews werden durchgeführt, um Informationen über Frage-Probleme zu erhalten.

• Zur Identifikation von Frage-Problemen werden in kognitiven Interviews sog. kognitive Techniken eingesetzt, z.B. Nachfragen oder die Technik des lauten Denkens (siehe Kapitel 3, Seite 5).

• Die Testprozedur läuft in einem kognitiven Interview normalerweise in zwei Schritten ab:

Im ersten Schritt wird der Testperson die zu testende Frage gestellt.

Nach deren Beantwortung stellt der Testleiter dann Nachfragen oder setzt andere kognitive Techniken ein. Eine Ausnahme bildet die Technik des lauten Denkens, die bereits vor der Beantwortung der zu testenden Frage einsetzt.

Siehe z.B. Prüfer, P./Rexroth, M., 1996 Der Fragebogen wird in der Form erhoben, wie er auch in der Hauptstudie zum Einsatz kommt. Die Testpersonen sind nicht über den Testcharakter des Interviews informiert.

Siehe dazu Belson, W.A., 1981

• Kognitive Interviews werden normalerweise persönlich-mündlich durchgeführt. Der Interviewer wird hier Testleiter4 genannt, die Interviewten werden - im Unterschied zu „echten“ Befragten - als Testpersonen bezeichnet.

• Mit kognitiven Interviews werden in erster Linie einzelne Fragen getestet; sie eignen sich nicht dazu, die Funktionsfähigkeit eines fertig gestellten Fragebogens zu überprüfen, z.B.

auf fehlerfreien Ablauf einer Filterführung oder bezüglich seiner Handhabbarkeit durch Interviewer.

2. Was soll getestet werden?

Wenn Fragen kognitiv überprüft werden sollen, gilt es zunächst zu klären, welche potentiellen Probleme bei jeder einzelnen Frage auftreten könnten.

Dabei sollte man unterscheiden zwischen „eher technischen“ Problemen, wie z.B. fehlende Anweisungen oder eine falsche Filterführung. Solche Probleme können leicht ohne empirische Überprüfung „am Schreibtisch“ gelöst werden und sind nicht Gegenstand der Überprüfung mittels kognitiver Interviews.





Probleme, die mit kognitiven Interviews aufgedeckt werden können, beziehen sich auf den Prozess, der bei der Beantwortung einer Frage modellhaft in vier Stufen abläuft5:. Die Stufen des

Antwortmodells können bei der Ermittlung möglicher Probleme dabei als Hilfe dienen:

1. Verständnis der Frage/von Begriffen

Frageinhalt:

Was meint der Befragte, was mit der Frage gefragt wird?

Bedeutung von Begriffen:

Wie versteht der Befragte bestimmte Begriffe bzw. Sätze?

2. Abruf relevanter Informationen bzw. Ereignisse aus dem Gedächtnis

Abrufbarkeit von Informationen:

Welche Arten von Informationen benötigt der Befragte?

Erinnerungsstrategien:

Welche Erinnerungsstrategie wird eingesetzt?

Versucht der Befragte z.B. zu schätzen oder sich ganz detailliert an Dinge zu erinnern?

Gibt es eventuelle Probleme mit der Erinnerungsfähigkeit bzw. dem Vorhandensein von notwendigen Informationen?

3. Entscheidungen darüber treffen, wie geantwortet wird

Motivation:

Gibt sich der Befragte Mühe bei der Beantwortung der Frage?

Soziale Erwünschtheit:

Sagt der Befragte die Wahrheit?

Versucht er, sich besser darzustellen?

Ist der Befragte willens, die Frage ehrlich zu beantworten?

4. Zuordnung der „intern“ ermittelten Antwort zu formalen Antwortkategorien Kann der Befragte seine „intern“ ermittelte Antwort den formalen Antwortkategorien zuordnen?

Zum Erkennen möglicher Probleme liefert dieses hier vorgestellte 4-Stufen-Modell nur grobe Anhaltspunkte. Eine konkrete Hilfestellung gibt ein System zur Bewertung der Fragenqualität (FBS) von Faulbaum, Prüfer und Rexroth (2009). In diesem System werden sehr detailliert und anhand vieler Beispiele aus der Umfragepraxis Hinweise auf mögliche Probleme beim Verständnis und bei der Beantwortung von Fragen gegeben.

Die männliche Form von „Interviewer“,„Testleiter“ und „Befragter“ wird in diesem Bericht lediglich der Einfachheit halber verwendet.

Siehe dazu ein Modell des Frage-Antwort-Prozesses von Tourangeau, 1984

3. Die wichtigsten kognitiven Techniken In diesem Kapitel werden fünf kognitive Techniken vorgestellt, mit denen potentielle Probleme identifiziert werden können. Es sind Techniken, die sich bei ZUMA in der praktischen Arbeit mit kognitiven Interviews bewährt haben und/oder die in der einschlägigen Literatur häufig genannt

werden:

–  –  –

Im Folgenden wird jede Technik kurz beschrieben und anhand von Beispielen demonstriert, wie sie eingesetzt wird und welche Informationen man mit ihrem Einsatz erhalten kann. Die Beispiele stammen aus kognitiven Interviews, die alle im kognitiven Labor von ZUMA stattfanden.

3.1 Nachfragen (Probing) Nachfragetechniken nehmen unter den kognitiven Techniken eine zentrale Rolle ein. Mit Hilfe dieser Techniken wird mittels einer oder mehrerer Zusatzfragen das Verständnis der ganzen Frage oder von Elementen der Frage gezielt hinterfragt. Zu diesen Elementen zählen z.B.

einzelne Worte oder Begriffe, vorgegebene Antwortkategorien oder das Verständnis von Ausfüllanweisungen bei einem schriftlichen Fragebogen.

Das Nachfragen (Probing) ist eine altbewährte Interview-Technik, die bereits von Schuman (1966) und Belson (1981) eingesetzt wurde, um zu überprüfen, ob Befragte eine Frage im Sinne des Fragenkonstrukteurs verstanden bzw. beantwortet haben.

Es gibt verschiedene Varianten von Nachfragetechniken:

• Nachfragen zum Verständnis (Comprehension Probing) Bei Nachfragen zum Verständnis sollen Befragte beschreiben, wie sie bestimmte Aspekte einer Frage oder eines Begriffs verstehen. Dabei stellt der Testleiter der Testperson die Nachfragen in der Regel nach der Beantwortung der eigentlichen Frage.

Beispiel für eine Nachfrage zum Verständnis

Fragetext:

„Inwieweit stimmen Sie der folgenden Aussage zu: Meine Gesundheit ist in der Hauptsache eine Frage von guter Anlage und Glück.“ Skala auf Liste: stimme voll und ganz zu = 1/stimme eher zu = 2/teils teils = 3/lehne eher ab= 4/lehne voll und ganz ab = 5

Nachfrage zum Verständnis des Begriffs „Glück“ (zu stellen nach Beantwortung der Frage):

„Wie haben Sie das Wort „Glück“ verstanden?“

Antwortbeispiele:

Testperson 1:

„Dass man zufrieden ist.“

Testperson 2:

„Wie es mir geht; Freude ging mir dabei durch den Kopf.“

Testperson 3:

„Als Schicksal.“

Testperson 4:

„Im Sinne von: Was man von der Vererbung mitbekommen hat, erbliche Vorbelastung, also eher Zufall.“

Befund:

Die Frage zielt darauf ab, den Begriff „Glück“ im Sinne von „Zufall“ zu interpretieren. Auf Grund der Nachfrage wird deutlich, dass der Begriff aber auch im Sinne von „Glücklichsein, Zufriedenheit“ verstanden wird. Die Ergebnisse machen deutlich, dass die Testpersonen bei der Beantwortung der Frage von einem unterschiedlichen Begriffsverständnis ausgegangen sind.

Empfehlung:

Um ein unterschiedliches Begriffsverständnis zu vermeiden, muss der Begriff „Glück“ entweder präzisiert oder ersetzt werden (z.B. durch den Begriff „Zufall“).

• Nachfragen zur Wahl der Antwortkategorie/des Skalenwertes (Category Selection Probing) Die Technik wird eingesetzt, nachdem Testpersonen die Frage mittels Zuordnung zu einer Antwortkategorie oder durch Vergabe eines Skalenwertes beantwortet haben. Dabei wird gefragt, warum Befragte eine bestimmte Antwortkategorie oder einen bestimmten Skalenwert gewählt haben.

Die Technik eignet sich zur Überprüfung, ob Befragte eine Frage möglicherweise nicht verstanden haben, obwohl sie diese ohne Hinweise auf irgendwelche Probleme im Sinne der Fragentechnik und des Fragenziels, also formal adäquat beantwortet haben. Solche auf Anhieb nicht erkennbaren Unsicherheiten in den Befragtenantworten finden sich häufig bei SurveyUmfragen insbesondere bei Fragen, die durch die Wahl eines Skalenwerts beantwortet werden sollen.

Beispiel für eine Nachfrage zur Wahl eines Skalenwertes

Fragetext:

„Inwieweit stimmen Sie folgender Aussage zu:

Der Arbeitgeberanteil zur Krankenversicherung sollte abgeschafft werden; zum Ausgleich sollten die erwerbstätigen Krankenversicherten eine Lohnerhöhung in der Höhe des derzeitigen Arbeitgeberanteils bekommen.“ Skala auf Liste: 1 = stimme überhaupt nicht zu/ 6 = stimme voll und ganz zu (Vermutetes Problem: Fragetext zu kompliziert)

Antwortbeispiel 1:

Testperson nannte Skalenwert „4“

Nachfrage:

„Warum haben Sie den Skalenwert “4” gewählt?“

Antwort auf die Nachfrage:

“Warum sollten die Krankenversicherten Geld bekommen? Finde ich nicht okay. Ich habe den Wert 4 gewählt, weil der ungefähr mittendrin ist.”

Antwortbeispiel 2:

Testperson nannte Skalenwert „2“

Nachfrage:

„Warum haben Sie den Skalenwert „2“ gewählt?

Antwort auf die Nachfrage:

„Ich habe die Frage nicht ganz verstanden. Ich glaube, ich habe Arbeitgeber mit Arbeitnehmer verwechselt.“

Befund:

In Beispiel 1 stimmt die Testperson mit Skalenwert „4“ der Aussage leicht zu, in ihrer Begründung für den Skalenwert reagiert sie jedoch eher ablehnend. In Beispiel 2 äußert die Testperson explizit, dass sie die Frage nicht verstanden hat, obwohl sie mit Wert „2“ geantwortet hatte. Geht man davon aus, dass die Nachfrage nicht gestellt worden wäre, so wären die vorhandenen Verständnisprobleme in beiden Fällen nicht sichtbar geworden, weil die Testpersonen durch die Nennung des Skalenwertes ein formal korrektes Antwortverhalten gezeigt haben, ohne auf ihre Verständnisschwierigkeiten mit dem Fragetext hinzuweisen. Erst die Nachfrage zeigte, dass die genannten Skalenwerte nicht valide sind.

Empfehlung:

Unser Vorschlag ist, den Satzbau zu vereinfachen und die Substantive zu reduzieren. Eine mögliche Variante könnte sein: „Der Arbeitgeber sollte keinen finanziellen Beitrag mehr zur Krankenversicherung leisten, sondern diese Summe als Lohnerhöhung direkt an die Erwerbstätigen bezahlen.“ Letztendlich muss der Forscher entscheiden, ob mit diesen Veränderungen die inhaltliche Zielsetzung der Frage noch gewährleistet ist. Wir empfehlen, solche größeren Veränderungen einem weiteren Test zu unterziehen.



Pages:   || 2 | 3 | 4 |


Similar works:

«Max-Planck-Institut für demografische Forschung Max Planck Institute for Demographic Research Doberaner Strasse 114 · D-18057 Rostock · GERMANY Tel +49 (0) 3 81 20 81 0; Fax +49 (0) 3 81 20 81 202; http://www.demogr.mpg.de MPIDR WORKING PAPER WP 2001-039 DECEMBER 2001 Convergence towards diversity? Cohort dynamics in the transition to adulthood in contemporary Western Europe Francesco C. Billari (billari@demogr.mpg.de) Chris Wilson (wilson@demogr.mpg.de) © Copyright is held by the authors....»

«AIR TABLE OF CONTENTS Welcome 1 Objectives and Learning Outcomes 1 Science Curriculum Frameworks 2 Properties of Air 4 Activity: Individuals Count 5 Activity: Air—Things You Want and Things You Don’t 8 Activity: It’s the Vocabulary, Man 9 Experiments: Aerorama 11 Experiment: Your Air Bags—the Lungs 14 Activity: What’s in the Air? 16 Activity/Experiment: Your Community’s Air 20 Activity/Experiment: Reading Lichens 22 Experiment: Blowin’ in the Wind 25 Experiments: Air and Weather...»

«                      Classical Jordan – 8 Day Program! (Guaranteed Departures – Every Sunday) TOUR OVERVIEW  Day 1: Airport Arrival – Amman  Day 2: City Tour – Madaba – Mt. Nebo – Petra  Day 3: Petra Visit  Day 4: Petra – Wadi Rum – Aqaba Amman  Day 5: Amman – Bethany – Dead Sea – Amman  Day 6: Amman – Umm Qais – Jerash – Amman  Day 7: Amman – Desert Castles – Amman  Day 8: Amman – Airport Departure COUNTRY HIGHLIGHT! A land...»

«Linzer biol. Beitr. 47/2 1303-1309 30.12.2015 Hygrotus (Coelambus) nubilus (LECONTE, 1855) on Mauna Kea (Hawaii) – first record of the genus from the Pacific zoogeographical region (Coleoptera: Dytiscidae) Hans FERY & Gil CHALLET A b s t r a c t: A member of genus Hygrotus STEPHENS, 1828, subgenus Coelambus THOMSON, 1860 is recorded for the first time from Hawaii which belongs to the Pacific zoogeographical region: Hygrotus nubilus (LECONTE, 1855) which so far has been known only from the USA...»

«Newberry Essays in Medieval and Early Modern Studies Volume 8 Edited by Mary P. Angelo Newberry Essays in Medieval and Early Modern Studies Volume 8 Selected Proceedings of the Newberry Center for Renaissance Studies 2014 Multidisciplinary Graduate Student Conference Edited by Mary P. Angelo Contributing Editors: Laura Bland, Catherine Conner, Charles Keenan, Danielle Kuntz, Lance Lubelski, Andrea Nichols, Greta Smith, David Vaughan, and Daniel Yingst Chicago, Illinois Newberry Essays in...»

«409 BOROUGH COUNCIL OF KING’S LYNN AND WEST NORFOLK DEVELOPMENT CONTROL BOARD Minutes of a Meeting of the Development Control Board held on Monday, 9 January 2006 at 5.30 pm in the Assembly Rooms, Town Hall, Saturday Market Place, King’s Lynn PRESENT: Councillor J R Legg (Chair) Councillors Jack Bantoft, A F Burch, Mrs B A Burch, Mrs J M Brown, Mrs Z Christopher, R W Groom, D M Johnson, John Loveless, A M Morrison, M J Peake, Mrs V M Spikings, M S Storey, H C Symington, G Wareham, A M White...»

«Princeton/Stanford Working Papers in Classics Sweating Truth in Ancient Carthage Version 1.0 June 2010 Adrienne Mayor Stanford University Abstract: Richard Miles’s Carthage Must Be Destroyed (2010) justifies a new look at Gustave Flaubert’s controversial novel Salammbô (1862). An abridged version of this essay appeared as “Pacesetter,” London Review of Books 32 (June 2010): 30-31. © Adrienne Mayor mayor@stanford.edu Sweating Truth in Ancient Carthage Adrienne Mayor review of Richard...»

«Byrne, Ashleigh Maria (2014) Functional characterisation of phosphodiesterase 4D7 in prostate cancer. PhD thesis. http://theses.gla.ac.uk/5275/ Copyright and moral rights for this thesis are retained by the author A copy can be downloaded for personal non-commercial research or study, without prior permission or charge This thesis cannot be reproduced or quoted extensively from without first obtaining permission in writing from the Author The content must not be changed in any way or sold...»

«Ref. Ares(2014)4046025 03/12/2014 EUROPAISCHE KOMMISSION аИ GENERALSEKRETARIAT νΓ-ΐ·:Μ Die Generalsekretärin Brüssel, den λΜ • о^оДЦ SG.B.4/RH/rc sg.dsg2.b.4(2014) 4331609 Per Einschreiben mit Rückschein Herrn Guido STRACK Allerseelenstraße In D-51105 Köln Kopie per E-Mail an: xxxxxxxxxxxxxxxxxxxxxxxx@xxxxxxxx.xxx Entscheidung des Generalsekretariats gemäß Artikel 4 der Durchführungsbestimmungen zur Verordnung (EG) Nr. 1049/20011 Zweitantrag auf Zugang zu Dokumenten...»

«УДК 002 ОБЩАЯ ТЕОРИЯ ДОКУМЕНТА И КНИГИ Ю.Чяпите Розглянуто навчальний посібник Г.М. Швецової-Водки “Общая теория документа и книги” (К. ; М., 2009). Ключові слова: документ, книга, теоретичні проблеми документознавства. GENERAL THEORY OF A DOCUMENT AND A BOOK A textbook of G.N. Shvetsova-Vodka “General Theory of Document and...»

«Karadeniz İncelemeleri Dergisi: Yıl 8, Sayı 16, Bahar 2014 39 AĞA MUHAMMED HAN’IN KAFKASYA SEFERLERİ VE OSMANLI-İRAN İLİŞKİLERİ (1795-1797) Abdurrahman ATEŞ ÖZ  Bu çalışmada, Ağa Muhammed Han’ın Kafkasya seferleri ve Osmanlıİran siyasi ilişkileri (1795-1797) ele alınarak, kaynak-ların verdiği bilgiler nispetinde bazı değerlendirmeler yapılmaya çalışılmıştır. Konunun ana mihveri çerçevesinde, giriş kısmında Ağa Muhammed Han hakkında kısaca bilgi...»

«Auswirkungen von Dispositionsparametern im SAP ECC-System auf die Höhe der Materialbestände Asim Sürmen Borhan Wahabzada Dilbar Özgün 23. Juni 2014 Seminar, Sommersemester 2014 Inhaltsverzeichnis 1 Einführung 5 2 Dispositionsverfahren 5 2.1 Aufrtragsgesteuerte Disposition................... 5 2.2 Plansgesteuerte Disposition..................... 5 2.3 Verbauchsgesteuerte Disposition.................. 5 2.3.1...»





 
<<  HOME   |    CONTACTS
2016 www.abstract.xlibx.info - Free e-library - Abstract, dissertation, book

Materials of this site are available for review, all rights belong to their respective owners.
If you do not agree with the fact that your material is placed on this site, please, email us, we will within 1-2 business days delete him.