Probleme beim Aufbau von Fragebögen - Checkliste

‍

Stellen Sie nur wichtige Fragen

Sie erstellen Ihren Fragebogen, um wichtige Erkenntnisse zu gewinnen, daher sollte jede Frage eine direkte Rolle beim Erreichen dieses Ziels spielen.

Stellen Sie sicher, dass jede Frage einen Mehrwert bietet und zu einer Antwort führt, die sich direkt auf Ihre Ziele bezieht. Wenn z. B. das genaue Alter oder das Bundesland in dem die/der Befragte wohnt, für Ihre Ergebnisse relevant ist, fragen Sie danach. Wenn nicht, ersparen Sie sich und Ihren Mitarbeitern etwas Zeit und überspringen Sie die Frage.

Es ist am besten Ihre Umfrage zu planen, indem Sie zuerst die zu erfassenden Daten ermitteln und dann Ihre Fragen schreiben.

‍

Eine Frage zur Zeit

Es kann verlockend sein, mehrere Fragen auf einmal zu stellen. Das ist allerdings keine gute Idee.

Beispiel:

"Was ist in Ihren Augen das effizienteste und effektivste Kommunikationstool?" 

Hier werden eigentlich zwei Fragen gestellt. Denn effiziente Tools sind nicht automatisch auch effektiv. Priorisieren Sie nach Wichtigkeit und entscheiden Sie sich für ein Attribut. Sollten beide Fragen für Sie von Bedeutung sein, stellen Sie zwei getrennte Fragen.

‍

Eine Frage hat eine Bedeutung

Stellen Sie jede Frage so, dass Sie von allen Befragten nur auf eine, nämlich auf die von Ihnen intendierte Art, gelesen werden kann. Bleibt Interpretationsspielraum offen, führt dieser zu verzerrten und irreführenden Antworten.

‍

‍

Die Dauer des Fragebogens

Jede Umfrage ist individuell und erfüllt einen bestimmten Zweck. Von daher ist eine allgemeine Aussage über die optimale Länge eines Fragebogens schwer zu treffen. Es gilt jedoch: zu lange Fragebögen wirken sich negativ auf die Rückläuferquote aus. Die Befragten müssen eventuell die Beantwortung unterbrechen. Die Motivation nimmt mit fortschreitender Dauer immer mehr ab. Jede Frage, mag sie auch noch so trivial erscheinen, symbolisiert eine persönliche Positionierung des Befragten. Pauschal gilt: Je mehr Fragen, desto höher der Aufwand in der Beantwortung, desto anstrengender wird die Beantwortung in der Regel empfunden. Eine realistische Einschätzung der Bearbeitungsdauer am Anfang des Fragebogens hilft, die Befragten vorzubereiten. Wichtig ist hierbei das Wort "realistisch". Wenn Ihre Mitarbeiter sich auf einen 5-minütigen Fragebogen vorbereiten, der sich dann als dreißig Fragen lang entpuppt und eher 20 Minuten in Anspruch nimmt, sinkt die Akzeptanz. Testen Sie vorher, wie lange Sie für eine entspannte Bearbeitung des Fragebogens benötigen.

‍

Tipp: Lange Fragebögen die aus kurzen Fragen bestehen, werden kürzer empfunden, als Editionen mit längeren Fragen

‍

Struktur

Legen Sie sich vorab eine Struktur für den Fragebogen zurecht. Insbesondere bei längeren Fragebögen ist ein gut strukturiertes Gerüst nötig, damit die Befragten sich auf Ihre Antworten konzentrieren können, und nicht parallel rätseln, in welchem Teil des Fragebogens Sie sich gerade befinden oder sich fragen, warum eine Frage nach dem Gehaltsniveau auf eine Frage nach der Büroausstattung folgt.

‍

Kleinigkeiten in der Wortwahl, können einen großen Unterschied machen

Subtile Unterschiede in der Formulierung Ihrer Fragen, können große Unterschiede in den Ergebnissen erzeugen. Zum Beispiel kann eine unspezifische Wortwahl ein gewisses Maß an verwirrender Mehrdeutigkeit verursachen. Konjunktive wie "könnte", oder "sollte" sind unkonkret und lassen daher Interpretationsspielraum der u.U. einen Unterschied von 20 % in der Zustimmung einer Frage erzeugen kann.

Auf der anderen Seite stehen zu dezidierte Begriffe wie bspw. "erzwingen" und "verbieten". Sie geben der Frage einen negativen Subtext, der die Mitarbeiter a. einschüchtern kann, sodass Sie Ihre Meinung nicht frei äußern wollen, oder b. sie veranlasst in eine bestimmte Richtung zu denken. Sie erhalten am Ende ebenfalls fragwürdige Ergebnisse.

‍

" Suchen Sie nach objektiven Formulierungsalternativen."

‍

"Wie bewerten Sie die Produkteinführung unseres langerwarteten Produkts X?"

Diese Frage sagt Ihnen, dass das Unternehmen 1. sehr großen Wert auf das Produkt legt, es 2. erheblichen Aufwand in das Produkt investiert hat und 3. Hoffnung mit dem Produkt verbunden ist. Aufgrund der Fragestellung werden die Wenigsten, das neue Produkt offen als, schlecht oder ausbaufähig bewerten. Dies geschieht oft unbeabsichtigt und ist ein häufiger Fehler, wenn eine Umfrage von jemandem entworfen wird, der zu eng mit dem Projekt verbunden ist. Wie wäre stattdessen eine objektivere Fragestellung:

"Wie bewerten Sie die Produkteinführung von Produkt X?"

Die Frage offenbart keine emotionale Färbung und ist zielgerichtet.

‍

Falsche Annahmen

Gehen Sie nicht davon aus, dass die Befragten mehr über Ihr Unternehmen wissen, als sie es selbst tun. Prüfen Sie jede Frage, um sicherzustellen, dass alle Informationen bekannt oder zugänglich sind, um zu zeigen, dass der Befragte die Frage sachkundig beantworten kann. Ihre Fragebögen dürfen sich nicht fälschlicherweise auf vermutetes Vorwissen der Befragten stützen.

Beispiel

"Erhalten Sie ausreichende Unterstützung bei der Umsetzung der Ziele Ihrer Abteilung?"

Sind die übergeordneten Abteilungsziele den Mitarbeitern bewusst?

Die Gegenseite

Sie können noch so gut konzipierte Fragebögen erstellen, wenn Ihre Mitarbeiter die Fragen nicht beantworten, verstehen oder boykottieren, sind Sie aufgeschmissen. Es ist unabdingbar den Gegenüber und die Prozesse zu verstehen, die während der Beantwortung eines Fragebogens ablaufen. Auf diesem Weg können Sie Probleme Ihres Fragebogens vor der Entstehung verhindern. Roger Tourangeau identifiziert vier Stadien die Befragte in der Theorie durchlaufen, bevor sie eine Antwort geben.

‍

+ Verstehen

Die Frage und die mutmaßlich intendierte Absicht dahinter, muss in allen Aspekten verstanden und in Bezug zu den bestehenden Überzeugungen, Emotionen oder Erfahrungen gesetzt werden.

+ Abruf von Informationen

Die Befragten, suchen nach relevanten Erinnerungen, die für die Beantwortung der Frage in Betracht kommen.

+ Beurteilung

Die aus unterschiedlichen Erinnerungen bestehenden Informationen werden bewertet und zu einem Paket gebündelt.

+ Antwort

Das "Paket" ergibt die Antwort, die dann in den Bezug mit den vorgegebenen Antwortmöglichkeiten gesetzt wird und u.U. noch daran andockend angepasst wird.

‍

In der Praxis gestaltet sich wie so häufig schwieriger, da nicht jeder Befragte, alle Stufen, in dieser Reihenfolge durchläuft. Zudem können Sie nicht kontrollieren in welcher Situation und Grundstimmung Ihre Mitarbeiter den Fragebogen beantworten. Es gibt viele Störfaktoren die parallel zur Beantwortung des Fragebogens ablaufen. Die/der Befragte ist gestresst. Muss eigentlich viel dringender einem Kunden hinterhertelefonieren. Mitarbeiterbefragungen werden abgelehnt und der Prozess wird als Belastung empfunden. Vielleicht wird der Fragebogen auf einem mobilen Endgerät auf dem Nachhauseweg in einer vollen Bahn beantwortet. Oder die / der Mitarbeiter ist gerade im Homeoffice und versucht Antworten zu geben, während die Kinder um sie / ihn herum sind. Diese Faktoren liegen außerhalb Ihres Einflussbereichs.

Erschwerend hinzukommen können noch eventuelle Verzerrungen  / Bias' (easyreview Link. Bias)

Es kann hilfreich sein, am Kopf des Fragebogens auf die Wichtigkeit der erhobenen Daten hinzuweisen. Haben die Fragebögen einen messbaren und erkennbaren Sinn für Ihre Mitarbeiter, steigt die Motivation.

‍

Keine Routinen

Vermeiden Sie es Ihre Fragebögen gleich aufzubauen. Sind alle Antwortmöglichkeiten gleich strukturiert, erleichtern Sie es den Befragten Tendenzen zu erkennen und sich auf die Beantwortung einzustellen, indem sie bspw. routinemäßig immer eine zwei vergeben. Variieren Sie unbedingt die Fragetypen. Verwenden Sie positive und negative Fragestellungen, um die Befragten zu fordern

‍

Klare Bewertungen und Abstufungen

Benutzen Sie ausschließlich eindeutige Bewertungskategorien. Je eindeutiger Sie die Parameter formulieren, desto eindeutiger sind die Antworten. Ein “trifft weitestgehend zu” ist wesentlich zielgerichteter als ein “trifft häufig zu”.

Beispiel:

Wie lange arbeiten Sie für unser Unternehmen?

+ 0-2 Jahre

+ 2-4 Jahre

+ 4-6 Jahre

+ 6-10 Jahre

+ 10 +Jahre

Welche Antwort geben Sie bspw. mit einer vierjährigen Unternehmenszugehörigkeit? 

Uneindeutige Antwortoptionen erschweren sowohl die Beantwortung als auch die Auswertung immens. Antwortoptionen sollten sich nicht überlappen, bzw. sich ausschließen.

Überprüfen Sie Ihre Fragebögen vor der Fertigstellung insbesondere im Hinblick auf die Eindeutigkeit der Fragen und der Antwortoptionen, um Probleme zu vermeiden.

Ein weiteres Beispiel:

Wie kommen Sie zur Arbeit? 

+ Bus

+ Bahn

+ Auto

Welche Antwort geben Sie, wenn Sie bspw. mit dem Fahrrad fahren, oder zu Fuß gehen? Es wurden zwar die gängigsten Antwortoptionen bedacht. Jedoch werden auch zahlreichen alternative Antworten ausgelassen, sodass Sie ein sehr ungenaues Bild erhalten werden. Sollten Sie als Antwort auf Ihre Fragen, mehr als ein grobes Meinungsbild erwarten, achten Sie auf eine ausdifferenzierte Abstufung in Ihren Fragen, oder fügen Sie ein offenes Textfeld ein, dass den Befragten die Möglichkeit gibt, abweichend zu Antworten. Sie sind dann allerdings mit einem größeren Aufwand bei der Auswertung konfrontiert.

‍

Unausgewogene Skalen

Nehmen wir die Frage: Wie bewerten Sie die betrieblichen Fortbildungsmöglichkeiten?

Und die folgenden Antwortoptionen: 

+ Hervorragend

+ Außerordentlich

+ Sehr gut

+ Fair

+ In Ordnung

Selbst wenn Sie eine ausreichende Abgrenzung der Antworten untereinander, für sich definieren können, heißt es nicht, dass die Befragten zu einem ähnlichen Ergebnis kommen. Die Antwortmöglichkeiten sind nicht ausreichend voneinander abgegrenzt. Es ist auch keine eindeutige Hierarchie abzuleiten. Ist "Hervorragend" besser als 'Außerordentlich"? Was ist, wenn die Befragten, die Begriffe anders interpretieren? Wie fällt eine Antwort aus, wenn der/die Befragte eigentlich eher mit "Schlecht" antworten möchte... Der bewährte Standartaufbau:

+ Sehr gut

+ Gut

+ Neutral

+ Schlecht

+ Sehr schlecht

hat sich aus diversen Gründen bewehrt. Die Antworten sind äquidistant. Die konzeptionellen Abstände zwischen den einzelnen Antworten sind gleichbleibend. Dadurch wird das Verständnis der Frage erhöht und die Auswertung erleichtert. Studien des Leibniz-Instituts für Sozialwissenschaften zur Folge, ist es von Vorteil mit der positivsten Bewertung, also in diesem Fall "Sehr gut" , zu beginnen und mit der negativsten Antwortoption "Sehr schlecht" zu schließen. Unser Gehirn entwirft so automatisch einen positiven Bezugsrahmen zu der Frage. Verwenden Sie bei diffizilen Fragen eine ausdifferenzierte Skala. Bspw. von 1-10, um genauere Ergebnisse zu bekommen. Grundsätzlich gilt: 

‍

Eine Beantwortung anhand von klar verständlichen, ausgewogenen Antwortoptionen erhöht Ihre Rücklaufquoten.

‍

Ja oder nein

Auch wenn dieser Punkt auf den ersten Blick trivial erscheint: Entscheiden Sie sich für klare Ja/Nein Antworten, muss die Fragestellung dies auch hergeben. Sollte die Frage feinere Differenzierungen beinhalten, können Sie auf Probleme stoßen, da Sie die Befragten unnötig einengen und Bewertungsspielräume nehmen oder wie im folgenden Beispiel verwirren.

Beispiel: 

Nehmen Sie die Stimmung in Ihrer Abteilung als gut oder schlecht wahr?

+ Ja

+ Nein

Natürlich machen die Antwortoptionen keinen Sinn. Meistens handelt es sich hierbei um Flüchtigkeitsfehler bei der Erstellung, bzw. fehlende Korrekturschleifen der Fragebögen. Solche Fehler kommen weitaus häufiger vor als Sie denken...

‍

Wie viele Antworten sind sinnvoll?

Die Anzahl der Antwortkategorien ist ein entscheidendes Merkmal eines erfolgreichen Fragebogens. Sie bestimmen anhand der Antwortoptionen den Grad der Differenzierung und damit die Verständlichkeit der Frage. Krosnick und Presser kamen in Ihrer Studie zum Aufbau von Ratingskalen (2010) auf die optimale Länge von fünf bis sieben Antwortmöglichkeiten. Zu viele Optionen verwässern das Ergebnis, erschweren den Befragten die Beantwortung und machen die systematische Auswertung aufwendiger. Zu wenige Optionen bedeuten eine zu geringe Differenzierung.

‍

Numerische vs. verbalisierte Skalen

In der wissenschaftlichen Debatte gibt es keinen eindeutigen Favoriten in der Frage ob numerische Skalen (bspw. 1 für sehr schlecht bis 10 für sehr gut) oder verbalisierte Skalen (bspw. von "Sehr schlecht" bis "Sehr gut") die qualitativ hochwertigeren Ergebnisse bringen. Zahlen ermöglichen eine nüchterne, schnelle Beantwortung, können allerdings u.U. zu wenig Kontext bzw. Eindeutigkeit bedeuten. Zudem kann eine Kategorisierung von Stimmungen, Stärken etc... in Zahlen als unnatürlich empfunden werden. Ausgeschriebene Antworten ermöglichen insbesondere Mitarbeitern mit niedriger oder mittlerer Bildung ein besseres Verständnis der Fragen, da die Bedeutung jeder Antwort klarer akzentuiert wird. Egal für welche Skala Sie sich entscheiden: Von einem Mix ist abzuraten.

‍

Lieber nicht antworten?

Eine grundlegende Frage bei der Erstellung Ihres Fragebogens ist, ob der Befragte antworten muss. Viele Tools bieten die Option einer erzwungenen Antwort (Forced Answering-Option / FA). Sprich: damit die Umfrage auf die nächste Seite umspringt oder abgeschickt werden kann, müssen alle Fragen abgeschlossen werden. Die Auswahl ist auf den ersten Blick einleuchtend. Sie gehen sicher, dass Ihr Fragebogen komplett ausgefüllt wird. Es ist wissenschaftlich nicht eindeutig belegt, ob sich erzwungene Antworten auf die Qualität von Fragebögen auswirken. Die Bedenken sind jedoch vielfältig.

Jeder Mensch hat spezielle Themen, die ihm nicht zusagen und im Kontext eines Fragebogens eine Antwort erschweren. Offensichtliche Themenblöcke zu Einkommen, Beruf, Finanzen, Familienleben, Körperpflege oder persönlichen, politischen oder religiösen Überzeugungen können zu aufdringlich sein und vom Befragten daher abgelehnt werden. Wenn diese Fragen für einen Abschluss, jedoch zwangsweise beantwortet werden müssen, ist eine falsche Antwort naheliegend.

Neben einer falschen Antwort, die Ihre Ergebnisse verzerrt kann eine Frage je nach Kultur, Ethnizität oder Geschlecht des/der Befragten, sehr unterschiedlich aufgefasst werden. Von falschen Antworten bis zu einem Abbruch des Fragebogens kann die Reaktion teils heftig ausfallen. Überlegen Sie daher sehr genau, ob und wie Sie sensible Themenbereiche in Ihren Fragebögen adressieren.  Eine angenehme Art sowohl die Abbruchquoten zu minimieren, als auch Ihre Mitarbeiter nicht zu bedrängen ist eine neutrale Antwortoption wie "Lieber nicht" oder "Keine Antwort". Sie ermöglichen der / dem Befragten einen nonkonfrontativen Umgang mit der Frage. Der Druck einer erzwungenen Antwort wird minimiert. Die Privatsphäre ist für die meisten Menschen ein wichtiges Thema. Anreize und Zusicherungen der Vertraulichkeit können es leichter machen, private Informationen zu erhalten. Zudem artikulieren Sie indirekt Verständnis für Ihre Mitarbeiter.

‍

Limitieren Sie Offene Fragen

Offene Fragen sind für jeden Fragebogen essentiell, da Sie den Befragten den Raum geben, differenzierte und kritische Meinungen jenseits von definierten Kategorien abzugeben. Parallel dazu verändern sie den Rhythmus. Sie können Ihnen aufschlussreiche Erkenntnisse geben und animieren die Mitarbeiter gleichzeitig Ihre Meinung zu artikulieren. Sie sind leider nur schwer bis gar nicht systematisch auswertbar. Sie gewinnen also Erkenntnisse, können diese jedoch nicht automatisch vergleichen oder in Bezug setzen. Zudem ist die Auswertung zeitintensiv und durch bestimmte Formulierungen oder Floskeln kann die Anonymität der Mitarbeiter u.U. nicht mehr sichergestellt werden…

Es ist daher wichtig, dass Sie offene Fragen begrenzen und nur bei geeigneten Themenfeldern und Fragestellungen einsetzen.

‍

Die Mitte

Genau wie eine Tendenz zur positiveren und konfliktfreieren Antwort “Ja” besteht, tendieren viele Menschen dazu, sich mittig zu positionieren, um sich nicht klar festlegen zu müssen. Ein “Vielleicht” als Antwort hilft Ihnen jedoch aller Voraussicht nach nicht weiter. Sie können Ihre Skalen weiter ausdifferenzieren und darauf setzen, dass ein breiteres Beurteilungsspektrum eher zu eindeutigeren Antworten veranlasst. Oder Sie konzipieren Ihre Skalen ohne Mitte bspw. 1-4 oder 1-6. So müssen sich die Befragten zumindest zu einer “eher negativen” oder einer “eher positive” Antwort bekennen, was Ihnen verwertbarere Erkenntnisse liefert. Ein Problem, wenn Sie die Mitte aus den Skalen entfernen, entsteht falls wirklich eine Person eine neutrale Position vertreten möchte. Hier müssen Sie abwägen, was für Sie die besseren Ergebnisse liefert.

Antwort unabhängig vom Inhalt

Die meisten Menschen benutzen lieber das positive Wort “Ja” als das negative und konfrontativere Wort “Nein”, ganz unabhängig vom Inhalt der Frage. Berücksichtigen Sie diese Tendenz bei der Erstellung Ihres Fragebogens, da hierdurch Ihre Ergebnisse massiv verfälscht werden können. Es ist sinnvoll, dass Sie sich innerhalb eines längeren Fragebogens absichern, in dem Sie Kontrollfragen einbauen, um den Wahrheitsgehalt einer Antwort zu erhöhen. (Kontrollfragen sind negativ gedreht. So erhalten Sie einen anderen Charakter als die Ausgangsfrage.) Eine weitere Möglichkeit besteht darin eine Frage auf zwei verschiedene Arten zu formulieren, um die gegebenen Antworten miteinander zu vergleichen.

‍

Sprachbild

Ein entscheidendes Kriterium für einen erfolgreichen Fragebogen ist die Art wie die Fragen formuliert sind. Hierbei handelt es sich um ein sehr komplexes Thema. Es gibt jedoch gängigen Konsens bezüglich folgender Punkte:

+ Formulieren Sie konkret, nachvollziehbar und eindeutig

+ Verwenden Sie keine erklärungsbedürftigen Fachtermini

+ Halten Sie die Fragen kurz und sachlich. Emotional aufgeladene Wörter sind problematisch

+ Vermeiden Sie doppeldeutige Begriffe

+ Formulieren Sie positiv

+ Verzichten Sie auf umgangssprachliche Formulierungen

+ Abkürzungen können das Verständnis erschweren

‍

Qualitative Antworten

Die Vorgabe bestimmter Antwortmöglichkeiten ist ein Ansatz um komplexe Fragestellungen zu thematisieren oder detaillierte Ergebnisse zu bekommen. Vorab definierte Antworten sind jedoch anspruchsvoll und zeitaufwändiger als andere Antwortoptionen, da sie sehr gut konzipiert sein sollten und u.U. Recherche betrieben werden muss um verwertbare Antworten zu generieren. Ihre Kategorien sollten alle möglichen Antwortoptionen beinhalten. Es gibt hier jedoch die Option am Ende Ihrer Antwortoptionen ein Freitextfeld einzusetzen. Allerdings ist auch hier die systematische Auswertung erschwert.

‍

Der Zeitrahmen

Fragen die einen langen Zeitraum abdecken, sind durch eine Verzerrung des Erinnerungsvermögens überdurchschnittlich fehleranfällig. Nehmen wir die Frage:

"Wie häufig sind Sie im letzten Jahr mit dem Auto zur Arbeit gekommen?"

Die Frage deckt einen sehr langen Zeitraum ab und kann im Prinzip nur schätzungsweise beantwortet werden, da keiner Ihrer Angestellten über die Nutzung seines Autos Buch führt, abgesehen von 100% eindeutigen Antworten von Mitarbeitern, die Ihr Auto immer benutzen, oder gar keines haben. Versetzen Sie sich in die Perspektive des Mitarbeiters und versuchen Sie die Frage zu beantworten, um ein Gefühl für die Sinnhaftigkeit einer Frage zu bekommen.

Konklusion

Die Erstellung eines erfolgreichen Fragebogens umfasst eine große Bandbreite an potentiellen Problemfeldern. Vom Aufbau des Fragebogens, über die richtige Wortwahl und die Art der Fragestellung bis hin zur Anzahl der Fragen, gilt es eine Vielzahl zu beachten.

‍