Auch Forschen will gelernt sein

Befragungen gleichen der medizinischen Diagnose mit sensiblen Geräten: Sind diese falsch oder gar nicht geeicht, verlieren die Ergebnisse jeglichen Wert.

  13.09.2019 | 6 Minuten  

Die Stadt Herne ließ eine psychologische Motivationsanalyse zum Radverkehr durchführen, um mit den Ergebnissen ihre weitere Radverkehrsplanung zu füttern. Bis heute stand der Fragebogen dafür online. Nach allem, was sich darüber sagen lässt, wäre der Auftraggeber gut beraten, die Studie noch einmal durchführen zu lassen.

Methodisches Armutszeugnis

Man sagt, Universitäten gehörten zur Speerspitze der empirischen Forschung. Insbesondere der Fachbereich Psychologie genießt üblicherweise hohes Ansehen, nicht zuletzt aufgrund seiner normalerweise hohen methodischen Sorgfalt. Getestete Skalen, Fragenschwere und -reihenfolge, der Umfang des Fragebogens insgesamt und schließlich auch die — zumindest qualitativ vorgenommene — Prüfung auf die drei Gütekriterien: Dem Forschenden stehen viele Schräubchen zur Verfügung, die Tauglichkeit seines Instruments zu erhöhen. Dabei geht es nicht um Eitelkeit, sondern schlicht um die Tatsache, dass die Ergebnisse nur so belastbar sein können, wie die Methode, mit der sie generiert wurden.

Dem Fragebogen, den die Technische Universität Dresden entwickelt hat, fehlt nicht nur jegliches Denkmodell, auf das er sich gründen könnte. Daran mangelt es aber heutzutage leider sämtlichen Befragungen zu Mobilität und Verkehr, weshalb Erkenntnisse aus diesen Studien selten über die Auszählung von Häufigkeiten hinausreichen. Die Herner Befragung befindet sich hier also in guter Gesellschaft. Leider macht sie viele weitere schmerzhafte Fehler, die sogar Nicht-Psychologen im Rahmen von Sozialforschungs-Seminaren schon im Grundstudium ausgetrieben werden: Die Teilnehmer*innen der Online-Befragung müssen 29 Seiten Fragebogen über sich ergehen lassen, dabei gefühlt Tausende verschiedene Antwortskalen managen und das auch noch in zwei verschiedenen Richtungen, also sowohl von ›wichtig‹ bis ›unwichtig‹ als auch von ›unwichtig‹ bis ›wichtig‹, erhalten bei keinem Item, sondern erst nach energischem Nachfragen durch den Fragebogen, die Gelegenheit zu ›keiner Antwort‹ — und bekommen am Ende zwar die Punktergebnisse angezeigt, also die Mittelwerte aller Antworten zu bestimmten Fragen, aber nicht erläutert.

Unbrauchbare Daten

Sicher ist: Dabei kann es sich nicht um Schulnoten handeln. Denn die Fragen dazu wiesen nur fünf statt sechs Antwortstufen auf. Den Autoren des Fragebogens scheint schlicht nicht bekannt zu sein, dass ungerade Stufenzahlen den wirkungsvollen Verzerrungseffekt der ›Tendenz zur Mitte‹ bekanntlich noch verstärken und die Messergebnisse damit noch weniger brauchbar machen. Auch die Frage nach hypothetischen Szenarien vermeidet jeder Forscher, der zumindest das Grundstudium bereits hinter sich gelassen hat — denn den Antworten darauf fehlt jede Validität; Stichwort ›Say-Do-Gap‹: »It’s easy to feel confused when an idea, after having received positive feedback, fails to perform in the real world. […] After all, promises are cheap.«

Letzten Endes werden die ausgefüllten Fragebögen einen Datenberg generiert haben, dessen Nutzen stark anzuzweifeln ist. Das liegt einerseits am defekten Instrumentarium, mit dem sie zustande gekommen sind. Das liegt andererseits aber auch an der Begrenztheit von Online-Befragungen im Besonderen und der Beteiligung der Öffentlichkeit an Politik und Planung im Allgemeinen. Radfahrende können Planungen und deren Resultate, die Radverkehrsanlagen,  hervorragend validieren — einfach, indem sie sie nutzen, oder auch nicht: »The second hardest thing about minimum viable products is that while you decide what’s minimum, the customers determine if it is viable.«, lautete vor nicht allzu langer Zeit ein Tweet. Ich hätte die Online-Befragung deutlich fokussierter und leichter bearbeitbar gestaltet, so hätte sie wenigstens im Rahmen ihrer ohnehin begrenzten Möglichkeiten das Maximum herausholen können. Auf die Dresdner Essenzen bin ich auf jeden Fall sehr gespannt — insbesondere auf die psychologischen Schlussfolgerungen, die die Macher sich daraus erlauben wollen.