PISA und andere Mess-Fehler

(Dieser Text erschien am 12. Oktober 2012 im „Neuen Deutschland“)

Spätestens seit dem „PISA-Schock“ vor zehn Jahren sind wir auch in Deutschland überzeugt davon, wir könnten – nein: müssten! – die Qualität unserer Schulen messen. Wir erheben ein paar Indikatoren, fassen sie in einer greifbaren Punktzahl zusammen, und schon wissen wir, wie gut wir sind. Hervorragend auch geeignet zum Vergleich: Gottseidank sind wir besser als Frankreich, aber wir müssen noch besser werden, um auch an Finnland vorbeizuziehen.

Mundus vult decipi – wir lassen uns nur zu gern betrügen, so sagt das Sprichwort, besonders dann, wenn es in unsere Vorurteile passt. Vielleicht sollte man das präzisieren und sagen: Wir lügen uns nur zu gern in die eigene Tasche – und treffen eigentlich auch keine Vorkehrungen dagegen. Die PISA-Studie ist ein gutes Beispiel für diese Schwäche.

In der PISA-Studie werden 15-Jährige in den Bereichen Lesekompetenz und Grundbildung in Mathematik und Naturwissenschaften getestet. Vernachlässigen wir dabei für den Moment die größtenteils bejammerns­würdigen Aufgaben: Mathe-Aufgaben, die allein die Fähigkeit zum Einsetzen von Zahlen in Formeln testen, oder Fragen zum Leseverständnis, die entweder so intelligenzbeleidigend sind wie Gewinnspielfragen auf RTL2 oder so vage gestellt, dass es mehrere plausible Antworten gibt. Aber die dürfte man nicht erklären, denn in der Regel sind die Fragen in Multiple-Choice-Form zu lösen. Wer weiter nachdenkt als von der Wand bis zur Tapete, tut sich meist keinen Gefallen.

Solche Aufgaben führen aber schon häufig genug zur ersten Taschenlüge. Nehmen wir diese Beispiel­aufgabe:

Eine Glasfabrik stellt Flaschen her. 2 % der Flaschen sind fehlerhaft; dies sind 160 Fla­schen. Wie viele Flaschen wurden insgesamt hergestellt?
A: 320; B: 3200; C: 12500; D: 800; E: 8000.

In einer der letzten PISA-Erhebungen haben fast die Hälfte aller deutschen Probanden die Frage falsch be­antwortet. Leicht wird daraus der Schluß gezogen: Fast die Hälfte unserer Schüler kann keine Prozentrech­nung. Was etwas schwerer zu bemerken ist, ist, dass die Frage mindestens zwei Komponenten in einem Test zusammenfasst: die Fähigkeit zur Prozentrechnung und die Fähigkeit, sich von den zwecks Verwirrung ge­gebenen Antwortalternativen gerade nicht verwirren zu lassen. Ohne einen separaten Test, der prüft, wie viele Probanden dieselbe Aufgabe in freier Antwort hätten lösen können, ist eine generalisierende Aussage über Prozentrechenfähigkeiten absolut unzulässig.

Und wenn wir dann die Gesamtpunktzahlen für die Teilbereiche der Studien miteinander vergleichen, sehen wir zum Beispiel, dass Deutschland mit 513 Punkten in Mathematik 28 Punkte hinter Finnland, dem besten europäischen Land, liegt. Das heißt konkret, dass deutsche bzw. finnische PISA-Teilnehmer im Schnitt mehr Fragen richtig beantwortet haben als 55 bzw. 66 % aller PISA-Teilnehmer. Fragen wohlgemerkt, bei denen es mehr darum geht, richtig zu raten, was der Tester hören will, als zu zeigen, dass man irgendetwas Erstre­benswertes kann – von denken ganz zu schweigen. Die einzige Aussage, die man aus solchen Zahlen ohne Weiteres ziehen kann, ist, dass finnische Schüler PISA-Fragen im Schnitt häufiger im Sinne der Tester beantworten als deutsche.

All das weist allerdings auf ein noch tiefergehendes Problem hin: Wir glauben nur allzu häufig, dass ein Erkenntnisgewinn bereits dort zu erzielen ist, wo wir nur etwas messen. Hat man irgendetwas gemessen, kann man das Ergebnis umstandslos als wissenschaftliche Erkenntnis verkaufen. So glauben wir dann auch, wir könnten die Qualität von Schulen oder Unterricht messen. Ein größeres Missverständnis darüber, wie wir Erkenntnisse erlangen, kann es dabei allerdings kaum geben: Was wir messen, ist immer Quantität, nicht Qualität; durch Messen erhalten wir zunächst einmal nur Fakten. Fakten allein sind aber noch keine inte­ressante Form der Erkenntnis – um eine solche zu erlangen, ist ein auf Fakten aufgebautes, argumentie­rendes Theoriegebäude nötig. Charles Darwin hat diesen Punkt einmal so zusammengefasst:

Vor etwa dreißig Jahren wurde viel darüber geredet, dass Geologen nicht theoretisieren sollten, sondern nur beobachten. Und ich erinnere mich, wie jemand sagte, dass man sich unter diesen Voraussetzungen auch in eine Kiesgrube setzen, die Kiesel zählen und ihre Farben beschreiben könnte. Es ist schon seltsam, wie man nicht sehen kann, dass jede Beobachtung für oder gegen eine bestimmte Theorie gemacht werden muss, um von Inte­resse zu sein!

Und das heißt beileibe nicht, dass wir keine objektiven Erkenntnisse erlangen könnten – sie können nur nicht absolut sein, sondern bleiben immer revidierbar. Es heißt weiterhin, dass Messen zwar eine häufig not­wendige Bedingung ist, um Erkenntnisse zu erlangen, aber in keinem Fall eine hinreichende. Auch über die Qualität von Unterricht und Schulen können wir verlässliche Erkenntnisse erlangen, nur messen alleine können wir sie ganz sicher nicht.

Und selbst dann fehlt noch ein weiterer Aspekt, der eine besondere Relevanz für Schüler hat: Welche Fakten zu erheben von Interesse ist, folgt allein aus einer bestimmten Problemsituation. Zuerst muss man klären, was für ein Erkenntnisinteresse man denn eigentlich hat, und welche Fakten überhaupt geeignet wären, dieses Interesse zu befriedigen. Das sind bereits drei entscheidende und tiefgreifende Schritte der Erkennt­nisgewinnung, die Schüler in jedem Fall lernen müssen: Problembeschreibung, Bildung einer Theorie, was für Erkenntnisse möglich wären, und das Sammeln einschlägiger Fakten, um diese Theorie beurteilen zu können.

All das heißt: Messen steht weder am Anfang noch am Ende des Erkenntnisprozesses. Durch Messen be­kommen wir keine Verlässlichkeit in allen Fragen, die über simple Fakten hinausgehen. Entscheidend ist in jedem Fall Argumentation: dafür, was eigentlich ein interessantes Problem ist; dafür, welche Theorien plau­sibel sind; und dafür, wie man aussagekräftige Fakten erheben kann, die eine rationale Entscheidung dann stützen helfen. Oder in den Worten des Physikers David Deutsch: Nichts wird jemals bewiesen, außer durch Argumente.

Letztendlich steht am Anfang von Bildung – die nun einmal immer etwas mit Wissen zu tun hat – eine alles­entscheidende Fähigkeit: zu erkennen, dass jeder Mensch in Gefahr ist, sich vorzumachen, er wisse etwas, das er tatsächlich gar nicht weiß. Diese Gefahr ist umso größer, je mehr unsere liebgewonnenen Vorurteile ins Spiel kommen. Und es lassen sich Vorkehrungen dagegen treffen, sich selbst und andere hinters Licht zu führen. Das zu lernen muss eines der ersten Ziele jeglicher Bildung sein.

2 comments

    • Hartmut Lindner on 14. July 2013 at 23:55
    • Reply

    Es ist schon bezeichnend, dass es in der PISA-Diskussion keine Methodenkritik gibt.
    Früher war Methodenkritk die Königsdisziplin in den Sozialwissenschaften.
    Erinnert sich heute noch jemand an den Positivismusstreit?
    Heute haben sich die “Positivisten” durchgesetzt und praktizieren eine krude Art von Positivismus, die einem die Haare zu Berge stehen läßt.

    Dass die deutsche Schule sozial selektiv ist, hat Ralf Dahrendorf schon in den 60er Jahren in seiner Schrift “Bildung ist Bürgerrecht” dargelegt.Geändert hat das nichts.
    Pisa wird daran auch nichts ändern.

    Verheerend ist Pisa aber insoweit, als es die deutschen Lehrer als Versager hinstellt, die in internationalen Vergleich nicht mithalten können, die faulen Säcke. Wird Zeit, dass man ihnen Beine macht.
    Immer feste druff.

    Übrigens Gerhard Schröder, der Mann mit der feinen Nase und dem absoluten Gespür für volksnahe Themen, hat sein Lehrerbashing ohne aufwendige Pisa-Studien im Hintergrund gewagt. Er ist eben ein Naturtalent.

      • PeterM on 1. September 2013 at 23:24
        Author

      Da kann ich jetzt nicht widerstehen: Mit „Positivismus“ hat die ganze Debatte nichts zu tun – auch nicht einzelne Teilnehmer. Positivisten waren solche, die Verifizierbarkeit als Kriterium für Bedeutungshaltigkeit eines Satzes angenommen haben. Auch im sogenannten Positivismus­streit waren keine Positivisten beteiligt: Popper und Albert, die gerne als solche bezeichnet wurden, hatten ganz ausdrücklich eine gegenteilige Auffassung wie die tatsächlichen Positi­visten. Und bei PISA sind es bestenfalls Leute, die ihre Ergebnisse als etwas verkaufen, was sie nicht sind. Und damit sind sie einfach schlechte bzw. keine Wissenschaftler.

Leave a Reply to Hartmut Lindner Cancel reply

Your email address will not be published.