Wissenschaft und Berufswahl-SIEGEL

Die Qualität der Kriterien bestimmt die Qualität des Siegels
Beitrag für das Online-Handbuch Berufswahl-SIEGEL  
Verfasser: Bert Butz

Wissenschaft und Gütesiegel
Wer ein Gütesiegel verleihen will, muss sich Gedanken um die Maßstäbe machen. Er muss Kriterien entwickeln, er muss sie in Fragen übersetzen, er muss die Antworten bewerten. Dabei gilt es immer dem Anspruch gerecht zu werden, dass alles fair und gerecht abläuft und dass es sich um die richtigen Kriterien handelt. Dies ist gar nicht einfach. Auf dem Weg von der Umsetzung der guten Idee bis zu einer gut begründeten Bewertungsgrundlage für eine SIEGEL-Verleihung lauern einige Fallstricke.

Zur Auswahl der Kriterien wird gerne auf die Wissenschaft zurück gegriffen. Wissenschaft steht (noch) in dem Ruf, Wahrheit zu liefern. Wissenschaftlich begründete Erkenntnis steht nicht in dem Ruf, bestimmten Interessen zu dienen. Wissenschaft ist neutral, eben wissenschaftlich.

Aber Wissenschaft hat Grenzen. Sie kann nicht jede Frage beantworten. Die Ursache hierfür liegt nicht so sehr darin, dass Wissenschaft noch nicht über die passenden Methoden und Instrumente verfügt, vielmehr entziehen sich manche Fragen grundsätzlich einer wissenschaftlichen Betrachtung, wie zum Beispiel Glaubensfragen, Fragen die grundsätzliche Werte, Überzeugungen und Anschauungen berühren sowie Fragen, die unterschiedliche, vielleicht sogar gegensätzliche Interessen berühren. Die Beantwortung der Frage, was von einer Schule im Hinblick auf die Vorbereitung auf die Arbeitswelt erwartet werden kann, welche Kriterien eine gute Vorbereitung auf die Arbeitswelt signalisieren, könnte ebenfalls eine solche Frage sein.

Wissenschaft kann nur in sehr eingeschränktem Maße Wertsetzungen und Begriffsbildungen im Hinblick auf ihren „wahren“ Gehalt beurteilen. Wertsetzungen und Begriffsbildungen sind in erster Linie diskursiv abstimmbar, und nur sehr eingeschränkt theoretisch ableitbar oder gar empirisch bestimmbar. Was bspw. unter Berufsorientierung verstanden wird, muss vor dem Einsatz von Wissenschaft geklärt werden.

Wertsetzungen führen zu Zielbestimmungen. Aus diesen Zielbestimmungen wiederum leiten sich Kriterien ab. Kriterienlisten sind damit indirekt Ausdruck von Wertsetzungen. Das gilt natürlich auch für die Kriterien zur SIEGEL-Vergabe. Wissenschaftlich prüfen lässt sich die Übereinstimmung von Kriterien und Zielen und in eingeschränktem Maße von Zielen und Werten. Wissenschaftlich beurteilen lässt sich das Instrumentarium, mit dem die Kriterien bewertet werden. Die folgenden Überlegungen hierzu basieren auf der Synopse der SIEGEL-Kriterien aus diesem Handbuch.

Der Kriterienkatalog

Offenheit der Datengewinnung
Wer ein Schul-SIEGEL vergeben möchte, beurteilt Schulen nach Kriterien. Um diese Kriterien anwenden zu können, benötigt man Informationen. In den SIEGEL-Projekten wird dazu ein zweistufiges Verfahren durchgeführt. Die Informationen werden zunächst durch eine Selbstevaluation auf der Basis eines vorgegebenen Fragerasters erhoben sowie mittels einer darauf folgenden Vorortbegehung überprüft. Wie geht man dabei am geschicktesten vor? Wie erhält man alle Informationen, die man benötigt, und wie erhält man sie in der notwendigen Qualität und Aussagekraft, um eine Bewertung vornehmen zu können?

Schon seit langem wird in der empirischen Sozialforschung, also bei der systematischen Erfassung von Informationen, die ideale Vorgehensweise diskutiert. Die Positionen der Gelehrten für Befragungsregeln schwanken dabei insbesondere zwischen einer quantitativen, auf Zahlen fixierten Vorgehensweise, die den Befragten Antwortmöglichkeiten weitestgehend verbindlich vorgibt, und einer so genannten qualitativen Datenerhebung, die mehr auf textliche, erzählende Informationen setzt. Ob man nun qualitative, offene Fragen bevorzugen oder doch lieber auf quantitative, geschlossene Fragen setzen sollte und wie detailliert diese Fragen gestellt werden sollten, ist ein wissenschaftlich nicht generell lösbares Problem und abhängig vom jeweiligen Erkenntnisinteresse.

Diese Debatte ist ohne inhaltlichen Bezug, ohne eine klare Vorstellung von Zielen und Ressourcen unfruchtbar. Jedes Verfahren hat seine spezifischen Vor- und Nachteile. So gilt, dass Fragebögen mit geschlossenen Fragen viel leichter auszuwerten sind. Auf der anderen Seite können durch solche Fragen komplexere Zusammenhänge nur schwer erfasst werden. Offenere Fragen lassen auch Platz für „unerwartete“ Antworten, erfassen damit also echte Innovationen viel besser. Sie regen auch stärker zur Beschäftigung mit sich selber an, können also im Sinne eines Anstoßens von Schulentwicklungsprozessen hilfreich sein. Andererseits sind die Antworten schwerer einzuschätzen und zu vergleichen, da das persönliche Engagement und Mitteilungsvermögen der Befragten viel stärker durchschlägt als bei den standardisierten geschlossenen Fragen.

Der Einsatz von antwortoffenen Fragen wirft noch ein weiteres – im Prinzip allerdings lösbares – Problem auf. Eine solche angestrebte Offenheit bei der Beantwortung eines Fragenkatalogs hat nämlich auch etwas mit der formalen Gestaltung des ganzen Verfahrens zu tun. Wenn Ergänzungen und Differenzierungen seitens der befragten Schulen gewünscht sind, dann sollte man das Verhältnis von Fragenkatalog zu Dokumentlänge beachten und genügend Platz zur Darstellung gewähren.

Frageformulierungen
Wer einen Kriterienkatalog formuliert, transportiert damit auch eine bestimmte Vorstellung über den zu prüfenden Gegenstand. Dies birgt die Gefahr von Akzeptanzproblemen in sich. Das Akzeptanzproblem wird umso größer, je enger die Vorgabe eines bestimmten Verständnisses von optimaler Berufsorientierung ausfällt. Dies gilt in zweifacher Hinsicht:

1. Fehlende Berücksichtigung spezifischer Rahmenbedingungen Die Schulen haben in aller Regel unterschiedliche Rahmenbedingungen für ihr Handeln. Dies gilt nicht nur zwischen verschiedenen Regionen oder Bundesländern, sondern schon am gleichen Ort in unterschiedlichen Stadtteilen. Wer jetzt mit einem sehr engen, einheitlichen Bewertungsmaßstab über alle Schulen hinweggeht, wird schnell mit dem Vorwurf der Praxisferne kämpfen müssen, sofern er überhaupt die erforderlichen Daten bekommt.
2. Genereller Widerstand als Angst vor Bevormundung Wer von außen etwas Neues an Schulen heranträgt, wer sich anmaßt, sie zu bewerten, und dann noch nicht einmal selbst aus dem Schulsystem kommt – sprich: als Lehrkraft tätig war – hat immer mit Akzeptanzproblemen zu kämpfen. Ein Umstand, der übrigens nicht nur für die Lehrerschaft, sondern für jede abgrenzbare Gruppe gelten dürfte. Akzeptanz und Vertrauen in die Initiatoren eines Bewertungssystems wie dem SIEGEL müssen erst hergestellt werden.

Aus beiden Gründen kann es hilfreich sein, nicht mit einem vorgefassten festen Verständnis von einer guten Schule aufzutreten, sondern grundsätzlich bereit zu sein, auch eine andere Konzeption als gleichwertig oder sinnvoll anzuerkennen – und damit sich auch selbst die Möglichkeit zu erhalten, Neues zu entdecken.

In diesem Sinne erscheint es generell als Problem, bei den Bewertungskriterien auf konkrete Maßnahmen und Inhalte abzuzielen, z. B. auf die Existenz von Schülerfirmen oder die Teilnahme an einem Wirtschaftswettbewerb. Dies verengt die Aufmerksamkeit und ist von daher eher innovationsfeindlich. Vermutlich können in einem Theaterprojekt vergleichbare Kompetenzen und Wissen über (betriebs)wirtschaftliche Zusammenhänge erworben werden, wie in einer Schülerfirma. Ein Theaterprojekt würde jedoch bei einer entsprechenden Frage nach Schülerfirmen wahrscheinlich nicht angegeben werden. Daher scheint es auch sinnvoll, eher funktional zu fragen und nicht nach einzelnen Maßnahmen, also zum Beispiel allgemein nach der Förderung selbstständigen Lernens. Dafür kann es dann unterschiedliche Wege und Methoden geben, die aber die gleiche Funktion erfüllen.

Auch die Kriterien des EFQM-Modells beinhalten keine konkreten Handlungsvorschriften, sondern sind sehr allgemein gehalten. Es wird danach gefragt, wie bestimmte Probleme gelöst werden. Die Umsetzung bleibt in der Kriterienliste offen. Es wird also kein „Königsweg“ für ein gutes Unternehmen vorgegeben, sondern nach der spezifischen Umsetzung von Strukturmerkmalen sowie deren Zusammenhang und Funktion für die zentralen Geschäftsprozesse gefragt. Dies erscheint auch für Schulen und deren Aktivitäten zur Förderung der Jugendlichen beim Übergang in die Arbeitswelt sinnvoll. Die für die jeweilige Schule und die jeweiligen Schülerinnen und Schüler richtigen Maßnahmen und Konzepte sind ebenso wie die Unternehmensstrategien im Wirtschaftsbereich von den lokalen Bedingungen abhängig und verändern sich obendrein ständig.

Ein weiterer Punkt, der Probleme bei der Datengewinnung aufwerfen kann, ist die Verständlichkeit von Fragen. Fragestil, Wortwahl und Satzbau sollten immer die Sprech- und Denkweise des Adressaten berücksichtigen. Das klingt trivial, aber es gibt Unternehmensberater, die davon berichten, dass sie vor Umstrukturierungsmaßnahmen in größeren Firmen zunächst „Sprachkurse“ abgehalten haben, damit sich die Techniker und die Kaufleute verstehen konnten. Dabei ist es gar nicht so sehr das Problem, wenn Fachbegriffe verwendet, von der anderen Seite aber nicht verstanden werden. Diese Fälle lassen sich durch nachfragen oder nachlesen lösen. Schwieriger ist es, wenn Begriffe verwandt werden, die jeder versteht – aber jeder anders.

Begriffe, die im alltäglichen Sprachgebrauch nicht eindeutig definiert sind sowie solche, die in der vom Fragebogen erreichten Öffentlichkeit den Charakter von Schlagworten haben und emotional stark besetzt sind, sollten nur sehr vorsichtig verwendet werden. Selbst ein Begriff wie „Kooperation“ ist nicht so eindeutig, wie es auf den ersten Blick aussieht. Wann beginnt eine Kooperation, wie viele Treffen sind erforderlich und welche Inhalte müssen miteinander besprochen werden, um von einer Kooperation sprechen zu können? Ist die Abnahme von Praktikanten bereits eine Kooperation – oder erst die gemeinsame Erstellung und Fortentwicklung eines Praktikumkonzeptes? Um solchen Schwierigkeiten, die bei der Auswertung eines Fragebogens zu erheblichen Beurteilungsproblemen und Missverständnissen führen können, aus dem Wege zu gehen, empfiehlt es sich unbedingt, Fragebögen vor dem Einsatz mit Personen aus der Zielgruppe zu testen.

Bewertung
Die Bewertung eines Kriterienkatalogs, die Gewichtung der einzelnen Fragen im Hinblick auf ihren Beitrag zum Gesamtergebnis, sind auch eine Frage von Prioritätensetzungen und damit Werten. Ein Aspekt kann in einem Unterpunkt abgehandelt oder zu einem direkt in die Bewertung eingehenden Kriterium werden. Es können aber auch aus einem Kriterium, durch eine Zerlegung in Detailfragen deren vier gemacht werden – womit unter Umständen diesem Kriterium gleich das vierfache Gewicht bei der Berechnung des Gesamtergebnisses zukommt. Falls jedes Kriterium formal gleich bewertet wird, wird das Ergebnis somit – vielleicht sogar unbeabsichtigt – durch die unterschiedliche Fragentiefe stark beeinflusst. Es kommt also nicht nur darauf an, wonach gefragt wird, sondern auch, wie detailliert diese Fragen gestellt werden.

Diesem Problem lässt sich begegnen, indem Themenblöcke gewichtet werden. So wird beispielsweise beim EFQM-Modell und auch bei manchen bestehenden SIEGEL-Projekten verfahren. Das heißt: nicht jedes Kriterium geht mit dem gleichen Gewicht in das Endergebnis ein. Die Kriterien werden stattdessen in Themenblöcken zusammengefasst, die einen bestimmten (und durchaus nicht immer gleichen) Anteil am Gesamtergebnis zugewiesen bekommen. Die einzelnen Kriterien tragen nun nur noch zum Ergebnis des einzelnen Themenblocks bei. Auch dieses Verfahren wird nicht immer jeder als fair betrachten, schließlich gibt es kein objektives Maß, mit dem sich das Gewicht eines Themenblockes bestimmen ließe. Jedoch bietet es den Vorteil, dass es durch die verhältnismäßig geringe Anzahl von Blöcken sehr bewusste Gewichte sind. Unbeabsichtigte Gewichtungen durch eine schwer überschaubare größere Anzahl einzelner Kriterien mit unterschiedlicher Nachfragetiefe können so vermieden werden.

Die Qualität einer Institution erweist sich in der Regel allerdings nicht durch die Existenz einzelner Merkmale. Entscheidend ist vielmehr das ganzheitliche integrierte Zusammenspiel dieser Merkmale, also das Gesamtkonzept. In einem solchen Konzept ist im Prinzip nicht jedes Merkmal gleich wichtig, aber doch jedes notwendig. Der Ausfall eines Elements führt zum Versagen des Systems. So werden die Schrauben einer Radaufhängung nicht dafür sorgen, dass ein Rennwagen schneller als ein anderer fährt, aber ohne diese Schrauben wird er eben überhaupt nicht fahren. Für ein Bewertungsschema bedeutet dies, dass ein schlechtes Ergebnis in einem Themenblock nicht einfach durch andere gute Ergebnisse ausgeglichen werden darf, sondern dass in jedem Einzelbereich die Prüfung im Hinblick auf das Gesamtziel bestanden werden muss.

Das EFQM-Modell für die Verleihung des European Quality Award, das auch vielen SIEGEL-Projekten bei der Entwicklung ihres Bewertungsmodells Pate stand, ist ein sehr ambitioniertes Bewertungssystem. Allerdings handelt es sich um ein sehr aufwendiges Verfahren, das eine intensive Schulung aller Beteiligten, sowohl des zu bewertenden Unternehmens als auch der Auditoren, erfordert. Einem solchen Verfahren sind hinsichtlich seiner Exaktheit und Objektivität im nichtkommerziellen Schulbereich Grenzen gesetzt, da genau dieser Aufwand nicht zu leisten ist. Weder werden die Schulen sich ein halbes Jahr Zeit nehmen können, um sich intensiv selbst zu durchleuchten, noch werden die Jurymitglieder aus intensiv geschulten Beurteilungsexperten bestehen können. Hier gilt es also Abstriche bei der Qualität der Bewertung zu machen. Dies wäre im Sinne des Zieles, primär Diskussions- und Entwicklungsprozesse an den Schulen zu initiieren, nicht problematisch. Da eine SIEGEL-Verleihung aber natürlich einen öffentlich wahrnehmbaren Wettbewerbscharakter hat, ist für die Akzeptanz eine einheitliche, als fair empfundene Bewertung unabdingbar.

Hierzu wurde bisher keine einheitliche Regel in den bestehenden SIEGEL-Projekten gefunden. Die einen versuchen, Transparenz und Objektivität durch eine vorab veröffentlichte detaillierte Punkteliste für jeden Einzelaspekt herzustellen und lassen die Beurteilung am Ende von der gesamten Jury verantworten. Dies hat den Vorteil, einen einheitlichen Bewertungsmaßstab zu haben, der den Einfluss subjektiver Empfindungen und Stimmungen beim Schulbesuch minimiert. Andere wählen den Weg, den Jurymitgliedern beim Schulbesuch vor Ort einen größeren Spielraum bei der Bewertung einzuräumen und auch nur diese Jurymitglieder letztendlich entscheiden zu lassen. Dies wiederum ermöglicht es besser, den Konzeptgedanken und die spezifischen Rahmenbedingungen, die sich nur bei einem Vorortbesuch erschließen, zu berücksichtigen. Angesichts der beschränkten Ressourcen, die zur Verfügung stehen und der dadurch notwendigen Abstriche – wobei erklärend hinzugefügt werden kann, dass selbst professionelle EFQM-Auditoren ihre Bewertung nicht als wissenschaftlich objektiv bezeichnen – wird man kein optimales Verfahren finden können. Akzeptanz wird somit eher zu einer Frage des Fingerspitzengefühls und der Selbstehrlichkeit, indem man für sein Verfahren gar nicht erst eine Objektivität und Messgenauigkeit reklamiert, die man doch nicht einlösen kann.

Zusammenfassung
Zur Kriteriengewinnung und -formulierung ließe sich also zusammenfassend Folgendes festhalten:

Die Ziele des SIEGEL-Projekts sollten klar benannt werden. Bisher werden in der Regel drei Ziele verfolgt:

1. schulische Leistung öffentlich anerkennen,
2. Standards zur Berufsorientierung setzen und 
3. eine Qualitätsdiskussion an den Schulen zum Thema Berufsorientierung in Gang bringen.

Es sollte eine eindeutige Begriffsklärung vorgenommen werden. Welcher Begriff und welches Begriffsverständnis ist Grundlage für das SIEGEL: Berufsorientierung, Berufswahlverhalten, Ausbildungsfähigkeit oder Arbeitsweltorientierung? Diese Begriffe können im Hinblick auf die Kriterienauswahl nicht gleichgesetzt werden.

Welche Inhalte stehen für die Initiatoren im Vordergrund? In der Projektgruppe sollte bezüglich der Ziele, Begriffe und Werte ein Konsens gefunden werden, der einen echten Konsens und nicht nur einen Formelkompromiss darstellt.

Der Fragebogen und die Frageformulierungen wären exakt an den Zielen zu prüfen. Dadurch ist die Vermeidung „interessanter“, aber nicht zielfördernder Fragen möglich, was letztendlich den Arbeitsaufwand bei allen Beteiligten reduziert und den Ertrag hinsichtlich der Zielerfüllung erhöht.

Abhängig von Zielen und Begriffsverständnis sind Top Down Bewertungsmaßstäbe zu entwickeln. Top Down bedeutet hier, ausgehend vom Leitbegriff – z. B. Berufsorientierung – eine systematische Ableitung über mehrere Ebenen hinweg zu leisten (Themenblöcke, Kriterien, Unterfragen). Auf der ersten Gliederungsebene (Themenblöcke) sollte eine Gewichtung vorgenommen werden, um unbewusste Verzerrungen durch unterschiedliche Ausdifferenzierungen zu vermeiden.

Es sollten Mindestanforderungen für die einzelnen Kriterien formuliert werden, die für ein Gelingen von Berufsorientierung unabdingbar sind.

Der Bezug auf das EFQM-Modell ist für die Entwicklung der Kataloge und Bewertungssysteme hilfreich und sinnvoll. Er sollte aber nicht überstrapaziert werden, denn das Modell ist nicht für den Einsatz an Schulen konzipiert.

Es muss Akzeptanz aufgebaut werden. Der Kriterienkatalog kann dazu seinen Beitrag leisten, indem Werte und Bewertungsschema öffentlich publiziert werden,
- die Kriterienableitung transparent, in sich schlüssig und damit nachvollziehbar ist und
- funktional und nicht maßnahmenorientiert gefragt wird. Es gilt auch andere Wege zuzulassen, es gibt keinen „Königsweg“.

Abschließend sei an Folgendes erinnert:

1. Die Überprüfung eines Standards erfordert exakte Fragen. Das Anregen von Diskussionen und Entwicklungsprozessen setzt dagegen möglichst offene Fragen voraus, die auch Freiräume für neue Ideen bieten. Aber auch durch Diskussionsprozesse lassen sich Standards setzen, sogar solche, die in den Schulen anerkannt werden.
2. Für das Anstoßen von Entwicklungen dürfte eine Wettbewerbsteilnahme alle drei Jahre kaum genügen. Dafür sind Bewertungs- und Rückmeldesysteme erforderlich, die Entwicklungsschritte verdeutlichen können sowie laufende Unterstützungsangebote. Wie heißt es so schön: „Vom Messen allein ...“