Unter Forschenden ist Widerstand gegen die (externe) Evaluation ihrer Forschung weit verbreitet. Vor allem in den Geisteswissenschaften herrscht die Meinung vor, dass das jeweils eigene Forschungsfeld so spezifisch sei,dass es kaum mit der Forschung von Fachkolleginnen und -kollegen, selbst in der eigenen Disziplin, auf die Forschungsqualität hin verglichen werden könne. Das stimmt nicht, wie die Ergebnisse aus dem an der Universität Luzern bearbeiteten Forschungsprojekt "Ressourcen-basiertes Instrument zur Abbildung geisteswissenschaftlicher Forschung am Beispiel der Theologie" zeigen.

Kritik an Praktiken der gegenwärtigen Forschungsevaluation ist dennoch gerechtfertigt. Der Ansatz an sich ist richtig und ganz im Interesse der Wissenschaft selbst: Forschung auf ihre Qualität hin prüfen und gute Forscherinnen und Forscher fördern. In der heutigen "Evaluationsgesellschaft" (Peter Dahler-Larsen) ist es richtig, dass Forschende über die Verwendung von Forschungsgeldern Rechenschaft ablegen und angehalten sind, mindestens den wissenschaftlichen Nutzen der Forschung darzulegen.

Bedenklich ist aber, dass in der Forschungsevaluation ein Fokus auf wenige quantitative Messinstrumente vorherrscht, die in der Praxis oft falsch angewendet werden. Diese Instrumente sind nicht an sich schlecht – wenn sie so eingesetzt werden, wie sie gedacht sind. Sollen sie aber etwas aussagen, über das sie schlicht nichts aussagen können, sprich werden sie von den Anwenderinnen und Anwendern fehlinterpretiert, ergibt sich ein Problem. Der "Journal Impact Factor" zum Beispiel beschreibt den Einfluss einer Fachzeitschrift. Er ist nicht geeignet, um die Qualität einzelner Artikel oder derer Autoren zu beurteilen,wird von Evaluatoren und den Forschenden selbst aber häufig so gedeutet. Erprobte, gute Instrumente werden also in der Praxis falsch eingesetzt. Zudem bilden die viel verwendeten Indikatoren zum Publikationsoutput und zur Höhe von eingeworbenen Drittmitteln nicht alle Forschungsprofile gleich gut ab.

Interdisziplinarität automatisch gut?

Bestimmte Profile werden im Evaluationsprozess in der Regel unbewusst und unhinterfragt privilegiert, die Evaluationsinstrumente "verselbstständigen" sich und korrespondieren oft nicht mit dem Evaluationsziel. Dabei sollte doch zunächst einmal das Ziel bestimmt und anhand dieses Ziels nach den passenden Kriterien und "Messinstrumenten" gesucht werden. Ein Beispiel: Geht es darum, exzellente interdisziplinäre Forschung zu fördern,so ist es sinnvoll, nach der Interdisziplinarität zu fragen. Inzwischen wird sie jedoch auch dort zu einem Qualitätskriterium erhoben, wo es allgemein um "gute Forschung" geht. Doch ist Forschung – egal, zu welchem Thema – tatsächlich per se schlechter, wenn sie nicht interdisziplinär ist? Oder Vernetzung und Internationalität: Hat ein Rechtswissenschaftler, der zum Schweizer Familienrecht forscht, Kooperationspartner in den USA, mag das für ihn bereichernd sein. Internationale Vernetzung ist hier aber kaum als Qualitätskriterium relevant; das Fehlen solcher Kooperationen oder das Publizieren in der Landessprache statt auf Englisch können in diesem Forschungsbereich nicht als Zeichen für geringe Qualität gelten.

Kurz: Der Qualitätsvergleich ist dann sinnvoll, wenn die Kriterien sinnvoll sind, also der Vergleichsmassstab Sinn macht. Und der Vergleichsmassstab hängt eben vom Vergleichsgegenstand und der Zielsetzung ab.

Theologie und die Geisteswissenschaften

Zur im Rahmen der Luzerner Studie genauer betrachteten Theologie: Um der Antwort auf die Frage, wie theologische Forschung beurteilt werden kann, auf die Spur zu kommen, bringt es wenig zu sagen: "Wir vergleichen nur Äpfel mit Äpfeln" – also Theologen nur mit Theologen oder etwa Bibliker ausschliesslich mit Biblikern usw. Die innertheologische Vielfalt ist gross, einige Forschungsfragen und Herangehensweisen deuten eher auf die Nähe zu anderen Disziplinen (z.B. Geschichte, Literaturwissenschaft, Rechtswissenschaft, Soziologie) hin, als dass sie zum Vergleich mit anderen theologischen Forschungen einladen. Kann man theologische Forschung demnach nicht mit anderer theologischer Forschung vergleichen? Doch. Und sogar ein Vergleich theologischer Forschung mit geisteswissenschaftlicher Forschung verschiedener verwandter Disziplinen kann – je nach Vergleichsziel – sinnvoll sein.

Die im Rahmen des Projektes befragten Theologinnen und Theologen anerkennen eine Mehrheit der gesammelten Qualitätskriterien als geeignet zur Beurteilung ihrer Forschung. Ein Teil dieser Kriterien wird aber je nach Fachbereich oder Ausrichtung der Forschung unterschiedlich gewichtet. Dabei sind die Kriterien, die durch alle theologischen Fachbereiche hinweg als wichtig erachtet werden, Kriterien, die auch von einer Mehrheit aller Forschenden in den Geisteswissenschaften geteilt werden: etwa die wissenschaftliche Relevanz der Fragestellung, die Angemessenheit der Methodologie, die Machbarkeit. Die Schnittmenge mit den Geisteswissenschaften insgesamt ist also gross. Nur wenige der im Projekt zusammengetragenen Kriterien sind spezifisch theologisch (z.B. Relevanz der Forschung für die Kirchenpraxis). Und diese sind auch innerhalb der Theologie nicht in allen Fachbereichen und Forschungsfeldern überhaupt bedeutsam. Es ist dabei keine Besonderheit der Theologie, dass sie neben dem Gros der mit anderen Wissenschaften geteilten Kriterien auch einen kleinen Teil disziplinenspezifischer Kriterien kennt, die für einige ihrer Forschungsbereiche bedeutsam sind. Auch, dass diese Kriterien sich vor allem auf ein nichtakademisches "Praxisfeld" beziehen, ist entgegen aller Erwartungen und der Kritik, die von aussen gern an die Theologie gerichtet wird, nichts Besonderes. Wissenschaften wie die Rechtswissenschaft, Wirtschaftswissenschaften,Politikwissenschaft, Erziehungswissenschaft, Psychologie und andere teilen dieses Merkmal.

Merkmal oder Qualitätskriterium?

Vergleiche sind also gut möglich. Doch welche Kriterien in welcher Gewichtung in eine vergleichende Bewertung eingehen sollten, lässt sich nicht pauschal sagen. Im Einzelfall muss gefragt werden: Was wird zu welchem Zweck evaluiert? Welche Kriterien sind dafür geeignet? Inwiefern ist der Vergleichsmassstab geeignetfür die betroffenen Forschungsbereiche? Im Rahmen des Forschungsprojekts wird vorgeschlagen, beim Vergleich zwischen1. Qualitätskriterien im engeren Sinne und 2. Merkmalenzur Beschreibung von Forschungsprofilen zu unterscheiden. Je nach Evaluationssituation kann dabei ein und derselbe Aspekt ein Qualitätskriterium oder ein beschreibendes Merkmal sein.Das lässt sich an der genannten "Interdisziplinarität" veranschaulichen: Diese ist gemäss der Studie nicht an sich als Qualitätskriterium,sondern zunächst einmal wertfrei als eine Information über die Ausrichtung der Forschung einzustufen. Ist das Ziel einer Evaluation jedoch, gute interdisziplinäre Forschung zu fördern, wird sie zu einem – in diesem Fall – passenden Vergleichskriterium.