Hat je eine wissenschaftliche Studie unabhängiger Experten ein Programm der Forschungsförderung umsteuern können? Tatsächlich, auf verschiedene Weise. Im Jahre 1989 wurde sogar einmal eine beabsichtigte Fördermaßnahme gestoppt: Ein Gutachten des Deutschen Instituts für Wirtschaftsforschung empfahl damals, eine vom Bundesministerium für Forschung und Technologie erwogene finanzielle Förderung der Verbreitung von Faserverbundwerkstoffen in der mittelständischen Industrie zurückzustellen – weder die Technologieentwicklung noch die Industrie wurden seinerzeit als dafür reif genug bewertet. Das Gutachten hat verhindert, daß viele Millionen Mark quasi in den Sand gesetzt wurden.

Sind solche unabhängigen Bewertungen demnach nützlich? Die Forschungs- und Technologiepolitik wird immer unübersichtlicher, so viele Akteure sind auf diesem Gebiet mittlerweile tätig: die Bundesministerien, die relativ eigenständigen großen Forschungs- und Förderorganisationen, die Landesregierungen und immer weitreichender auch die Europäische Union. Sie alle bieten Fördermaßnahmen für Forschung und Technologieentwicklung in Wissenschaft und Industrie. Seit Anfang der neunziger Jahre allerdings stagnieren die staatlichen Mittel. Die Öffentlichkeit und auch Experten haben den ökonomischen oder gesellschaftlichen Nutzen so mancher Fördermaßnahme in Zweifel gezogen. Andererseits fordern Industrie und Wissenschaft immer dringlicher ein wieder deutlich verstärktes staatliches Engagement bei der Förderung von Forschung und Technologie.

Vor diesem Hintergrund steigt in jüngster Zeit das Interesse an Bewertungen – den Evaluationen – des Nutzens und der Wirkungen staatlicher Forschungsförderung. Das heutige Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie (BMBF) ließ 1992/93 vom Fraunhofer-Institut Systemtechnik und Innovationsforschung (ISI) in Karlsruhe mehr als 50 Evaluationen seiner Förderprogramme im Rahmen einer sogenannten Meta-Evaluation kritisch analysieren ("Evaluation von Technologiepolitik in Deutschland. Konzepte, Anwendung, Perspektiven" von Stefan Kuhlmann und Doris Holland, Physica-Verlag, Heidelberg 1995).


Arten der Evaluation

Evaluationsstudien im hier verstandenen Sinne sollen die Wirkungen von forschungs- und technologiepolitischen Maßnahmen feststellen, um Planungs-, Entscheidungs- und Bewertungsprozesse auf politischer Ebene unterstützen zu können.

Man kann grundsätzlich zurückschauende (Ex-post-) Evaluationen, ein Förderprogramm begleitende Studien sowie vorausschauende (Ex-ante-) Analysen unterscheiden. Ex-post-Evaluationen sollen erzielte Wirkungen feststellen und bewerten, sollen helfen zu lernen, sollen aber auch die staatlichen Fördermaßnahmen nachträglich legitimieren. Begleitende Studien sollen das Management laufender Programme unterstützen und gegebenenfalls Kurskorrekturen ermöglichen. Strategische Ex-ante-Analysen sollen vorausschauend die möglichen Wirkungen unterschiedlicher technologiepolitischer Eingriffe bewerten; operationale Ex-ante-Studien prüfen die Erreichbarkeit bereits festgelegter Ziele bei variierenden Programmgestaltungen.

Alle diese Studien sind als wissenschaftlich begründete empirische Untersuchungen angelegt – und dürfen darum nicht mit den im Forschungsbetrieb üblichen Begutachtungen der wissenschaftlichen Qualität durch Fachkollegen (peer review) verwechselt werden.

Die Mehrheit der Förderbereiche weist eine geringe Evaluationspraxis auf. Relativ häufig wurden bisher die Bereiche marktnahe industrielle Forschung und Entwicklung, Technologie-Transfer und Technik-Diffusion, also die breiten- und öffentlichkeitswirksamen Maßnahmen, evaluiert; seit dem Ende der achtziger Jahre ließ der Bund verstärkt aber auch Programme analysieren, die Forschung und Entwicklung ausgewählter Technologielinien (wie Lasertechnologie und Mikrosystemtechnik) stärken wollen; in jüngster Zeit begann man zudem mit Bewertungen im Bereich der Vorsorgeforschung (etwa der Gesundheitsforschung). Demgegenüber wurden die Förderung von Grundlagenforschung und die institutionelle Förderung von Forschungseinrichtungen bisher kaum durch unabhängige Studien bewertet.


Leitfragen

Die Beurteilung von Fördermaßnahmen ist ein schwieriges und heikles Unterfangen: In Deutschland verfolgt man mit forschungs- und technologiepolitischen Programmen häufig strategische Ziele, etwa die Steigerung des technologischen Niveaus von Forschungseinrichtungen oder Unternehmen; die politischen Absichten sind also eher vage formuliert. Dies unterscheidet sie von Maßnahmen, die einem bestimmten Zweck dienen, etwa einen Menschen auf den Mond zu bringen oder die Häufigkeit von Krebserkrankungen zu senken. Programmevaluationen müssen deshalb sozusagen mehrdimensional angelegt werden: Ein aus der Sicht von Evaluationsexperten akzeptables Konzept umfaßt fünf Leitfragen, die befriedigend zu beantworten sind, wenn eine Fördermaßnahme positiv bewertet werden soll:

- Ist das Programm geeignet? Sind die zugrundeliegenden Annahmen richtig?

- Wird die Zielgruppe erreicht?

- Welche direkten und indirekten Wirkungen gibt es oder sind absehbar?

- Wurden Ziele erreicht?

- Sind Implementation und Verwaltung effizient?

Diese Fragen werden nicht einfach nur den Nutznießern und Verwaltern eines Förderprogramms gestellt, sondern – im Idealfall – durch ein ausgefeiltes sozial- und wirtschaftswissenschaftliches Instrumentarium untermauert. Methodisch gehören dazu Vorher-/Nachher-Vergleiche oder der Vergleich von geförderten und nicht geförderten Forschungsprojekten. Analysiert werden solche Daten im Rahmen von Fallstudien, durch Indikatorenbildung, Kosten-/Nutzen-Analysen und ökonometrischer Modellbildung. Die dafür benötigten Informationen und Daten gewinnt man in Befragungen und aus statistischen Quellen (etwa aus Forschungsaufwand, Patentstatistiken und Expertendaten).


Meta-Evaluation

Das ISI hat in seiner Meta-Evaluation 50 Evaluationsstudien externer Experten daraufhin geprüft, ob und wie diese Leitfragen beantwortet wurden. Untersucht wurden unter anderem – Evaluationen der Förderung mittelfristiger technologischer Entwicklungslinien (wie Lasertechnologie, Materialforschung und Mikrosystemtechnik), Evaluationen der Förderung technisch-organisatorischen Wandels (insbesondere in der Industrie, beispielsweise Humanisierung des Arbeitslebens/Technik und Arbeit), – Evaluationen der Förderung industrieller Innovation (insbesondere bei kleinen und mittleren Unternehmen, beispielsweise Auftragsforschung und -entwicklung) und – Evaluationen experimenteller Programme (beispielsweise Modellversuche technologieorientierter Unternehmensgründungen). Zusammenfassend lassen sich die seit 1985 durchgeführten Evaluationsstudien in folgender Weise charakterisieren: Evaluationslaufzeiten. Die Mehrzahl der Studien dauerte etwa zwei Jahre. Das erscheint zunächst als viel, ist aber angesichts der weitreichenden Fragestellungen durchaus akzeptabel. Einige sehr kurzläufige Studien gingen nur sehr eingeschränkten Fragestellungen nach und können kaum als Evaluation bezeichnet werden. Evaluationstyp. Reine Ex-post-, begleitende und Ex-ante-Analysen gibt es kaum. Oft kommen die verschiedenen Typen gemischt vor. Dies weist auf kombinierte Verwendungszwecke hin. Zielgruppe einer Fördermaßnahme. Fast alle Studien haben relativ ausführlich die Situation beziehungsweise das Verhalten der potentiellen oder der tatsächlichen Zielgruppen forschungs- und technologiepolitischer Fördermaßnahmen analysiert. Erreichter Stand von Forschung und Technologie im Bereich einer Fördermaßnahme, möglichst im internationalen Vergleich. Diese Analyse kann Aufschluß geben, ob eine weitere staatliche Förderung von Forschung und Technologie überhaupt erforderlich ist. Nur etwa die Hälfte der Studien, in denen eine solche Frage sinnvoll war, enthält entsprechende Untersuchungen. Technologieverbreitung. In knapp der Hälfte der Fälle, in denen Aufschluß über die erreichte oder zu erwartende industrielle Verbreitung neuer Technologien erforderlich gewesen wäre, wurden ausführliche Diffusionsanalysen durchgeführt. Daten. Nur wenige Studien gründen ihre Analysen auf eine Kombination von statistischen Daten (wie Forschungs-, Patent- oder Handelsstatistiken) und empirischen Erhebungen (etwa Ergebnissen eigener Umfragen und Daten über Antragsteller). Die Mehrheit der Studien basiert auschließlich oder überwiegend auf Ergebnissen eigener Erhebungen. Veröffentlichung. Die meisten Studien sind für die breite Öffentlichkeit nur schwer zugänglich; die Abschlußberichte liegen als sogenannte graue Literatur oder nur als regierungsinternes Dokument vor. Nur knapp ein Viertel aller Studien wurde bisher als Buch veröffentlicht (und erscheint damit in den Katalogen von Bibliotheken und Buchhändlern). Die Durchsicht der 50 Evaluationsstudien hinterließ bei uns ein widersprüchliches Bild: Ein großer Teil dieser Studien wurde systematisch und gründlich durchgeführt und liefert bemerkenswerte Einblicke in die Verwendung und die Wirkung staatlicher Forschungsförderung, andere hätten aber durchaus konsequenter und kritischer betrieben werden können.

Folgerungen

Als Ergebnis dieser Durchsicht und auf der Grundlage vertiefender Fallstudien gewannen wir viele Hinweise für eine künftige effektivere Evaluationspraxis:

Seit langem fordert die Evaluationsforschung die systematische Prüfung der Annahmen über wirtschaftliche oder technologische Probleme, die eine staatliche Maßnahme begründen. In der Praxis erweist sich diese Annahmenprüfung immer wieder als äußerst schwierig und wird häufig nur sehr unzureichend realisiert. Zum Teil ist das eine Konsequenz ungelöster methodischer Probleme, zum Teil drückt sich hier aber auch eine Vermeidungshaltung der Programmgestalter, teils auch der Evaluatoren aus: Die kompromißlose Frage nach dem Sinn einer Fördermaßnahme könnte unangenehme, radikale Antworten bewirken. Solange Programmverantwortliche zugleich Auftraggeber von Evaluationsstudien sind, besteht hier ein systematischer Interessenkonflikt.

Ein verstärkter Einsatz von querschnittartigen Evaluationskonzepten bietet sich vor allem für die übergreifende Planung der mittelfristigen Forschungsförderung an. Horizontale Studien können den Interessen und Aktivitäten verschiedenartiger forschungs- und technologiepolitischer Akteure, Adressaten und Betroffener Rechnung tragen und die zunehmende Überlappung und Verflechtung sowie die Wechselwirkungen von Forschungs- und Technologiegebieten thematisieren. Bisher gibt es erst wenige Beispiele für solche Studien.

Die Verknüpfung von Wirkungsanalysen laufender Fördermaßnahmen mit vorausschauenden Analysen des technologischen, ökonomischen oder sozialen Potentials neuer Forschungs- und Technologiegebiete wie der 1993 durchgeführten Delphi-Studie zur künftigen Entwicklung von Wissenschaft und Technik könnte hilfreich für eine verbesserte Ausrichtung forschungs- und technologiepolitischen Handelns sein.

Kombinierte Evaluationen von institutioneller Forschungsförderung und von Förderprogrammen werden künftig an Bedeutung gewinnen, nicht zuletzt weil knappe staatliche Budgets gezielt eingesetzt werden müssen. Methodisch ist hier das Problem angemessener Bewertung der Leistungen von Forschungsinstitutionen zu bewältigen, eine Aufgabe, die bisher von den großen Forschungsorganisationen wie Wissenschaftsrat, Max-Planck-Gesellschaft und Fraunhofer-Gesellschaft in Eigenregie wahrgenommen wurde. Künftig sind konkurrierende Evaluationsbemühungen verschiedener Akteure im Forschungs- und Technologie-System durchaus denkbar.

Die Bedeutung von Gutachtergremien und von Bewertungsverfahren nach dem Modell der peer review für die Interessenformulierung in der Förderung darf nicht unterschätzt werden; sie werden – vor allem im Bereich der Grundlagenforschung – immer ein gestaltender Faktor bleiben. Die Schnittstelle solcher Bewertungsverfahren zu den professionellen Evaluationsstudien ist bisher aber nicht befriedigend gestaltet.

Viel zu tun gibt es bei der Verbesserung der Nutzerfreundlichkeit von Evaluationen. Im Prinzip könnten unterschiedliche Interessen an einer Bewertung (etwa aus Parlament, Ministerien und organisierten Interessen aus Wissenschaft, Wirtschaft und Gesellschaft) bewußt in eine Evaluationsstudie aufgenommen und damit mögliche Widersprüche produktiv genutzt werden. Dabei sollte gelten: Evaluationsstudien werden durchgeführt, um forschungs- und technologiepolitische Optionen und ihre eingetretenen oder potentiellen Wirkungen freizulegen. Deshalb sollen sie auch politische Handlungsempfehlungen enthalten; eine echte Unterstützung im Diskussions-, Planungs- und Entscheidungsprozeß leisten bevorzugt solche Empfehlungen, die gleichzeitig mehrere alternative Pfade präsentieren. Von elementarer Bedeutung ist hierbei: Wenn die Ergebnisse der Analysen andere politische Schlußfolgerungen nahelegen, als der Finanzier einer Studie erwartet oder wünscht, muß gewährleistet sein, daß solche unbequemen Voten dennoch nachdrücklich vorgetragen und auch publiziert werden können. Bringen unsere forschungspolitischen Institutionen die dazu erforderliche Stärke auf? Dies ist eine Frage der politischen Kultur.


Aus: Spektrum der Wissenschaft 1 / 1997, Seite 110
© Spektrum der Wissenschaft Verlagsgesellschaft mbH