Bibliometrische Analysen im ETH Bereich

Die Publikationsaktivität und -wirkung der ETH Zürich wird mit bibliometrischen Analysen ermittelt.

Projektstand

Abgeschlossen. Bericht und Kommentare sind im Bereich Management Informationen unter Spezialberichte verfügbar.

Ziel und Zweck

Die bibliometrische Analyse bezweckt einen Überblick zu Publikationsaktivität und –wirkung der ETH Zürich und dient als Basis für die DIALOG Gespräche mit dem ETH-Rat. Intern soll die Studie auch zur Unterstützung der kommenden Peer Reviews genutzt werden können. Die Resultate dienen aber auch als Diskussionsbasis für die Gespräche zwischen Schulleitung und Departementen, gerade auch um die Leistungsausweise ins richtige Licht zu rücken oder um Fragen zur Veröffentlichungsstrategie zu klären. Nicht zuletzt soll anhand dieser ersten umfassenden Analyse deren Wert zur Unterstützung der internen Entscheidungsfindung – im Sinne eines weiteren Mosaiksteins im Gesamtbild – geprüft werden. Dazu wird die Schulleitung dann auf ein Feedback der Departemente angewiesen sein, da die Bedeutung und richtige Interpretation der Resultate erst nach intensiver Auseinandersetzung mit den Autoren der Studie und den Forschungsgruppen - den ‚Produzenten’ der Publikationen - abgeschätzt werden kann.

Auswahl der Publikationen

Die Studie wird durch das Centre for Science and Technology Studies (CWTS) der Universität Leiden (NL) durchgeführt. Betrachtet werden die Publikationen der vergangenen 10 Jahre, welche in so genannten ISI-Zeitschriften erschienen sind. Die Auswahl der Publikationen erfolgt aufgrund der vielen Adressvariationen für die ETH Zürich, unter denen in den letzten Jahren ETH-Publikationen erschienen sind.
Verifizierung der Basisdaten durch die Departemente: Nach vorliegen der Publikationslisten werden diese den Departementen möglichst gut vorsortiert zur Kontrolle verfügbar gemacht. Damit wollen wir sicherstellen, dass für die Autoren ersichtlich ist, welche Publikationen in die Analyse einfliessen und welche nicht. An dieser Stelle werden die Listen vervollständigt werden können.

Datenanalyse

Das CWTS in Leiden führt die Analyse aufgrund dieses verifizierten Datensatzes durch und liefert einem Bericht ab, der neben einer Gesamtsicht zur ETH Zürich auch die Profile der einzelnen Departemente enthält (siehe Seite 3: Zusammenstellung der erhobenen und berechneten Indikatoren).

Präsentation des Berichtes durch CWTS und Kommentierung durch die Departemente

Vorgängig der DIALOG Gespräche wird die Studie durch die Autoren von CWTS an der ETH Zürich präsentiert. Im Anschluss daran haben die Departemente die Möglichkeit, die Resultate aus Sicht der beleuchteten Einheiten zu kommentieren. Die Schulleitung ist dabei sehr an den Spezifika der einzelnen Bereiche interessiert, aber auch an der Einschätzung der Bedeutung der Resultate für die einzelnen Departemente.

Basis für die DIALOG Gespräche und peer reviews

Der kommentierte Bericht dient als eine der Grundlagen für die DIALOG Gespräche zwischen der Schulleitung der ETH Zürich und dem ETH-Rat, aber auch als Input für kommende Departements-Evaluationen.

Zusammenhang mit internem Jahresbericht / Publikationspool / Research Database

Für die bibliometrische Analyse werden die Publikationsdaten der vergangenen 10 Jahre benötigt. Im Publikationspool sind erst Daten seit 2003 enthalten, weshalb eine Erhebung mittels ETH-Adressen erfolgt. Die in der Analyse verwendeten Publikationen werden in den Publikationspool eingelesen.

Vorbehalte seitens der Departemente zu bibliometrischen Analysen

Im Rahmen der Bereichsgespräche haben verschiedene Departemente ihre Bedenken zur Verwendung bibliometrischer Indikatoren mitgeteilt; diese wurden aufgenommen und sind in das Projekt eingeflossen. Im Folgenden einige Bemerkungen dazu:

ISI- und non-ISI Publikationen

Es ist uns bewusst, dass die Beschränkung auf ISI-Publikationen nicht allen Bereichen gerecht wird, was bei der Interpretation der Resultate zu berücksichtigen ist. Die Forschungsgruppen selber kennen die verschiedenen Kanäle am besten, über welche die Forschungsresultate veröffentlicht werden. Im Rahmen des internen Jahresberichtes übertragen die Forschungsgruppen jeweils alle ihre veröffentlichten Artikel jährlich in den Publikationspool (seit 2003). Aus diesen Publikationsangaben lässt sich der Anteil an ISI- und non-ISI Veröffentlichungen für die Departemente abschätzen. Es wird gegenwärtig geprüft, in welchem Umfang so genannte wichtige non-ISI Publikationen (z.B. Monografien, Proceedings) in die Auswertung einbezogen werden können. Diese Publikationen sind wohl nicht in ISI-Journals erschienen, werden aber oft in solchen zitiert.

Vergleichbarkeit verschiedener Fachgebiete

Aus der oben beschriebenen Beschränkung der Publikationen ist ersichtlich, dass die einzelnen Fachgebiete nur sehr bedingt miteinander verglichen werden können. Vielmehr werden die Resultate einzelner Fachgebiete der ETH Zürich im Vergleich mit einem weltweiten Durchschnitt für das gleiche Fachgebiet betrachtet. Dabei geht man von der Annahme aus, dass das Publikationsverhalten der verschiedenen Forschungsgruppen innerhalb eines Fachgebietes ähnlich ist.

Überbewertung bibliometrischer Indikatoren

Es sind verschiedene Beispiele bekannt, bei denen bibliometrische Kennzahlen (oft nur die Anzahl der Veröffentlichungen) in Formeln zur Berechnung der Mittelzuteilung eingeflossen sind, was zu einer (in diesem Ausmass nicht erwünschten) raschen Anpassung der Forschenden an das erfolgversprechendste Publikationsverhalten geführt hat (z.B. möglichst viele Veröffentlichungen zu produzieren). Die Schulleitung ist sich dieser Gefahr bewusst und will die Resultate als ein Indikator im Rahmen einer umfassenden Beurteilung der Lehr- und Forschungsleistungen verwenden. Die beste Nutzung verspricht die Verwendung im Rahmen von Peer Reviews.

Die Übersicht [pdf, 49kb] zu den von CWTS erhobenen und berechneten Indikatoren zur bibliometrischen Analyse enthält nähere Details zur Methodik.