Publikationen

Das Verbundprojekt QuaMedFo widmete sich insbesondere der Erforschung der praktischen Verwendung und Eignung von verschiedenen, in Evaluationskontexten der deutschen medizinischen Fakultäten und Universitätskliniken verwendeten Indikatoren. Dabei wählte das Projekt einen forschungsinformationsbasierten Ansatz, der verschiedene Daten bzw. Datenzugänge analysierte und ihre methodisch-theoretische wie auch praktische Nutzbarkeit für verschiedene Anwendungskontexte überprüfte. Dieser Beitrag fasst die zentralen Ergebnisse von QuaMedFo zusammen, beschreibt die Herausforderungen für die Evaluation medizinischer Forschung und formuliert Erkenntnisse und Empfehlungen für die zukünftige Evaluierungspraxis.

Medizinische Fakultäten in Deutschland müssen ihre strategischen Kalkulationen auf mehrere Wettbewerbe beziehen. Der vorliegende Beitrag greift die intra-fakultäre Perspektive heraus und versteht die Sicherstellung von Effizienz als zentrale Aufgabe des Controllings durch Dekanate. Empirisch wird untersucht, ob an die an den Fakultäten gehaltenen Daten für die Betrachtung von Effizienz geeignet sind. Die Voraussetzungen der Effizienzmessung werden dafür als Modellannahmen für die lineare Regression verstanden und exemplarisch diskutiert. Neben den etablierten Variablen wissenschaftliche Beschäftigte (Input) und Publikationen (Output), werden jüngst auch Drittmittel sowohl als Input- als auch als Outputvariablen vorgeschlagen.

In einer Studie des BMBF untersucht ein Bieterkonsortium aus JOANNEUM RESEARCH, dem Zentrum für Soziale Innovation (ZSI) sowie dem Deutschen Zentrum für Hochschul- und Wissenschaftsforschung (DZHW) die Beteiligung deutscher Forscherinnen und Forscher an den EU-Rahmenprogrammen und aktuelle Trends der europäischen Forschungs- und Innovationsförderung. Dazu wurden sowohl Daten der ECORDA-Datenbank der Europäischen Kommission ausgewertet als auch Onlinebefragungen mit Teilnehmerinnen und Teilnehmern aus Horizont 2020 und Horizont Europa und leitfadengestützte Interviews durchgeführt.

This work proposes using the feature of large language models (LLMs) to learn about the "data bias" injected by diverse SDG classifications into bibliometric data by exploring five SDGs. We build a LLM that is fine-tuned in parallel by the diverse SDG classifications inscribed into the databases' SDG classifications. Our results show high sensitivity in model architecture, classified publications, fine-tuning process and natural language generation. The wide arbitrariness at different levels raises concerns about using LLM in research practice.

In the Dutch academic system, PhD theses can be awarded with cum laude and at most 5% of all PhD graduates receive this selective distinction for their thesis. In this paper, we investigate whether there is gender bias in awarding cum laude, using data from one of the major Dutch research universities. A main result is that the set of PhD theses receiving cum laude on average do not have a higher quality than the best theses not getting cum laude. A second main result is that, after controlling for the quality of the PhD theses, women still have a substantially lower probability to receive cum laude. These results strongly suggest that the distribution of awards suffers from gender bias.