Leistungsmessung und –beurteilung für Universitäten (LeimU)

Indikatoren und ihre Interdependenzen in Forschung und Lehre

Projektbeginn: 01.08.2016 - Projektende: 31.07.2019

Der Einzug des „New Public Management“ in den deutschen Hochschulbereich ging einher mit einer Vielzahl an neuen Zielen für die Hochschulen, deren Erfüllung zur Legitimation dieser Einrichtungen vorausgesetzt wurde. Um die Erfüllung dieser Ziele überprüfbar zu machen, wurde in den letzten zwei Jahrzehnten eine breite Palette von quantitativen Leistungs- und Belastungsindikatoren an den Hochschulen eingeführt.

In vielen Fällen sind die eingeführten Kenngrößen bislang ohne ausreichende theoretische Herleitung und empirische Validierung geblieben. Hinzu kommt, dass verschiedene Indikatoren- und Kennzahlensets in voneinander entkoppelter Form auf den unterschiedlichen Organisations- und Entscheidungsebenen des Hochschul- und Wissenschaftssystems Verwendung gefunden haben und finden. Insbesondere steht eine Beobachtung und Erklärung von Zusammenhängen zwischen Indikatoren der verschiedenen Leistungsdimensionen der Hochschulen aus.

Hier setzt das vorliegende Projekt an, das die Rolle von Indikatoren bei der Leistungsmessung und -beurteilung von Universitäten mit einem Fokus auf die Kernprozesse von Forschung und Lehre untersucht. Bei der Analyse von indikatorengestützten Formen der Leistungsmessung in Forschung und Lehre stehen drei Bereiche im Mittelpunkt:

Erstens werden zentrale Leistungsdimensionen von Forschung und Lehre identifiziert und systematisiert. Ausgehend von einer kritischen Analyse des Leistungsbegriffs im Hochschulkontext und des Diskurses um die grundsätzlichen Möglichkeiten und Restriktionen der Abbildung wissenschaftlicher Leistungen wird der Frage nachgegangen, welche Indikatoren geeignet sind, Messungen in den relevanten Bereichen der Leistungserstellung zu ermöglichen und dabei zugleich der Unterschiedlichkeit der untersuchten Einrichtungen, bspw. hinsichtlich ihrer Ausstattung, Rechnung zu tragen. Dabei wird an bereits vorliegende Ergebnisse aus DZHW-Projekten, bspw. zur Spezifikation des Kerndatensatz Forschung, angeknüpft.

Zweitens sollen die Nutzungszusammenhänge von Leistungsindikatoren untersucht werden. Im Mittelpunkt stehen hier die Intentionen und Handlungslogiken von Akteur*innen, die mit der Entwicklung, der Pflege und dem Einsatz von Instrumenten der Leistungsmessung befasst sind.

Drittens geht es um die Wechselwirkungen zwischen den Leistungsbereichen bzw. den diese abbildenden Indikatoren. Angesprochen sind hier sowohl die Wechselwirkungen zwischen Indikatoren innerhalb des Lehr- bzw. Forschungsbereichs als auch die Interrelationen zwischen lehr- und forschungsbezogenen Indikatoren.

Im Mittelpunkt der Projektarbeiten steht die Analyse von Leistungen organisatorischer Teile von Hochschulen, z. B. von Arbeitsgruppen, Instituten und Fachbereichen. Die Durchführung der Projektarbeiten erfolgt nach dem Mixed-Method-Ansatz, der neben der empirischen Auswertung eines geeigneten Datensets auch Literatur- und Dokumentenanalysen, Online-Befragungen und Workshops mit unterschiedlichen Akteur*innen des Wissenschaftssystems beinhaltet. Für die Bereitstellung einer geeigneten Datenbasis sowie zur Sicherung einer nachhaltigen Ergebnisverwendung werden im Rahmen des Projekts Kooperationen mit einzelnen Universitäten angestrebt. Als Ergebnis ist u.a. die Entwicklung eines Indikatorenmodells vorgesehen, das die für Universitäten wesentlichen Leistungsbereiche integriert.

Mehr erfahren Weniger anzeigen
Publikationen

Algorithmic identification of Ph.D. thesis-related publications: a proof-of-concept study.

Donner, P. (2022). Algorithmic identification of Ph.D. thesis-related publications: a proof-of-concept study. Scientometrics (online first).
Abstract

In this study we propose and evaluate a method to automatically identify the journal publications that are related to a Ph.D. thesis using bibliographical data of both items. We build a manually curated ground truth dataset from German cumulative doctoral theses that explicitly list the included publications, which we match with records in the Scopus database. We then test supervised classification methods on the task of identifying the correct associated publications among high numbers of potential candidates using features of the thesis and publication records. The results indicate that this approach results in good match quality in general and with the best results attained by the “random forest” classification algorithm.

Fakultätsverantwortliche im Spannungsfeld zwischen Organisation und Fachgemeinschaft? Universitätsinterne Governance im Reformprozess von Fakultäten.

Oberschelp, A., & Niggemann, F. (2022). Fakultätsverantwortliche im Spannungsfeld zwischen Organisation und Fachgemeinschaft? Universitätsinterne Governance im Reformprozess von Fakultäten. Beiträge zur Hochschulforschung, 44/2022(1), 52-73.

Citation analysis of Ph.D. theses with data from Scopus and Google Books.

Donner, P. (2021). Citation analysis of Ph.D. theses with data from Scopus and Google Books. Scientometrics, 126, 9431-9456. https://doi.org/10.1007/s11192-021-04173-w
Abstract

This study investigates the potential of citation analysis of Ph.D. theses to obtain valid and useful early career performance indicators at the level of university departments. For German theses from 1996 to 2018 the suitability of citation data from Scopus and Google Books is studied and found to be sufficient to obtain quantitative estimates of early career researchers’ performance at departmental level in terms of scientific recognition and use of their dissertations as reflected in citations. Scopus and Google Books citations complement each other and have little overlap. Individual theses’ citation counts are much higher for those awarded a dissertation award than others. Departmental level estimates of citation impact agree ...

Identifying constitutive articles of cumulative dissertation theses by bilingual text similarity. Evaluation of similarity methods on a new short text task.

Donner, P. (2021). Identifying constitutive articles of cumulative dissertation theses by bilingual text similarity. Evaluation of similarity methods on a new short text task. Quantitative Science Studies, 2(3). https://doi.org/10.1162/qss_a_00152
Abstract

Cumulative dissertations are doctoral theses comprised of multiple published articles. For studies of publication activity and citation impact of early career researchers it is important to identify these articles and link them to their associated theses. Using a new benchmark data set, this paper reports on experiments of measuring the bilingual textual similarity between, on the one hand, titles and keywords of doctoral theses, and, on the other hand, articles’ titles and abstracts. The tested methods are cosine similarity and L1 distance in the Vector Space Model (VSM) as baselines, the language-indifferent methods Latent Semantic Analysis (LSA) and trigram similarity, and the language-aware methods fastText and Random Indexing (RI)...

Interne LOM und ZLV als Instrumente der Universitätsleitung.

Niggemann, F. (2020). Interne LOM und ZLV als Instrumente der Universitätsleitung. Qualität in der Wissenschaft. Zeitschrift für Qualitätsentwicklung in Forschung, Studium und Administration, 14(4/2020), 94-98.

Größe als Erfolgsgarant? Zur Bedeutung der Organisationstruktur für die Einwerbung von Drittmitteln der Deutschen Forschungsgemeinschaft.

Oberschelp, A., & Stahlschmidt, S. (2020).
Größe als Erfolgsgarant? Zur Bedeutung der Organisationstruktur für die Einwerbung von Drittmitteln der Deutschen Forschungsgemeinschaft. Qualität in der Wissenschaft (QiW), 14(4), 99-105.

Leistungsbewertung universitärer Lehre: Gegenwärtige Praxis in Deutschland und internationale Beispiele.

Braun, E., Oberschelp, A., & Schwabe, U. (2020).
Leistungsbewertung universitärer Lehre: Gegenwärtige Praxis in Deutschland und internationale Beispiele. In I. M. Welpe, J. Stumpf-Wollersheim, N. Folger & M. Prenzel (Hrsg.), Leistungsbewertung in wissenschaftlichen Institutionen und Universitäten. Eine mehrdimensionale Perspektive (S. 71-107). Berlin/Boston: Walter de Gruyter.
Abstract

Der Beitrag geht zwei zentralen Fragestellungen nach: Zum einen wird untersucht, wie Leistungen in der universitären Lehre in Deutschland gemessen werden. In diesem Zusammenhang wird eine Beschreibung und methodologische Verortung der wichtigsten Instrumente der Leistungsmessung vorgenommen. Zum anderen wird diskutiert, welche Instrumente, die in anderen Ländern (Großbritannien, Niederlande, USA) Anwendung finden, auch auf Deutschland übertragbar wären, um die Entwicklung der universitären Lehre positiv zu gestalten. Die Autor*innen sehen in einer zunehmenden Einbindung der Studierenden in die Forschung sowie in der Gründung einer "Deutschen Lehrgemeinschaft" Potenziale, um eine hohe Qualität von Studium und Lehre in Deutschland zu sichern

A validation of coauthorship credit models with empirical data from the contributions of PhD candidates.

Donner, P. (2020).
A validation of coauthorship credit models with empirical data from the contributions of PhD candidates. Quantitative Science Studies, 1 (2), 551-564.
Abstract

A perennial problem in bibliometrics is the appropriate distribution of authorship credit for coauthored publications. Several credit allocation methods and formulas have been introduced, but there has been little empirical validation as to which method best reflects the typical contributions of coauthors. This paper presents a validation of credit allocation methods using a new data set of author-provided percentage contribution figures obtained from the coauthored publications in cumulative PhD theses by authors from three countries that contain contribution statements. [...]

Universitätsinterne Ziel- und Leistungsvereinbarungen aus Sicht der Fakultätsleitungen deutscher Universitäten.

Niggemann, F. (2019).
Universitätsinterne Ziel- und Leistungsvereinbarungen aus Sicht der Fakultätsleitungen deutscher Universitäten. In M. Fuhrmann, J. Güdler, P. Pohlenz & U. Schmidt (Hrsg.), Handbuch Qualität in Studium, Lehre und Forschung. Berlin: DUZ Verlags- und Medienhaus, Ausgabe 72, C 3.23.
Abstract

Das Verhältnis zwischen Universitäts- und Fakultätsleitungen wurde im Verlauf der "New Public Management"-Reformen neu justiert und zeichnet sich nun u.a. durch hierarchische Elemente aus. Zeitgleich wurde mit den Ziel- und Leistungsvereinbarungen (ZLV) ein neues Steuerungsinstrument in das Hochschulsystem eingeführt, welches durch einen partizipativen Ansatz gekennzeichnet ist. Dieser Beitrag untersucht das Verhältnis zwischen Universitäts- und Fakultätsleitung am Beispiel universitätsinterner ZLV aus Perspektive der Dekan/innen deutscher Universitäten

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S., & Schmidt, M. (2019).
Measurement variation in bibliometric impact indicators. In Catalano, G., Daraio, C., Gregori, M., Moed, H. F., & Ruocco, G (Hrsg.) Proceedings of the 17th Conference of the International Society for Scientometrics and Informetrics (ISSI 2019), Vol. 2, (S. 1500-1506). Edizioni Efesto. ISBN 978-88-3381-118-5.

Supplementing citations to PhD theses with citations from Google.

Donner, P. (2018).
Supplementing citations to PhD theses with citations from Google. In R. Costas, T. Franssen & A. Yegros-Yegros, Proceedings of the 23rd International Conference on Science and Technology Indicators (465-471). Centre for Science and Technology Studies (CWTS), Leiden, Netherlands.
Vorträge

Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdependenzen in Forschung und Lehre.

Oberschelp, A., & Stahlschmidt, S. (2019, November).
Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdependenzen in Forschung und Lehre. Vortrag auf Workshop zur Evaluation der DZHW-Integrationsprojekte, DZHW, Hannover.

Leistungsmessung und –beurteilung für Universitäten.

Oberschelp, A. (2019, September - 2023, Februar).
Leistungsmessung und –beurteilung für Universitäten. Vortrag vor dem Arbeitskreis Hochschulfinanzierung der Kanzlerinnen und Kanzler der Universitäten Deutschlands; Bayreuth.

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S., & Schmidt, M. (2019, September).
Measurement variation in bibliometric impact indicators. Vortrag auf der 17th International Conference on Scientometrics & Informetrics (ISSI2019), 02.-05.09.2019, Rom, Italien.

Research at universities and its dependency on organisational factors.

Oberschelp, A. (2019, August).
Research at universities and its dependency on organisational factors. Presentation at the 41th EAIR Forum, Leiden University, Netherlands.

Theoretical Foundations and Teaching Quality at Universities: What Do We Measure? What Do We Know?

Schwabe, U., Oberschelp, A., & Braun, E. (2019, August).
Theoretical Foundations and Teaching Quality at Universities: What Do We Measure? What Do We Know? Vortrag auf der 18th Biennial Conference of the European Association for Research on Learning and Instruction (EARLI 2019), "Thinking Tomorrow's Education: Learning from the past, in the present and for the future", RWTH Aachen.

Hochschulinterne Ziel- und Leistungsvereinbarungen. Zwischen Wunsch und Wirklichkeit.

Niggemann, F. (2019, Juni).
Hochschulinterne Ziel- und Leistungsvereinbarungen. Zwischen Wunsch und Wirklichkeit. Vortrag im Rahmen des Workshops "Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen" des Projekts "Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre"; Hannover.

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S. (2019, Juni).
Measurement variation in bibliometric impact indicators. Vortrag im Rahmen des Workshops "Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen" des Projekts "Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre"; Hannover.

Organisationale Bedingungsfaktoren von Drittmittelerfolg.

Oberschelp, A. (2019, Juni).
Organisationale Bedingungsfaktoren von Drittmittelerfolg. Vortrag im Rahmen des Workshops "Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen" des Projekts "Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre"; Hannover.

Leistungsmessung und -beurteilung. Perspektiven und Herausforderungen für das deutsche Hoschschulsystem.

Oberschelp, A. (2019, Juni).
Leistungsmessung und -beurteilung. Perspektiven und Herausforderungen für das deutsche Hoschschulsystem. Vortrag im Rahmen des Workshops "Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen" des Projekts "Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre"; Hannover.

Exploration des Leistungsbereiches wissenschaftliche Nachwuchsförderung.

Donner, P. (2019, Juni).
Exploration des Leistungsbereiches wissenschaftliche Nachwuchsförderung. Vortrag im Rahmen des Workshops "Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen" des Projekts "Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre"; Hannover.

Die Vermessung der Universität - Ziele, Indikatoren, Herausforderungen.

Niggemann, F., & Oberschelp, A. (2019, Mai).
Die Vermessung der Universität - Ziele, Indikatoren, Herausforderungen. Vortrag im Rahmen der Frühjahrstagung "Entwicklungen im Feld der Hochschule" der Sektion Bildung und Erziehung der Deutschen Gesellschaft für Soziologie in Hannover.

Bewertung universitärer Lehre: Gegenwärtige Praxis in Deutschland und internationale Beispiele.

Oberschelp, A. Braun, E., & Schwabe, U. (2019, März).
Bewertung universitärer Lehre: Gegenwärtige Praxis in Deutschland und internationale Beispiele. Vortrag auf der 14. Jahrestagung der Gesellschaft für Hochschulforschung (GfHf), Otto-von-Guericke Universität Magdeburg.

Informationsmanagement an deutschen Universitäten - Entwicklungen, Herausforderungen, Perspektiven.

Niggemann, F., & Oberschelp, A. (2019, März).
Informationsmanagement an deutschen Universitäten - Entwicklungen, Herausforderungen, Perspektiven. Vortrag auf der 14. Jahrestagung der Gesellschaft für Hochschulforschung; Magdeburg.

Third-party funding - restraints and stimulation by organisational factors.

Oberschelp, A. (2018, Oktober).
Third-party funding - restraints and stimulation by organisational factors. Presentation at the 4th EUA Funding Forum, University Ramon Llull, Barcelona/Spain.

University-internal Control Instruments at German Universities.

Niggemann, F. (2018, Oktober).
University-internal Control Instruments at German Universities. Presentation at the 4th EUA Funding Forum; European University Association; Barcelona, Spain.

Supplementing citations to PhD theses with citations from Google.

Donner, P. (2018, September).
Supplementing citations to PhD theses with citations from Google. Vortrag auf der 23rd International Conference on Science and Technology Indicators (STI 2018): "Science, Technology and Innovation indicators in transition", 12.-14.09.2018, Leiden, Niederlande.

Google Books as a data source for citation analysis.

Donner, P. (2018, August).
Google Books as a data source for citation analysis. Vortrag im Workshop "Scientometrics - Promises, Challenges and Limitations". National Taiwan University, Department of Library and Information Science, Taipei, Taiwan.

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S., & Schmidt, M. (2018, Juli/August).
Measurement variation in bibliometric impact indicators. Vortrag auf dem Joint Statistical Meeting 2018 (JSM2018), 28.07.2018 - 02.08.2018, Vancouver, Kanada.

Leistungsmessung und –beurteilung für Universitäten. Indikatoren und ihre Interdependenzen in Forschung und Lehre.

Oberschelp, A., & Stahlschmidt, S. (2018, April).
Leistungsmessung und –beurteilung für Universitäten. Indikatoren und ihre Interdependenzen in Forschung und Lehre. Vortrag auf dem "Statusworkshop DZHW-Integrationsprojekte", BMBF, Berlin.

Verfahren der Leistungsmessung in der Lehre - Deutschland im internationalen Vergleich.

Niggemann, F., & Oberschelp, A. (2017, November).
Verfahren der Leistungsmessung in der Lehre - Deutschland im internationalen Vergleich. Vortrag auf der Jahrestagung "Netzwerk Wissenschaftsmanagement" am Wissenschaftszentrum Bonn.

Leistungsmessung und -beurteilung für Universitäten.

Oberschelp, A. (2017, April).
Leistungsmessung und -beurteilung für Universitäten. Projektpräsentation im Rahmen der Sitzung des Kanzlerarbeitskreises Hochschulfinanzierung an der Universität Kassel.

Qualitative Aspekte der Forschung an Universitäten. Untersuchung zu Rahmenbedingungen und Kontextfaktoren von Forschungsqualität am Beispiel des (DFG-)Drittmittelerfolgs.

Oberschelp, A. (2017, Februar).
Qualitative Aspekte der Forschung an Universitäten. Untersuchung zu Rahmenbedingungen und Kontextfaktoren von Forschungsqualität am Beispiel des (DFG-)Drittmittelerfolgs. Vortrag auf der 3. Internationale Tagung für Qualitätsmanagement und Qualitätsentwicklung im Hochschulbereich "Qualität verstehen – Komplexität managen" an der Karl-Franzens-Universität Graz.

Ansprechperson

Axel Oberschelp
Dr. Axel Oberschelp 0511 450670-348

Projektassistenz

Nora Zimmermann
Nora Zimmermann 0511 450670-543

Projektmitarbeit

Paul Donner Dr. Stephan Stahlschmidt

Gefördert von

Bundesministerium für Bildung und Forschung