Performance measurement and evaluation of universities – indicators and their interdependencies in research and teaching

Start of the project: 2016-Aug-01 - End of the project: 2019-Jul-31

The implementation of ”New Public Management“ in the German higher education system came along with many new objectives for universities, which were necessary to be achieved in order to legitimise these institutions. Within the last two decades a great variety of indicators regarding performance and resilience was implemented at universities to check attainment of these objectives.

In many cases the implemented parameters have not been backed up by sufficient theoretical and empirical derivation. Moreover diverse sets of indicators were applied independently at various levels of higher education and economic decision-making. Therefore monitoring and exposition of connections between indicators and their different dimensions of performance at the universities is particularly needed.

Against this backdrop the project aims at examining the importance of indicator-based performance measurement and evaluation at universities and focuses on core processes in research and teaching. The analysis of indicator-based measurement of research and teaching strives for three aims:

Firstly, there will be an identification and systematisation of core dimensions of performance in research and teaching. Based on a critical analysis of the concept of performance measurement in the higher education sector and the discourse on general opportunities and restrictions of indicator-based depiction of scientific performance one aim is to identify indicators that are appropriate to measure the relevant areas of service provision and at the same time take the variety of examined organisations, e.g. in terms of equipment, into account. For this purpose the project will make use of findings of established DZHW-projects, such as the "Research Core Dataset".

Secondly, there will be an examination of functions and uses of performance-indicators. Herein the intentions and rationales of the actors who are responsible for development, maintenance and application of the instruments of performance measurement are of primary interest.

Thirdly, the interaction between performance ranges, resp. the indicators mapping them, will be examined. This comprises the interdependency of indicators within the fields of research and teaching as well as the interrelationship between indicators covering research and teaching.

The analysis of the performance of organisational parts of universities, e.g. working groups, institutes, and departments, takes center stage within this projects work. To carry out the project a mixed-method-design will be applied. It contains empirical analysis, analysis of literature and documents, online surveys, and workshops with different agents of the higher education system. Cooperations with universities will provide an adequate dataset and ensure sustainable application of research outcomes. The project aims at delivering a model of indicators which integrates core areas of performance of universities.

Show more Show less
Publications

Algorithmic identification of Ph.D. thesis-related publications: a proof-of-concept study.

Donner, P. (2022).
Algorithmic identification of Ph.D. thesis-related publications: a proof-of-concept study. Scientometrics (online first).
Abstract

In this study we propose and evaluate a method to automatically identify the journal publications that are related to a Ph.D. thesis using bibliographical data of both items. We build a manually curated ground truth dataset from German cumulative doctoral theses that explicitly list the included publications, which we match with records in the Scopus database. We then test supervised classification methods on the task of identifying the correct associated publications among high numbers of potential candidates using features of the thesis and publication records. The results indicate that this approach results in good match quality in general and with the best results attained by the “random forest” classification algorithm.

Fakultätsverantwortliche im Spannungsfeld zwischen Organisation und Fachgemeinschaft? Universitätsinterne Governance im Reformprozess von Fakultäten.

Oberschelp, A., & Niggemann, F. (2022).
Fakultätsverantwortliche im Spannungsfeld zwischen Organisation und Fachgemeinschaft? Universitätsinterne Governance im Reformprozess von Fakultäten. Beiträge zur Hochschulforschung, 44/2022(1), 52-73.

Citation analysis of Ph.D. theses with data from Scopus and Google Books.

Donner, P. (2021).
Citation analysis of Ph.D. theses with data from Scopus and Google Books. Scientometrics, 126, 9431-9456. https://doi.org/10.1007/s11192-021-04173-w
Abstract

This study investigates the potential of citation analysis of Ph.D. theses to obtain valid and useful early career performance indicators at the level of university departments. For German theses from 1996 to 2018 the suitability of citation data from Scopus and Google Books is studied and found to be sufficient to obtain quantitative estimates of early career researchers’ performance at departmental level in terms of scientific recognition and use of their dissertations as reflected in citations. Scopus and Google Books citations complement each other and have little overlap. Individual theses’ citation counts are much higher for those awarded a dissertation award than others. Departmental level estimates of citation impact agree ...

Identifying constitutive articles of cumulative dissertation theses by bilingual text similarity. Evaluation of similarity methods on a new short text task.

Donner, P. (2021).
Identifying constitutive articles of cumulative dissertation theses by bilingual text similarity. Evaluation of similarity methods on a new short text task. Quantitative Science Studies, 2(3). https://doi.org/10.1162/qss_a_00152
Abstract

Cumulative dissertations are doctoral theses comprised of multiple published articles. For studies of publication activity and citation impact of early career researchers it is important to identify these articles and link them to their associated theses. Using a new benchmark data set, this paper reports on experiments of measuring the bilingual textual similarity between, on the one hand, titles and keywords of doctoral theses, and, on the other hand, articles’ titles and abstracts. The tested methods are cosine similarity and L1 distance in the Vector Space Model (VSM) as baselines, the language-indifferent methods Latent Semantic Analysis (LSA) and trigram similarity, and the language-aware methods fastText and Random Indexing (RI)...

Interne LOM und ZLV als Instrumente der Universitätsleitung.

Niggemann, F. (2020).
Interne LOM und ZLV als Instrumente der Universitätsleitung. Qualität in der Wissenschaft. Zeitschrift für Qualitätsentwicklung in Forschung, Studium und Administration, 14(4/2020), 94-98.

Größe als Erfolgsgarant? Zur Bedeutung der Organisationstruktur für die Einwerbung von Drittmitteln der Deutschen Forschungsgemeinschaft.

Oberschelp, A., & Stahlschmidt, S. (2020).
Größe als Erfolgsgarant? Zur Bedeutung der Organisationstruktur für die Einwerbung von Drittmitteln der Deutschen Forschungsgemeinschaft. Qualität in der Wissenschaft (QiW), 14(4), 99-105.

Leistungsbewertung universitärer Lehre: Gegenwärtige Praxis in Deutschland und internationale Beispiele.

Braun, E., Oberschelp, A., & Schwabe, U. (2020).
Leistungsbewertung universitärer Lehre: Gegenwärtige Praxis in Deutschland und internationale Beispiele. In I. M. Welpe, J. Stumpf-Wollersheim, N. Folger & M. Prenzel (Hrsg.), Leistungsbewertung in wissenschaftlichen Institutionen und Universitäten. Eine mehrdimensionale Perspektive (S. 71-107). Berlin/Boston: Walter de Gruyter.

A validation of coauthorship credit models with empirical data from the contributions of PhD candidates.

Donner, P. (2020).
A validation of coauthorship credit models with empirical data from the contributions of PhD candidates. Quantitative Science Studies, 1 (2), 551-564.
Abstract

A perennial problem in bibliometrics is the appropriate distribution of authorship credit for coauthored publications. Several credit allocation methods and formulas have been introduced, but there has been little empirical validation as to which method best reflects the typical contributions of coauthors. This paper presents a validation of credit allocation methods using a new data set of author-provided percentage contribution figures obtained from the coauthored publications in cumulative PhD theses by authors from three countries that contain contribution statements. [...]

Universitätsinterne Ziel- und Leistungsvereinbarungen aus Sicht der Fakultätsleitungen deutscher Universitäten.

Niggemann, F. (2019).
Universitätsinterne Ziel- und Leistungsvereinbarungen aus Sicht der Fakultätsleitungen deutscher Universitäten. In M. Fuhrmann, J. Güdler, P. Pohlenz & U. Schmidt (Hrsg.), Handbuch Qualität in Studium, Lehre und Forschung. Berlin: DUZ Verlags- und Medienhaus, Ausgabe 72, C 3.23.

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S., & Schmidt, M. (2019).
Measurement variation in bibliometric impact indicators. In Catalano, G., Daraio, C., Gregori, M., Moed, H. F., & Ruocco, G (Hrsg.) Proceedings of the 17th Conference of the International Society for Scientometrics and Informetrics (ISSI 2019), Vol. 2, (S. 1500-1506). Edizioni Efesto. ISBN 978-88-3381-118-5.

Supplementing citations to PhD theses with citations from Google.

Donner, P. (2018).
Supplementing citations to PhD theses with citations from Google. In R. Costas, T. Franssen & A. Yegros-Yegros, Proceedings of the 23rd International Conference on Science and Technology Indicators (465-471). Centre for Science and Technology Studies (CWTS), Leiden, Netherlands.
Presentations

Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdependenzen in Forschung und Lehre.

Oberschelp, A., & Stahlschmidt, S. (2019, November).
Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdependenzen in Forschung und Lehre. Vortrag auf Workshop zur Evaluation der DZHW-Integrationsprojekte, DZHW, Hannover.

Leistungsmessung und –beurteilung für Universitäten.

Oberschelp, A. (2019, September - 2024, April).
Leistungsmessung und –beurteilung für Universitäten. Vortrag vor dem Arbeitskreis Hochschulfinanzierung der Kanzlerinnen und Kanzler der Universitäten Deutschlands; Bayreuth.

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S., & Schmidt, M. (2019, September).
Measurement variation in bibliometric impact indicators. Vortrag auf der 17th International Conference on Scientometrics & Informetrics (ISSI2019), 02.-05.09.2019, Rom, Italien.

Research at universities and its dependency on organisational factors.

Oberschelp, A. (2019, August).
Research at universities and its dependency on organisational factors. Presentation at the 41th EAIR Forum, Leiden University, Netherlands.

Theoretical Foundations and Teaching Quality at Universities: What Do We Measure? What Do We Know?

Schwabe, U., Oberschelp, A., & Braun, E. (2019, August).
Theoretical Foundations and Teaching Quality at Universities: What Do We Measure? What Do We Know? Vortrag auf der 18th Biennial Conference of the European Association for Research on Learning and Instruction (EARLI 2019), " Thinking Tomorrow's Education: Learning from the past, in the present and for the future " , RWTH Aachen.

Hochschulinterne Ziel- und Leistungsvereinbarungen. Zwischen Wunsch und Wirklichkeit.

Niggemann, F. (2019, Juni).
Hochschulinterne Ziel- und Leistungsvereinbarungen. Zwischen Wunsch und Wirklichkeit. Vortrag im Rahmen des Workshops " Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen " des Projekts " Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre " ; Hannover.

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S. (2019, Juni).
Measurement variation in bibliometric impact indicators. Vortrag im Rahmen des Workshops " Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen " des Projekts " Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre " ; Hannover.

Organisationale Bedingungsfaktoren von Drittmittelerfolg.

Oberschelp, A. (2019, Juni).
Organisationale Bedingungsfaktoren von Drittmittelerfolg. Vortrag im Rahmen des Workshops " Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen " des Projekts " Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre " ; Hannover.

Leistungsmessung und -beurteilung. Perspektiven und Herausforderungen für das deutsche Hoschschulsystem.

Oberschelp, A. (2019, Juni).
Leistungsmessung und -beurteilung. Perspektiven und Herausforderungen für das deutsche Hoschschulsystem. Vortrag im Rahmen des Workshops " Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen " des Projekts " Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre " ; Hannover.

Exploration des Leistungsbereiches wissenschaftliche Nachwuchsförderung.

Donner, P. (2019, Juni).
Exploration des Leistungsbereiches wissenschaftliche Nachwuchsförderung. Vortrag im Rahmen des Workshops " Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen " des Projekts " Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre " ; Hannover.

Die Vermessung der Universität - Ziele, Indikatoren, Herausforderungen.

Niggemann, F., & Oberschelp, A. (2019, Mai).
Die Vermessung der Universität - Ziele, Indikatoren, Herausforderungen. Vortrag im Rahmen der Frühjahrstagung " Entwicklungen im Feld der Hochschule " der Sektion Bildung und Erziehung der Deutschen Gesellschaft für Soziologie in Hannover.

Bewertung universitärer Lehre: Gegenwärtige Praxis in Deutschland und internationale Beispiele.

Oberschelp, A. Braun, E., & Schwabe, U. (2019, März).
Bewertung universitärer Lehre: Gegenwärtige Praxis in Deutschland und internationale Beispiele. Vortrag auf der 14. Jahrestagung der Gesellschaft für Hochschulforschung (GfHf), Otto-von-Guericke Universität Magdeburg.

Informationsmanagement an deutschen Universitäten - Entwicklungen, Herausforderungen, Perspektiven.

Niggemann, F., & Oberschelp, A. (2019, März).
Informationsmanagement an deutschen Universitäten - Entwicklungen, Herausforderungen, Perspektiven. Vortrag auf der 14. Jahrestagung der Gesellschaft für Hochschulforschung; Magdeburg.

Third-party funding - restraints and stimulation by organisational factors.

Oberschelp, A. (2018, Oktober).
Third-party funding - restraints and stimulation by organisational factors. Presentation at the 4th EUA Funding Forum, University Ramon Llull, Barcelona/Spain.

University-internal Control Instruments at German Universities.

Niggemann, F. (2018, Oktober).
University-internal Control Instruments at German Universities. Presentation at the 4th EUA Funding Forum; European University Association; Barcelona, Spain.

Supplementing citations to PhD theses with citations from Google.

Donner, P. (2018, September).
Supplementing citations to PhD theses with citations from Google. Vortrag auf der 23rd International Conference on Science and Technology Indicators (STI 2018): " Science, Technology and Innovation indicators in transition " , 12.-14.09.2018, Leiden, Niederlande.

Google Books as a data source for citation analysis.

Donner, P. (2018, August).
Google Books as a data source for citation analysis. Vortrag im Workshop " Scientometrics - Promises, Challenges and Limitations " . National Taiwan University, Department of Library and Information Science, Taipei, Taiwan.

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S., & Schmidt, M. (2018, Juli/August).
Measurement variation in bibliometric impact indicators. Vortrag auf dem Joint Statistical Meeting 2018 (JSM2018), 28.07.2018 - 02.08.2018, Vancouver, Kanada.

Leistungsmessung und –beurteilung für Universitäten. Indikatoren und ihre Interdependenzen in Forschung und Lehre.

Oberschelp, A., & Stahlschmidt, S. (2018, April).
Leistungsmessung und –beurteilung für Universitäten. Indikatoren und ihre Interdependenzen in Forschung und Lehre. Vortrag auf dem " Statusworkshop DZHW-Integrationsprojekte " , BMBF, Berlin.

Verfahren der Leistungsmessung in der Lehre - Deutschland im internationalen Vergleich.

Niggemann, F., & Oberschelp, A. (2017, November).
Verfahren der Leistungsmessung in der Lehre - Deutschland im internationalen Vergleich. Vortrag auf der Jahrestagung " Netzwerk Wissenschaftsmanagement " am Wissenschaftszentrum Bonn.

Leistungsmessung und -beurteilung für Universitäten.

Oberschelp, A. (2017, April).
Leistungsmessung und -beurteilung für Universitäten. Projektpräsentation im Rahmen der Sitzung des Kanzlerarbeitskreises Hochschulfinanzierung an der Universität Kassel.

Qualitative Aspekte der Forschung an Universitäten. Untersuchung zu Rahmenbedingungen und Kontextfaktoren von Forschungsqualität am Beispiel des (DFG-)Drittmittelerfolgs.

Oberschelp, A. (2017, Februar).
Qualitative Aspekte der Forschung an Universitäten. Untersuchung zu Rahmenbedingungen und Kontextfaktoren von Forschungsqualität am Beispiel des (DFG-)Drittmittelerfolgs. Vortrag auf der 3. Internationale Tagung für Qualitätsmanagement und Qualitätsentwicklung im Hochschulbereich " Qualität verstehen – Komplexität managen " an der Karl-Franzens-Universität Graz.

Contact person

Axel Oberschelp
Dr. Axel Oberschelp +49 511 450670-348

Office

Nora Zimmermann
Nora Zimmermann +49 511 450670-543

Researchers

Paul Donner Dr. Stephan Stahlschmidt

Funded by

Bundesministerium für Bildung und Forschung