Performance measurement and evaluation of universities – indicators and their interdependencies in research and teaching

Start of the project: 01-Aug-2016 - End of the project: 31-Jul-2019

The implementation of ”New Public Management“ in the German higher education system came along with many new objectives for universities, which were necessary to be achieved in order to legitimise these institutions. Within the last two decades a great variety of indicators regarding performance and resilience was implemented at universities to check attainment of these objectives.

In many cases the implemented parameters have not been backed up by sufficient theoretical and empirical derivation. Moreover diverse sets of indicators were applied independently at various levels of higher education and economic decision-making. Therefore monitoring and exposition of connections between indicators and their different dimensions of performance at the universities is particularly needed.

Against this backdrop the project aims at examining the importance of indicator-based performance measurement and evaluation at universities and focuses on core processes in research and teaching. The analysis of indicator-based measurement of research and teaching strives for three aims:

Firstly, there will be an identification and systematisation of core dimensions of performance in research and teaching. Based on a critical analysis of the concept of performance measurement in the higher education sector and the discourse on general opportunities and restrictions of indicator-based depiction of scientific performance one aim is to identify indicators that are appropriate to measure the relevant areas of service provision and at the same time take the variety of examined organisations, e.g. in terms of equipment, into account. For this purpose the project will make use of findings of established DZHW-projects, such as the "Research Core Dataset".

Secondly, there will be an examination of functions and uses of performance-indicators. Herein the intentions and rationales of the actors who are responsible for development, maintenance and application of the instruments of performance measurement are of primary interest.

Thirdly, the interaction between performance ranges, resp. the indicators mapping them, will be examined. This comprises the interdependency of indicators within the fields of research and teaching as well as the interrelationship between indicators covering research and teaching.

The analysis of the performance of organisational parts of universities, e.g. working groups, institutes, and departments, takes center stage within this projects work. To carry out the project a mixed-method-design will be applied. It contains empirical analysis, analysis of literature and documents, online surveys, and workshops with different agents of the higher education system. Cooperations with universities will provide an adequate dataset and ensure sustainable application of research outcomes. The project aims at delivering a model of indicators which integrates core areas of performance of universities.

Show more Show less
Presentations

Leistungsmessung und –beurteilung für Universitäten.

Oberschelp, A. (2019, September - 2019, Oktober).
Leistungsmessung und –beurteilung für Universitäten. Vortrag vor dem Arbeitskreis Hochschulfinanzierung der Kanzlerinnen und Kanzler der Universitäten Deutschlands; Bayreuth.

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S., & Schmidt, M. (2019, September).
Measurement variation in bibliometric impact indicators. Vortrag auf der 17th International Conference of Scientometrics & Infometrics (ISSI2019), 02.-05.09.2019, Rom, Italien.

Research at universities and its dependency on organisational factors.

Oberschelp, A. (2019, August).
Research at universities and its dependency on organisational factors. Presentation at the 41th EAIR Forum, Leiden University, Netherlands.

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S. (2019, Juni).
Measurement variation in bibliometric impact indicators. Vortrag im Rahmen des Workshops "Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen" des Projekts "Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre"; Hannover.

Organisationale Bedingungsfaktoren von Drittmittelerfolg.

Oberschelp, A. (2019, Juni).
Organisationale Bedingungsfaktoren von Drittmittelerfolg. Vortrag im Rahmen des Workshops "Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen" des Projekts "Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre"; Hannover.

Leistungsmessung und -beurteilung. Perspektiven und Herausforderungen für das deutsche Hoschschulsystem.

Oberschelp, A. (2019, Juni).
Leistungsmessung und -beurteilung. Perspektiven und Herausforderungen für das deutsche Hoschschulsystem. Vortrag im Rahmen des Workshops "Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen" des Projekts "Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre"; Hannover.

Hochschulinterne Ziel- und Leistungsvereinbarungen. Zwischen Wunsch und Wirklichkeit.

Niggemann, F. (2019, Juni).
Hochschulinterne Ziel- und Leistungsvereinbarungen. Zwischen Wunsch und Wirklichkeit. Vortrag im Rahmen des Workshops "Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen" des Projekts "Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre"; Hannover.

Exploration des Leistungsbereiches wissenschaftliche Nachwuchsförderung.

Donner, P. (2019, Juni).
Exploration des Leistungsbereiches wissenschaftliche Nachwuchsförderung. Vortrag im Rahmen des Workshops "Facetten der Leistungsmessung an deutschen Universitäten: Verfahren, Indikatorik, Wirkungen" des Projekts "Leistungsmessung und -beurteilung für Universitäten. Indikatoren und ihre Interdepenzen in Forschung und Lehre"; Hannover.

Die Vermessung der Universität - Ziele, Indikatoren, Herausforderungen.

Niggemann, F., & Oberschelp, A. (2019, Mai).
Die Vermessung der Universität - Ziele, Indikatoren, Herausforderungen. Vortrag im Rahmen der Frühjahrstagung "Entwicklungen im Feld der Hochschule" der Sektion Bildung und Erziehung der Deutschen Gesellschaft für Soziologie in Hannover.

Bewertung universitärer Lehre: Gegenwärtige Praxis in Deutschland und internationale Beispiele.

Oberschelp, A. Braun, E., & Schwabe, U. (2019, März).
Bewertung universitärer Lehre: Gegenwärtige Praxis in Deutschland und internationale Beispiele. Vortrag auf der 14. Jahrestagung der Gesellschaft für Hochschulforschung (GfHf), Otto-von-Guericke Universität Magdeburg.

Informationsmanagement an deutschen Universitäten - Entwicklungen, Herausforderungen, Perspektiven.

Niggemann, F., & Oberschelp, A. (2019, März).
Informationsmanagement an deutschen Universitäten - Entwicklungen, Herausforderungen, Perspektiven. Vortrag auf der 14. Jahrestagung der Gesellschaft für Hochschulforschung; Magdeburg.

Third-party funding - restraints and stimulation by organisational factors.

Oberschelp, A. (2018, Oktober).
Third-party funding - restraints and stimulation by organisational factors. Presentation at the 4th EUA Funding Forum, University Ramon Llull, Barcelona/Spain.

University-internal Control Instruments at German Universities.

Niggemann, F. (2018, Oktober).
University-internal Control Instruments at German Universities. Presentation at the 4th EUA Funding Forum; European University Association; Barcelona, Spain.

Supplementing citations to PhD theses with citations from Google.

Donner, P. (2018, September).
Supplementing citations to PhD theses with citations from Google. Vortrag auf der 23rd International Conference on Science and Technology Indicators (STI 2018): "Science, Technology and Innovation indicators in transition", 12.-14.09.2018, Leiden, Niederlande.

Measurement variation in bibliometric impact indicators.

Stahlschmidt, S., & Schmidt, M. (2018, Juli/August).
Measurement variation in bibliometric impact indicators. Vortrag auf dem Joint Statistical Meeting 2018 (JSM2018), 28.07.2018 - 02.08.2018, Vancouver, Kanada.

Verfahren der Leistungsmessung in der Lehre - Deutschland im internationalen Vergleich.

Niggemann, F., & Oberschelp, A. (2017, November).
Verfahren der Leistungsmessung in der Lehre - Deutschland im internationalen Vergleich. Vortrag auf der Jahrestagung "Netzwerk Wissenschaftsmanagement" am Wissenschaftszentrum Bonn.

Leistungsmessung und -beurteilung für Universitäten.

Oberschelp, A. (2017, April).
Leistungsmessung und -beurteilung für Universitäten. Projektpräsentation im Rahmen der Sitzung des Kanzlerarbeitskreises Hochschulfinanzierung an der Universität Kassel.

Qualitative Aspekte der Forschung an Universitäten. Untersuchung zu Rahmenbedingungen und Kontextfaktoren von Forschungsqualität am Beispiel des (DFG-)Drittmittelerfolgs.

Oberschelp, A. (2017, Februar).
Qualitative Aspekte der Forschung an Universitäten. Untersuchung zu Rahmenbedingungen und Kontextfaktoren von Forschungsqualität am Beispiel des (DFG-)Drittmittelerfolgs. Vortrag auf der 3. Internationale Tagung für Qualitätsmanagement und Qualitätsentwicklung im Hochschulbereich "Qualität verstehen – Komplexität managen" an der Karl-Franzens-Universität Graz.

Lead Researcher

Axel Oberschelp
Dr. Axel Oberschelp Lead Researcher +49 511 450670-348

Office

Nora Zimmermann
Nora Zimmermann +49 511 450670-343

Researchers

Paul Donner Felix Niggemann Dr. Stephan Stahlschmidt

Press contact

Daniel Matthes
Daniel Matthes +49 511 450670-532
To press section

Funded by

Bundeministerium für Bildung und Forschung