Evaluation Practices in Science and Higher Education

Start of the project: 01-Oct-2016 - End of the project: 30-Sept-2019

Evaluation takes place where highly estimated goods are at stake. In science, the most precious good is scientific quality. Scientific progress has always depended on the assurance of scientific quality that is understood not as external evaluation but as necessarily taking place within the scientific community itself. From the selection of reviewers based on their social trustworthiness in the Royal Society to the current single-, double-, or triple-blind peer review, judging the scientific quality of methods, theories, and empirical discoveries has always been a central mechanism to establish and maintain scientific communities. At the same time, peer review has received a fair share of criticism. Yet, it is still commonly accepted as the gold standard for judging scientific quality.

However, scientific peer review is not as homogenous as debates about its quality might suggest. First, it is applied in a variety of contexts ranging from the selection of journal submissions and funding proposals to selection committees at universities or even online platforms such as ResearchGate, Academia.edu or Google Scholar. Second, even within each of these contexts the peer review process may vary significantly, with respect to the selection of referees, the (technological) infrastructure, metrics, and the regimes of visibility.

Respecting the diversity of evaluation procedures in science and higher education, we ask how scientific quality assurance is understood and practiced in different situations and contexts. With an emphasis on comparative empirical research on evaluation practices in science and higher education, we aim to contribute to current theoretical debates in the sociology of valuation and evaluation.

Show more Show less
Publications

Bewertung in und durch digitale Infrastrukturen.

Krüger, A. K., Heßelmann, F., & Hartstein, J. (2021).
Bewertung in und durch digitale Infrastrukturen. In F. Meier & T. Peetz (Hrsg.), Organisation und Bewertung (S. 97-124). Wiesbaden: VS Verlag für Sozialwissenschaften. https://doi.org/10.1007/978-3-658-31549-8_5

Sichtbarkeit und Bewertung.

Krüger, A., & Hesselmann, F. (2020).
Sichtbarkeit und Bewertung. Zeitschrift für Soziologie, 49(2-3), 163-181. doi: 10.1515/zfsoz-2020-0015.

Mehr Daten, mehr Wissen? – Sozialwissenschaftliche Perspektiven auf digitale Datenproduktion und -nutzung.

Krüger, A. K., Hartstein, J., & Heßelmann, F. (2019).
Mehr Daten, mehr Wissen? – Sozialwissenschaftliche Perspektiven auf digitale Datenproduktion und -nutzung. SocArxiv. https://doi.org/10.31235/osf.io/r8xtm

Admitting uncertainty: a weighted socio-epistemic network approach to cognitive distance between authors.

Hartstein, J. (2019).
Admitting uncertainty: a weighted socio-epistemic network approach to cognitive distance between authors. In Catalano, G., Daraio, C., Gregori, M., Moed, H. F., & Ruocco, G (Hrsg.) Proceedings of the 17th Conference of the International Society for Scientometrics and Informetrics (ISSI 2019), Vol. 2, (S. 2043-2052). Edizioni Efesto. ISBN 978-88-3381-118-5.

Evaluations as value-measurement links: Exploring metrics and meanings in science.

Hesselmann, F., & Schendzielorz, C. (2019).
Evaluations as value-measurement links: Exploring metrics and meanings in science. In Brighenti, A.M., Theorising Measures, Rankings and Metrics, Special Issue for Social Science Information, (S. 282-300).

Nach der Bewertung ist vor der Bewertung – Sichtbarkeit und Emotionalität als verbindende Elemente von Bewertungsprozessen.

Reinhart, M., Krüger, A., & Hesselmann, F. (2018).
Nach der Bewertung ist vor der Bewertung – Sichtbarkeit und Emotionalität als verbindende Elemente von Bewertungsprozessen. In S. Nicolae, M. Endreß, O. Berli & D. Bischur (Hrsg.), (Be)Werten. Beiträge zur sozialen Konstruktion von Wertigkeit. Wiesbaden: Springer. https://doi.org/10.1007/978-3-658-21763-1_6

Aktuelle Herausforderungen der Wissenschafts- und Hochschulforschung: Eine kollektive Standortbestimmung.

Hamann, J., Kaldewey, D., Bieletzki, N., Bloch, R., Flink, T., Franzen, M., ... & Serrano Velarde, K. (2018).
Aktuelle Herausforderungen der Wissenschafts- und Hochschulforschung: Eine kollektive Standortbestimmung. Soziologie, 2/2018187-203.

Wert, Werte und (Be-)Wertungen. Eine erste begriffs- und prozesstheoretische Sondierung der aktuellen Soziologie der Bewertung.

Krüger, A., & Reinhart, M. (2017).
Wert, Werte und (Be-)Wertungen. Eine erste begriffs- und prozesstheoretische Sondierung der aktuellen Soziologie der Bewertung. Berliner Journal für Soziologie 18(3-4), 485-500. Wiesbaden: Springer.

Theories of Valuation - Building Blocks for Conceptualizing Valuation Between Practice and Structure.

Krüger, A., & Reinhart, M. (2017).
Theories of Valuation - Building Blocks for Conceptualizing Valuation Between Practice and Structure. Historical Social Research Vol. 42.1: Special Issue: Markets and Classifications, 263-285. Mannheim: GESIS.
Presentations

Die externe Begutachtung als Mittel zum Zweck? Über die Herstellung von Legitimation in Berufungsverfahren an deutschen Universitäten.

Walther, L. (2022, Januar).
Die externe Begutachtung als Mittel zum Zweck? Über die Herstellung von Legitimation in Berufungsverfahren an deutschen Universitäten. Vortrag im Rahmen des Seminars 'Zur Schnittmenge von Leistung und sozialer Ungleichheit in Wissenschaft und Hochschule', Arbeitsbereich Hochschulforschung / Hochschulbildung am Institut für Erziehungswissenschaften , Humboldt-Universität zu Berlin.

Bewertung der "Persönlichkeit" oder der "Papierleistung"? - Die externe Begutachtung aus Sicht der Berufungskommission.

Walther, L. (2020, November).
Bewertung der "Persönlichkeit" oder der "Papierleistung"? - Die externe Begutachtung aus Sicht der Berufungskommission. Vortrag im Rahmen des virtuellen Workshops "Organisierte Personenbewertung", Arbeitskreis Organisation und Bewertung der DGS Sektion Organisationssoziologie, Fernuniversität Hagen.

Consistency and disagreement in journal peer review and the norm of disinterestedness.

Hartstein, J. (2020, September/Oktober).
Consistency and disagreement in journal peer review and the norm of disinterestedness. Vortrag auf der PEERE International Conference on Peer Review, 29.9.-1.10.2020, Valencia, Spain.

Admitting uncertainty: a weighted socio-epistemic network approach to cognitive distance between authors.

Harstein, J. (2019, September).
Admitting uncertainty: a weighted socio-epistemic network approach to cognitive distance between authors. Vortrag auf der EUSN 2019: 4th European Conference on Social Networks, 9.-12.9.2019, Zürich (Schweiz).

Crisis? What Crisis? Institutional Narratives of Scientific Misconduct.

Hesselmann, F. (2019, September).
Crisis? What Crisis? Institutional Narratives of Scientific Misconduct. Vortrag auf der 4S 2019, 04.-07.09.2019, New Orleans, USA.

Admitting uncertainty: a weighted socio-epistemic network approach to cognitive distance between authors.

Hartstein, J. (2019, September).
Admitting uncertainty: a weighted socio-epistemic network approach to cognitive distance between authors. Vortrag auf der ISSI 2019: 17th International Conference on Scientometrics & Informetrics, 2.-5.9.2019, Rom (Italien).

Besser Steuern durch mehr Daten?

Hartstein, J., Krüger, A., & Heßelmann, F. (2019, Juni).
Besser Steuern durch mehr Daten? Vortrag auf der #HUkon19: Internet, KI und deren Einfluss auf die Gesellschaft, 22.-23.06.2019, Freiburg.

Workshop des DFG-Netzwerks "Auf dem Weg in die Bewertungsgesellschaft?".

Krüger, A.K. (2019, Juni).
Workshop des DFG-Netzwerks "Auf dem Weg in die Bewertungsgesellschaft?". Organisation zusammen mit Thorsten Peetz und Hilmar Schäfer, 20.-21.6. 2019, Humboldt-Universität zu Berlin.

Comparisons and valuation.

Krüger, A.K. (2019, Juni).
Comparisons and valuation. Kommentar auf dem VW-Symposium "Academia in the Age of Comparison", 13.-14.6.2019, Hannover.

Wissenschaftliche Leistung beurteilen.

Reinhart, M. (2019, Juni).
Wissenschaftliche Leistung beurteilen. Workshop an der Graduierten Akademie der Universität Jena.

Die Rolle der externen Begutachtung in Berufungsverfahren an deutschen Universitäten.

Walther, L. (2019, Mai).
Die Rolle der externen Begutachtung in Berufungsverfahren an deutschen Universitäten. Vortrag auf der Frühjahrstagung der DGS-Sektion Wissenschafts- und Technikforschung, Arbeitskreis Wissenschafts- und Hochschulforschung. Forum Internationale Wissenschaft, Universität Bonn.

Von der ‚logic of confidence‘ zur ‚logic of evaluation‘ – Perspektiven der Soziologie des Wertens und Bewertens auf digitale Infrastrukturen.

Krüger, A. (2019, Mai).
Von der ‚logic of confidence‘ zur ‚logic of evaluation‘ – Perspektiven der Soziologie des Wertens und Bewertens auf digitale Infrastrukturen. Vortrag auf dem Kolloquium der Technik- und Innovationssoziologie von Prof. Ingo Schulz-Schaeffer, 22. Mai 2019, TU Berlin.

Linking measurements and values in the process of knowledge production – Infrastructures of knowing in the creation of a scientific article.

Heßelmann, F., & Schendzielorz, C. (2019, Mai).
Linking measurements and values in the process of knowledge production – Infrastructures of knowing in the creation of a scientific article. Vortrag auf der STS Graz, 6.-7. Mai 2019, Graz, Österreich.

"Luck favors the prepared mind" - On the role of chance in scientific publishing.

Reinhart, M. (2019, März).
"Luck favors the prepared mind" - On the role of chance in scientific publishing. Havel Spree Colloquium, eingeladener Keynote Vortrag, Freie Universität, 29.03.2019, Berlin.

Quantification 2.0? Digital infrastructure in academic evaluation.

Krüger, A. (2019, März).
Quantification 2.0? Digital infrastructure in academic evaluation. Vortrag auf dem QUAD Workshop "Quantifying Higher Education: Origins, Production, Consequences" an der Universität Bielefeld, 28.-29.3.2019, Bielefeld.

Die externe Begutachtung in Berufungsverfahren an deutschen Universitäten.

Walther, L. (2019, März).
Die externe Begutachtung in Berufungsverfahren an deutschen Universitäten. Vortrag auf der 14. Jahrestagung der Gesellschaft für Hochschulforschung (GfHf), Otto-von-Guericke-Universität Magdeburg.

Von der "logic of confidence" zur "logic of evaluation" – Perspektiven der Soziologie des Wertens und Bewertens auf digitale Infrastrukturen.

Krüger, A. (2019, Februar).
Von der "logic of confidence" zur "logic of evaluation" – Perspektiven der Soziologie des Wertens und Bewertens auf digitale Infrastrukturen. Vortrag auf dem Workshop "Theoretische und empirische Grundlagen einer soziologischen Digitalisierungsforschung" des Arbeitskreises Digitalisierung und Organisation in der DGS-Sektion Organisationssoziologie an der TU Berlin, 21.-22.2.2019, Berlin.

Digitale Infrastrukturen aus der Perspektive einer Soziologie des Wertens und Bewertens.

Krüger, A. (2019, Januar).
Digitale Infrastrukturen aus der Perspektive einer Soziologie des Wertens und Bewertens. Vortrag im Kolloquium des Arbeitsbereichs Recht und Gesellschaft an der Universität Bielefeld, 29. Januar 2019.

Measuring Performance or Performing Measurement – Digital Infrastructures in Academic Evaluation.

Krüger, A., Hartstein, J., & Heßelmann, F. (2018, Dezember).
Measuring Performance or Performing Measurement – Digital Infrastructures in Academic Evaluation. Vortrag auf der Annual Conference der Society for Research on Higher Education, 5.-7. Dezember 2018, Newport, Großbritannien.

Lessons from the Phoenix: why do we fear failure?

Reinhart, M. (2018, November).
Lessons from the Phoenix: why do we fear failure? Eingeladene Podiumsdikussion, BSRT Symposium „The Art of Failure“, Charité Berlin, 28.-30. 11.2018, Berlin.

Dispositifs of Transparency in Scientific Evaluation. The Publicity and Legibility of Peer Review.

Reinhart, M., & Schendzielorz, C. (2018, November).
Dispositifs of Transparency in Scientific Evaluation. The Publicity and Legibility of Peer Review. Workshop: The Role of Visibility in Academic Evaluation, DZHW & HU-Berlin, 15.-16.11.2018, Berlin.

Besser Steuern durch mehr Daten - Zur Performativität soziotechnischer Systeme und der Quantifizierung der sozialen Wirklichkeit.

Krüger, A., Hartstein, J., & Heßelmann, F. (2018, September).
Besser Steuern durch mehr Daten - Zur Performativität soziotechnischer Systeme und der Quantifizierung der sozialen Wirklichkeit. Vortrag auf der FifFKon, 28.-30.09.2018, Berlin.

Quantifizierungsdynamiken in wissenschaftlichen Bewertungsprozessen.

Hendriks, B., Reinhart, M., & Schendzielorz, C. (2018, September).
Quantifizierungsdynamiken in wissenschaftlichen Bewertungsprozessen. Vortrag in der Adhoc-Gruppe zu „Grenzen der Quantifizierung in der Datengesellschaft“ auf dem 39. Kongress der Deutschen Gesellschaft für Soziologie, Georg-August-Universität Göttingen, 24.-28.09.2018, Göttingen.

Der Zusammenhang von Organisation und Produktion wissenschaftlichen Wissens. Zur Neukonfiguration des Verhältnisses zwischen Hochschule und Wissenschaft.

Krüger, A., zusammen mit Dr. Roland Bloch (Halle), Dr. Martina Franzen (Berlin), Dr. Julian Hamann (Hannover), Prof. David Kaldewey (Bonn), Prof. Anna Kosmützky (Hannover) (2018, September).
Der Zusammenhang von Organisation und Produktion wissenschaftlichen Wissens. Zur Neukonfiguration des Verhältnisses zwischen Hochschule und Wissenschaft. Organisation der Session des AK Wissenschafts- und Hochschulforschung in der DGS-Sektion Wissenschafts- und Technikforschung auf dem 39. Kongress der Deutschen Gesellschaft für Soziologie, Universität Göttingen, 24.-28.09.2018, Göttingen.

Technologies That Count: Big Data and Social Order.

Krüger, A., Panel zusammen mit Prof. Norma Möllers (Queens University, CA) (2018, Juli).
Technologies That Count: Big Data and Social Order. Panel auf dem Meeting der European Association for the Study of Science and Technology, Lancaster University, 25.-28.07.2018, Lancaster, Großbritannien.

Recognition by numbers: who shapes algorithmic science evaluation?

Hartstein, J. (2018, Juli).
Recognition by numbers: who shapes algorithmic science evaluation? Vortrag auf dem Meeting der European Association for the Study of Science and Technology (EASST), Lancaster University, 25.-28.07.2018, Lancaster, Großbritannien.

Was this Review Helpful to You? Creation and Re-Creation of Value through Measurement.

Heßelmann, F., & Schendzielorz, C. (2018, Juli).
Was this Review Helpful to You? Creation and Re-Creation of Value through Measurement. Vortrag in der Session “Theorizing Measures, Rankings and Metrics” auf dem XIX ISA World Congress of Sociology, 15.-21.07.2018, Toronto, Kanada.

Visibility concerns, (In)visible institutions and the making of scandals.

Heßelmann, F., & Reinhart, M. (2018, Juli).
Visibility concerns, (In)visible institutions and the making of scandals. Vortrag in der Session “Social Visibility: Conceptual Explorations” auf dem XIX ISA World Congress of Sociology, 15.-21.07.2018, Toronto, Kanada.

Theorien der Bewertung.

Krüger, A., zusammen mit Dr. Thorsten Peetz (Bremen) und Dr. Hilmar Schäfer (Frankfurt/Oder) (2018, Juli).
Theorien der Bewertung. Organisation des Auftaktworkshops des DFG-Netzwerks "Auf dem Weg in die Bewertungsgesellschaft?", Universität Bremen, 12.-13.07.2018, Bremen.

Using the concept of 'distance' to identify and explore 'regimes of knowledge production'.

Hartstein, J. (2018, Juni).
Using the concept of 'distance' to identify and explore 'regimes of knowledge production'. Vortrag auf der Veranstaltung 'Regimes of knowledge production', 07.-08.06.2018, Technische Universität Berlin.

Bewertungspraktiken in Wissenschaft und Hochschule.

Krüger, A. (2018, April).
Bewertungspraktiken in Wissenschaft und Hochschule. Vortrag auf dem "Statusworkshop DZHW-Integrationsprojekte", BMBF, 25.04.2018, Berlin.

Bewertungspraktiken in Berufungsverfahren – die Institutionalisierung von Berufungsbeauftragten an deutschen Universitäten.

Walther, L. (2018, April).
Bewertungspraktiken in Berufungsverfahren – die Institutionalisierung von Berufungsbeauftragten an deutschen Universitäten. Präsentation im Rahmen des HoFoNa Ideenforums auf der 13. Jahrestagung der Gesellschaft für Hochschulforschung (GfHf), Deutsche Universität für Verwaltungswissenschaften, Speyer.

Research on Peer Review – in search of a theoretical approach.

Schendzielorz, C., & Reinhart, M. (2018, März).
Research on Peer Review – in search of a theoretical approach. Vortrag auf der internationalen Konferenz “PEERE international Conference on Peer Review“, 7.-9. März 2018, National Research Council, Rom, Italien.

Die (organisationale) Ordnung des Bewertens. Das Beispiel Berufungsverfahren.

Kleimann, B. (2018, Februar).
Die (organisationale) Ordnung des Bewertens. Das Beispiel Berufungsverfahren. Vortrag bei der Frühjahrstagung "Organisation und Bewertung" der Sektion Organisationssoziologie der deutschen Gesellschaft für Soziologie, Universität Bremen.

Algorithmic science evaluation and power structure: the discourse on strategic citation and ‚citation cartels‘.

Hartstein, J., Isigkeit, T., & Sörgel, F. (2017, Dezember).
Algorithmic science evaluation and power structure: the discourse on strategic citation and ‚citation cartels‘. Vortrag auf dem 34. Chaos Communication Congress (34C3), 27.-30. Dezember 2017, Messe Leipzig.

Sichtbarkeit in Bewertungsverfahren am Beispiel des Journal Peer Review.

Heßelmann, F., & Krüger, A. (2017, November).
Sichtbarkeit in Bewertungsverfahren am Beispiel des Journal Peer Review. Vortrag auf der Tagung der DGS-Sektionen Kultursoziologie und Wissenssoziologie "Kulturen der Bewertung", Köln.

Wissenschaft und Hochschule als Vertrauenskonstellation.

Reinhart, M. (2017, Oktober).
Wissenschaft und Hochschule als Vertrauenskonstellation. Eingeladener Vortrag, Center for Higher Education and Science Studies, Universität Zürich.

Modelling 'cognitive distance' in the context of research on evaluation practices.

Hartstein, J. (2017, September).
Modelling 'cognitive distance' in the context of research on evaluation practices. Vortrag auf der 3rd European Conference on Social Networks (EUSN), 26.-29. September 2017, Johannes-Guttenberg-Universität, Mainz.

Mix and immunize.

Reinhart, M. (2017, September).
Mix and immunize. Vortrag auf der 22th International Conference on Science, Technology & Innovation Indicators (STI 2017), ESIEE, 06.09.-08.09.2017, Paris, Frankreich.

Are theories of peer review fit for the Humanities and the Social Sciences?

Reinhart, M. (2017, Juli).
Are theories of peer review fit for the Humanities and the Social Sciences? Vortrag im Rahmen der Tagung "Research Evaluation in the Social Sciences and the Humanities", 6.-7. Juli 2017, Universität Antwerpen, Belgien.

Wissenschaftliche Leistung beurteilen.

Reinhart, M. (2017, Juni).
Wissenschaftliche Leistung beurteilen. Ganztägiger Workshop im Rahmen der Graduiertenakademie der Universität Jena.

Von Peer Review bis VroniPlag. Möglichkeiten und Grenzen von Qualitätskontrolle in der Forschung.

Reinhart, M. (2017, Juni).
Von Peer Review bis VroniPlag. Möglichkeiten und Grenzen von Qualitätskontrolle in der Forschung. Vortrag an der Graduiertenakademie der Universität Jena.

Wert, Werte und (Be-)Wertungen - Zum Zusammenspiel von emotionalen Zuschreibungen und vergleichenden Abwägungen in der Soziologie des Wertens und Bewertens.

Krüger, A. K., & Reinhart, M. (2017, Mai).
Wert, Werte und (Be-)Wertungen - Zum Zusammenspiel von emotionalen Zuschreibungen und vergleichenden Abwägungen in der Soziologie des Wertens und Bewertens. Vortrag auf der Frühjahrstagung der Sektion Soziologische Theorie der Deutschen Gesellschaft für Soziologie, 25.-26.5.2017, Heidelberg.

Bewertungspraktiken in der Wissenschaft.

Krüger, A. (2017, April).
Bewertungspraktiken in der Wissenschaft. Vortrag auf dem MCTS Incubator Workshop "Re-organizing universites - transforming academia", Munich Center for Technology in Society, 07.04.2017, München.

What peer review makes visible: Valuation practices as shared cognitive emotional interactional platforms.

Reinhart, M. (2017, März).
What peer review makes visible: Valuation practices as shared cognitive emotional interactional platforms. Vortrag im Rahmen der Klausur der Arbeitsgruppe Bewertungspraktiken am Deutschen Zentrum für Hochschul- und Wissenschaftsforschung, Berlin.
Conferences

Workshop des DFG-Netzwerks "Auf dem Weg in die Bewertungsgesellschaft?".

Krüger, A.K. (2019, Juni).
Workshop des DFG-Netzwerks "Auf dem Weg in die Bewertungsgesellschaft?". Organisation zusammen mit Thorsten Peetz und Hilmar Schäfer, 20.-21.6. 2019, Humboldt-Universität zu Berlin.

Organisation des Workshops "Schnittstellen der Wissenschafts- und Hochschulforschung: Methoden, Theorien und empirische Zugänge", zusammen mit Martina Franzen, David Kaldewey, Alexander Mitterle, Justin Powell, Christian Schneijderberg.

Krüger, A.K. (2019, Mai).
Organisation des Workshops "Schnittstellen der Wissenschafts- und Hochschulforschung: Methoden, Theorien und empirische Zugänge", zusammen mit Martina Franzen, David Kaldewey, Alexander Mitterle, Justin Powell, Christian Schneijderberg. Frühjahrstagung des AK Wissenschafts- und Hochschulforschung der DGS-Sektion Wissenschafts- und Technikforschung, 23.-24.05.2019, Forum Internationale Wissenschaft Bonn.

Contact person

Martin Reinhart
Prof. Dr. Martin Reinhart +49 30 2093-66616

Funded by

Bundesministerium für Bildung und Forschung