Kompetenzzentrum Bibliometrie

Projektbeginn: 01.12.2008 - Projektende: 31.12.2021

Noch vor 20 Jahren war Bibliometrie etwas Exotisches, mit dem sich bestenfalls Expert*innen beschäftigten. Heute spielen bibliometrische Informationen eine wichtige Rolle in unterschiedlichen Bewertungs-, Steuerungs- und Mittelverteilungsprozessen des Wissenschaftssystems. Die großen Literaturdatenbanken stellen bibliometrische Kennzahlen wie den Journal Impact Factor oder den Hirsch-Index inzwischen standardmäßig zur Verfügung. Die rasante Verbreitung von bibliometrischen Informationen täuscht jedoch gelegentlich darüber hinweg, dass sie in ihren jeweiligen Anwendungszusammenhängen der Interpretation und in der Folge auch der Weiterentwicklung bedürfen, um tatsächlich zu einer anspruchsvollen und differenzierten Indikatorik für unterschiedliche wissenschaftliche Leistungen zu kommen. Die Entwicklung von Kompetenzen im Umgang mit den interpretationsbedürftigen Kennzahlen aus der Bibliometrie und der Ausbau von vertiefter Forschung in der Bibliometrie hat in den letzten Jahren jedoch zumindest in Deutschland nicht immer mit dem Anwachsen der praktischen Verwendung von bibliometrischen Informationen Schritt gehalten.

Vor diesem Hintergrund wurde im Jahr 2009 das Kompetenzzentrum Bibliometrie ins Leben gerufen – ein vom Bundesministerium für Bildung und Forschung gefördertes Konsortium, bestehend aus dem damaligen Institut für Forschungsinformation und Qualitätssicherung (iFQ) als Koordinator, dem Fraunhofer-Institut für System- und Innovationsforschung ISI, der Universität Bielefeld und dem FIZ Karlsruhe – Leibniz-Institut für Informationsinfrastruktur. Ziel der gemeinsamen Arbeit war zunächst der Aufbau einer Inhouse-Datenbank auf der Basis von Scopus (Elsevier) und relevanten Beständen des Web of Science (Thomson Reuters). Auf dieser Basis wurden umfangreiche Qualitätskontrollen, Fehlerlehren, Adress- und Namensvereinheitlichung vorgenommen und der Datenbestand auf diese Weise sukzessive korrigiert und ergänzt. Nach Abschluss der technischen Aufbauarbeiten widmete sich das Kompetenzzentrum Bibliometrie in diversen Forschungsprojekten insbesondere der Definition von Qualitätsstandards und der Entwicklung und Erprobung von neuen Indikatoren. Auch spezialisiertere Studien – etwa zu Kooperationsbeziehungen, zur Wirkung von Fördermaßnahmen, zur Identifikation von Exzellenz oder zur Charakterisierung von Publikationsstrategien – wurden von den Partner*innen des Konsortiums initiiert.

Seit Anfang 2014 arbeiten auch GESIS – Leibniz-Institut für Sozialwissenschaften, die Max-Planck-Gesellschaft und das Forschungszentrum Jülich im Kompetenzzentrum Bibliometrie mit. Ziel ist es, das Kompetenzzentrum Bibliometrie institutionell zu verstetigen und den dauerhaften Betrieb der Forschungsinfrastruktur, die zugleich der Bereitstellung diverser bibliometrischer Dienstleistungen dienen soll, zu ermöglichen. Am DZHW soll im Rahmen des Kompetenzzentrums Bibliometrie die Forschung im Themengebiet "Indikatorik und Methoden" weiter vertieft werden. Das DZHW intensiviert – gemeinsam mit unterschiedlichen Kooperationspartner*innen – insbesondere die bibliometrische Forschung auf den Gebieten der Indikatorentwicklung, der Qualitätssicherung und -messung, der Fachklassifizierung und Feldabgrenzung sowie der Netzwerkanalysen.

Das Kompetenzzentrum Bibliometrie wird als Infrastrukturprojekt gefördert, nicht als eigenes Forschungsprojekt. Publikationen des DZHW, die unter Nutzung der Daten und Infrastruktur des KB erstellt wurden, werden nur unter den jeweiligen Projekten aufgeführt. Veröffentlichungen des DZHW und anderer KB-Partner auf Basis der Infrastruktur werden auch unter www.bibliometrie.info aufgelistet.

Mehr erfahren Weniger anzeigen
Publikationen

Validation of the Astro dataset clustering solutions with external data.

Donner, P. (2020).
Validation of the Astro dataset clustering solutions with external data. Scientometrics, 126, 1619–1645.
Abstract

We conduct an independent cluster validation study on published clustering solutions of a research testbed corpus, the Astro dataset of publication records from astronomy and astrophysics. We extend the dataset by collecting external validation data serving as proxies for the latent structure of the corpus. Specifically, we collect (1) grant funding information related to the publications, (2) data on topical special issues, (3) on specific journals’ internal topic classifications and (4) usage data from the main online bibliographic database of the discipline. The latter three types of data are newly introduced for the purpose of clustering validation and the rationale for using them for this task is set out.

Comparison of Web of Science, Scopus and Dimensions databases.

Stahlschmidt, S., & Stephen, D. (2020). Comparison of Web of Science, Scopus and Dimensions databases. Report to Kompetenzzentrum Bibliometrie. Hannover: DZHW.

The implicit preference of bibliometrics for basic research.

Donner, P., & Schmoch, U. (2020).
The implicit preference of bibliometrics for basic research. Scientometrics, 124, 1411-1419.
Abstract

By individually associating articles to basic or applied research, it is shown that basic articles are cited more frequently than applied ones. Dividing the subject categories of the Web of Science into a basic and an applied part, the mean field-normalization rate is referred to the applied or basic part depending on the research orientation of the paper analysed. By this approach, a distinct difference of the citations for the applied and basic parts of most subject categories is found. However, differences of the citation scores of applied and basic research organisations are found as well, but are less clear. The explanation is that applied and basic research organisations generally publish a mix of basic and applied articles. [...]

Comparing institutional-level bibliometric research performance indicator values based on different affiliation disambiguation systems.

Donner, P., Rimmert, C., & van Eck, N.J. (2020).
Comparing institutional-level bibliometric research performance indicator values based on different affiliation disambiguation systems. Quantitative Science Studies, Volume 1 Issue 1, MIT Press, 150-170.
Abstract

The present study is an evaluation of three frequently used institution name disambiguation systems. The Web of Science normalized institution names and Organization Enhanced system and the Scopus Affiliation ID system are tested against a complete, independent institution disambiguation system for a sample of German public sector research organizations. The independent system is used as the gold standard in the evaluations that we perform. We study the coverage of the disambiguation systems and, in particular, the differences in a number of commonly used bibliometric indicators. The key finding is that for the sample institutions, the studied systems provide bibliometric indicator values that have only a limited accuracy. [...]

Merits and Limits: Applying open data to monitor Open Access publications in bibliometric databases.

Akbaritabar, A., & Stahlschmidt, S. (2019).
Merits and Limits: Applying open data to monitor Open Access publications in bibliometric databases. In Catalano, G., Daraio, C., Gregori, M., Moed, H. F., & Ruocco, G (Hrsg.) Proceedings of the 17th Conference of the International Society for Scientometrics and Informetrics (ISSI 2019), Vol. 2, (S. 1455-1461). Rom: Edizioni Efesto.

Comparing institutional-level bibliometric indicator values based on different affiliation disambiguation systems. Benchmarking Web of Science and Scopus platform tools against a gold-standard data set for Germany.

Donner, P., Rimmert, C., & van Eck, N. J. (2019).
Comparing institutional-level bibliometric indicator values based on different affiliation disambiguation systems. Benchmarking Web of Science and Scopus platform tools against a gold-standard data set for Germany. In Catalano, G., Daraio, C., Gregori, M., Moed, H. F., & Ruocco, G (Hrsg.) Proceedings of the 17th Conference of the International Society for Scientometrics and Informetrics (ISSI 2019), Vol. 1, (S. 306-315). Edizioni Efesto. ISBN 978-88-3381-118-5.

Applying Crossref and Unpaywall information to identify gold, hidden gold, hybrid and delayed Open Access publications in the KB corpus. Report to Kompetenzzentrum Bibliometrie.

Akbaritabar, A., & Stahlschmidt, S. (2019).
Applying Crossref and Unpaywall information to identify gold, hidden gold, hybrid and delayed Open Access publications in the KB corpus. Report to Kompetenzzentrum Bibliometrie. DZHW: Berlin/Hannover.

Traditionelle bibliometrische Indikatoren im Qualitätsmanagement und die Auswirkungen eines naiven Umgangs damit.

Hornbostel, S. (2019).
Traditionelle bibliometrische Indikatoren im Qualitätsmanagement und die Auswirkungen eines naiven Umgangs damit. In AQ Austria (Hrsg.), Forschung fördern - Rahmenbedingungen gestalten! Beiträge zur 6. AQ Austria Jahrestagung 2018. Wien: facultas.

Effect of publication month on citation impact.

Donner, P. (2018).
Effect of publication month on citation impact. Journal of Informetrics, 12(1), 330-343.

Trade Journals in den KB-Datenbanken und ihr Einfluss auf bibliometrische Indikatorik.

Beng, F. (2018).
Trade Journals in den KB-Datenbanken und ihr Einfluss auf bibliometrische Indikatorik. Bericht an die Partner des Kompetenzzentrums Bibliometrie.

Document type assignment accuracy in the journal citation index data of Web of Science.

Donner, P. (2017).
Document type assignment accuracy in the journal citation index data of Web of Science. Scientometrics, 113(1), 219-236.
Abstract

This article reports the results of a study of the correctness of document type assignments in the commercial citation index database Web of Science (SCIE, SSCI, AHCI collections). The document type assignments for publication records are compared to those given on the official journal websites or in the publication full-texts for a random sample of 791 Web of Science records across the four document type categories articles, letters, reviews and others, according to the definitions of WoS. The proportion of incorrect assignments across document types and its influence on document specific normalized citations scores are analysed. It is found that document type data is correct in 94% of records. [...]

Enhanced self-citation detection by fuzzy author name matching and complementary error estimates.

Donner, P. (2016).
Enhanced self-citation detection by fuzzy author name matching and complementary error estimates. Journal of the Association for Information Science and Technology, 662–670.
Abstract

In this article I investigate the shortcomings of exact string match-based author self-citation detection methods. The contributions of this study are twofold. First, I apply a fuzzy string matching algorithm for selfcitation detection and benchmark this approach and other common methods of exclusively author namebased self-citation detection against a manually curated ground truth sample. Near full recall can be achieved with the proposed method while incurring only negligible precision loss. Second, I report some important observations from the results about the extent of latent self-citations and their characteristics and give an example of the effect of improved self-citation detection on the document level self-citation rate of [...].

Vorträge

Vergleich bibliometrischer Indikatoren basierend auf verschiedenen Institutionenbereinigungen.

Donner, P. in Zusammenarbeit mit Rimmert, C., & van Eck, N.J. (2020, März).
Vergleich bibliometrischer Indikatoren basierend auf verschiedenen Institutionenbereinigungen. Vortrag auf dem Workshop "Leistungsmessung im Hochschulbereich", Technische Universtität Dresden, Project PEER-UP, 05.-06.03.2020, Dresden.

Merits and Limits: Applying open data to monitor open access publications in bibliometric databases.

Akbaritabar, A., & Stahlschmidt, S. (2019, September).
Merits and Limits: Applying open data to monitor open access publications in bibliometric databases. Vortrag auf der 17th International Conference of Scientometrics & Infometrics (ISSI2019), 02.-05.09.2019, Rom, Italien.

Comparing institutional-level bibliometric indicator values based on different affiliation disambiguation systems. Benchmarking Web of Science and Scopus platform tools against a gold-standard data set for Germany.

Donner, P., Rimmert, C., & van Eck, N. J. (2019, September).
Comparing institutional-level bibliometric indicator values based on different affiliation disambiguation systems. Benchmarking Web of Science and Scopus platform tools against a gold-standard data set for Germany. Vortrag auf der 17th International Conference on Scientometrics & Informetrics, September 2-5, 2019, Rome, Italy.

Bibliometrics Reviewed: History, Institutionalization, and Concepts.

Hinze, S., & Hornbostel, S. (2019, Juli).
Bibliometrics Reviewed: History, Institutionalization, and Concepts. 10. European Summer School for Scientometrics (esss), KU Leuven, 15.-20. July 2019, Leuven, Belgium.

Scientometric Indicators in Use: an Overview.

Hinze, S., & Glänzel, W. (2019, Juli).
Scientometric Indicators in Use: an Overview. 10. European Summer School for Scientometrics (esss), KU Leuven, 15.-20. July 2019, Leuven, Belgium.

Merits and Limits: Applying open data to monitor open access publications in bibliometric databases.

Akbaritabar, A., & Stahlschmidt, S. (2019, Juni).
Merits and Limits: Applying open data to monitor open access publications in bibliometric databases. Workshop on Matching procedures for Unpaywall and Web of Science, Bielefeld University, June 18, 2019, Bielefeld.

Traditionelle bibliometrische Indikatoren im Qualitätsmanagement und die Auswirkungen eines naiven Umgangs damit.

Hornbostel, S. (2018, September).
Traditionelle bibliometrische Indikatoren im Qualitätsmanagement und die Auswirkungen eines naiven Umgangs damit. Vortrag auf der AQ Austria Jahrestagung: Forschung fördern - Rahmenbedingungen gestalten, Agentur für Qualitätssicherung und Akkreditierung Austria, 27.09.2018, Wien, Österreich.

Scientometric Indicators in Use: an Overview.

Hinze, S., & Glänzel, W. (2018, Juli).
Scientometric Indicators in Use: an Overview. Vortrag auf der 9. European Summer School for Scientometrics (esss), Universität Wien, 23.-28.07.2018, Wien, Österreich.

Bibliometrics Reviewed: History, Institutionalization, and Concepts.

Hornbostel, S. (2018, Juli).
Bibliometrics Reviewed: History, Institutionalization, and Concepts. Vortrag auf der 9. European Summer School for Scientometrics (esss), Universität Wien, 23.-28.07.2018, Wien, Österreich.

Effect of publication month on citation impact.

Donner, P. (2017, Oktober).
Effect of publication month on citation impact. Vortrag auf der 16th International Conference on Scientometrics & Informetrics (ISSI), 16.-20.10.2017, Wuhan University, Wuhan, China.

Effect of publication month on citation impact.

Donner, P. (2017, Oktober).
Effect of publication month on citation impact. Vortrag am Science & Technology Policy Research and Information Center, National Applied Research Laboratories, Taipei, Taiwan.
Abstract

A standard procedure in citation analysis is that all papers published in one year are assessed at the same later point in time, implicitly treating all publications as if they were published at the exact same date. This leads to systematic bias in favor of early-months publications and against late-months publications. This contribution analyses the size of this distortion on a large body of publications from all disciplines over citation windows of up to 15 years. It is found that early-month publications enjoy a substantial citation advantage, which arises from citations received in the first three years after publication. [...]

Improving bibliometric indicators with better data and methods. An overview and recent progress on selected problems.

Donner, P. (2017, Oktober).
Improving bibliometric indicators with better data and methods. An overview and recent progress on selected problems. Vortrag an der National Taiwan University, Department of Library and Information Science, Taipei, Taiwan.

Missing citations due to exact reference matching: analysis of a random sample from WoS. Are publications from peripheral countries disadvantaged?

Donner, P. (2016, September).
Missing citations due to exact reference matching: analysis of a random sample from WoS. Are publications from peripheral countries disadvantaged? Vortrag auf der 21st International Conference on Science and Technology Indicators (STI 2016), 14.-06.09.2016, Valencia, Spanien.

Projektleitung

Stephan Stahlschmidt
Dr. Stephan Stahlschmidt Projektleitung 030 2064177-18

Projektmitarbeit

Paul Donner Alex Fenton Marion Schmidt Dr. Dimity Stephen

Projektwebsite

http://www.bibliometrie.info

Gefördert von

Bundesministerium für Bildung und Forschung