Messvariabilität bibliometrischer Indikatoren

Start of the project: 01-Jan-2018 - End of the project: 31-Jul-2018

Bibliometrische Indikatoren überführen in Beiträgen zu wissenschaftlichen Fachzeitschriften befindliche Zitationen in aggregierte Werte. Dieser Messprozess kann erst nach der Veröffentlichung eines Beitrages beginnen und übernimmt die aufgeführten Zitationen uneingeschränkt, ohne ihr Aufkommen zu hinterfragen. Diese Interpretation und Erklärung für das (Nicht-)Aufkommen von Zitationen im Text ist dagegen Gegenstand der Zitationstheorie, die die Auswahl von Zitationen durch die Autoren untersucht. Mit der Veröffentlichung eines Beitrages ist diese Auswahl von Zitationen final definiert und es beginnt die Überführung der Zitationen in bibliometrische Indikatoren im besagten Messprozess. Überlegungen zu einer auf der Zitationstheorie basierten Gewichtung von Zitationen im Messprozess verbinden beide Aspekte, allerdings wurde ein solcher Ansatz bisher noch nicht umgesetzt.

Während die Zitationstheorie eine auf Mikroebene der Auswahl einzelner Zitationen und/oder durch den Konstruktivismus begründete stochastische Komponente enthält, lässt der deterministische Messprozess zunächst keinen Raum für einen stochastischen Zufall, da der Daten generierende Prozess der berechneten Indikatorenwerte perfekt bekannt ist. Jedoch wird dieser Daten generierende Prozess, bzw. Messpfad, durch die messende Instanz festgelegt. Diese verfügt in ihrer Messtätigkeit über viele Freiheitsgraden, da zum einen die Auswirkungen der unterschiedlichen Messmöglichkeiten nicht vollständig bekannt sind und zum anderen der mittels Zitationen zu messende Inhalt, z.B. wissenschaftlicher Impact, als latentes Konstrukt nicht eindeutig definiert werden kann. Insbesondere ist nicht bekannt, in welchem Ausmaß wissenschaftlicher Impact mittels Zitationen erfasst werden kann und umgekehrt wie und in welchem Ausmaß Zitationen in Form einer Verzerrung auch über andere Dimensionen als wissenschaftlicher Impact informieren.

Aufgrund des nicht vollständig erforschten Messinstruments Zitationen und der gleichzeitig mangelnden Eindeutigkeit des durch die Messung zu erfassenden Inhaltes, das latenten Konstrukt wissenschaftlicher Impact, lässt sich daher kein im statistischen Sinne zu messender wahrer Wert, bzw. optimaler Messpfad, ableiten. Stattdessen existieren durch die unterschiedlichen Messmöglichkeiten und den daraus resultierenden Freiheitsgraden verschiedene Pfade gleichberechtigt nebeneinander, auch wenn die messenden Instanzen meist nur einen dieser Messpfade beschreiten (CWTS (2016), Mittermaier (2016)).

Die Auswirkungen verschiedener Messpfade wurden zuvor bereits im Bereich der Fehlerlehre untersucht. Hierbei wird insbesondere die Effektstärke einer einzelnen Messmöglichkeit auf die finalen Werte untersucht, um die Auswirkungen dieser Freiheitsgerade zu quantifizieren. Aufbauend auf diesen Ergebnissen wird daher nun der strenge Fokus auf einen einzelnen Messpfad aufgelöst. Basierend auf der obigen Problembeschreibung wird statt eines einzelnen (unzureichend begründeten) Messpfades alle, bzw. eine Vielzahl von, möglichen Pfaden berechnet. Die daraus resultierende Unschärfe ist nicht als Varianz, sondern aufgrund ihres bekannten deterministischen Ursprunges als Messvariabilität zu verstehen. Sie kann mittels eines Intervalls die durch den Messvorgang hervorgerufene Unsicherheit über die Genauigkeit eines einzelnen Messwertes darstellen.

Eine in der Zitationstheorie identifizierte stochastische Komponente des Zitierens wird dagegen nicht durch ein solches Intervall dargestellt, auch wenn die zugrundeliegenden Daten eine solche Zufallskomponente enthalten sollten. Angedacht ist jedoch die Messvariabilität zukünftig durch eine auf der Zitationstheorie basierenden stochastischen Varianz zu komplementieren.

Lead Researcher

Stephan Stahlschmidt
Dr. Stephan Stahlschmidt Lead Researcher +49 30 2064177-18

Researchers

Marion Schmidt