Open Science und die Leuphana Laboratories

Die Leuphana Laboratories möchten sich aktiv im “Open Science Movement“ engagieren und sich transparenter, offener und replizierbarer Forschungsmethoden bedienen. Aus diesem Grund stellen die Leuphana Laboratories an dieser Stelle Informationen und Maßnahmen, aber auch umsetzungsorientierte digitale Turorial-Videos bereit, um wissenschaftlich robuste und replizierbare Ergebnisse zu erzielen. Kontinuierlich werden die Leuphana Laboratories Einführungs-Workshops in Open Science Forschung durchführen.

Auf dieser Seite finden Sie folgende Informationen - (1) Es wird ein kurzer Überblick über den Begriff Open Science gegeben und auf das Open Science Framework hingewiesen (2) Es werden zentrale Begriffe definiert, um aufzuklären (Publication Bias & P-Hacking), (3) Es werden Ihnen konkrete Maßnahmen aufgezeigt, um den Einstieg in eine transparente Wissenschaft zu vereinfachen (Prä-Registierung, Registered Report, Power Analyse, Open Data, Code und Materials). Sukzessive stellen die Leuphana Laboratories Tutorials und Links zusammen, um Open Science für Sie möglichst einfach zu gestalten.

Die experimentelle Forschung in den Bereichen Management, Betriebswirtschaftslehre und der Psychologie steckt seit etwa 2011-2012 in einer ausgeprägten „Replikationskrise“. Zahlreiche Klassiker aus sowohl der Psychologie als auch der BWL ließen sich nicht mehr replizieren. Vermeintlich etablierte, berühmte Phänomene und vermeintlich bewährte Theorien sind massiv in Frage gestellt worden (vgl. Nelson, Simmons, & Simonsohn, 2017 für eine ausführliche Zusammenfassung). Gründe für diese Replikationskrise sind vielfältig: Wissenschaftlich unsauberes Arbeiten von Forscherinnen und Forschern, keine Prä-Registrierung von Hypothesen, „p-Hacking“, eine ungenügende statistische Test-Power durch fehlende Stichprobenumfangsplanung und nicht-ausreichend große Stichproben (um hier nur einige Gründe zu nennen). Das „Open Science Movement“ befasst sich mit Maßnahmen, um Wege aus dieser Replikationskrise heraus zu finden.

Eine erste Anlaufstelle, um sich über Open Science zu informieren, findet sich auf der Homepage Open Science Framework. Dort können Prä-Registrierungen und anschließend die Fragebögen und Daten hochgeladen werden. Zudem finden Sie untentsehend und allgemein auf dieser Seite von der Leuphana produzierte Lehr-Lernressourcen zum Thema Open Science.

Der Publication Bias (zu deutsch: Publikationsbias bzw. Publikationsverzerrung) beschreibt eine verzerrte Darstellungen in wissenschaftlichen Fachzeitschriften (Journals), die durch die bevorzugte Veröffentlichung von Studien mit „positiven“ bzw. signifikanten Ergebnissen entsteht. Der Publicationbias  geht davon aus, dass signifikante Ergebnisse in wissenschaftlichen Fachzeitschriften eine höhere Wahrscheinlichkeit haben, publiziert zu werden, als insignifikante Ergebnisse. Damit geht das “File Drawer Problem“ einher, das annimmt, dass Forschende insignifikante Ergebnisse aufgrund des Publicationbias nicht mehr bei wissenschaftlichen Fachzeitschriften einreichen, sondern in ihrer „Schublade“ verschwinden lassen.
 
Um die Wahrscheinlichkeit zu erhöhen, Ergebnisse zu veröffentlichen kann es passieren, dass Forschende versuchen durch bspw. p-Hacking signifikante Ergebnisse zu erzielen. Oder Forschende verändern nachträglich ihre Hypothesen, um diese zu bestätigen. Da dies jedoch nicht im Sinne ordentlicher wissenschaftlicher Praxis ist, gibt es inzwischen Herangehensweisen, um den Publication bias zu verhindern, beispielsweise durch Prä-Registierung oder Registered Reports.

Weiterführende Literatur

Francis, G. (2014). Publication bias and the failure of replication in experimental psychology. Psychonomic Bulletin & Review,19, 975–991.

de Bruin, A. Treccani, B., & Della Sala, S. (2015). Cognitive advantage in bilingualism: An example of publication bias?Psychological Science, 26(1) 99–107.

P-Hacking beschreib das Manipulierendes P-Wertes unter die 5%-Grenze, um die Wahrscheinlichkeit einer Publikation der Forschungsergebnisse zu erhöhen. Beim P-Hacking werden viele verschiedene Hypothesen getestet, sodass es praktisch sicher ist, dass mindestens eine von diesen statistisch signifikant wird.
 
Herangehensweisen um P-Hacking zu verhindern, können beispielsweise Registered Reports, Prä-Registrierungen oder Open Data, Code und Materials verwendet werden.

Weiterführende Literatur

Wicherts, J. M.,Veldkamp, C. L. S., Augusteijn, H. E. M. Bakker, M., van Aert, R. C. M., & van Assen , M. A. L. M. (2016). Degrees of freedom in planning, running, analyzing, and reporting psychological studies: A checklist to avoid p-Hacking.Frontiers in Psychology, 7, 1-12.

Simmons, J., Nelson, L. D., & Simonsohn, U.  (2013). Life After P-Hacking. in NA - Advances in Consumer Research Volume 41, eds. Simona Botti and Aparna Labroo, Duluth, MN: Association for Consumer Research.

Bei der Prä-Registrierung registrieren Forschende ihre Studie, um im Nachhinein nachweisen zu können, dass die Studie tatsächlich wie vorab geplant durchgeführt und analysiert wurde. Am überzeugendsten ist eine Prä-Registrierung somit vor Beginn der Datenerhebung. Allerdings kann sie auch nach Abschluss der Datenerhebung gemacht werden.

Sie stellt das forschungsmethodische Vorgehen dar und ist eines der wichtigsten Instrumente von offener Wissenschaft, da sie Transparenz und Replizierbarkeit gewährleisten kann und zudem das P-Hacking und den Publication Bias verhindern kann. Explorative Fragen und Hypothesen sollten in der Prä-Registrierung klar voneinander getrennt werden.

Weiterführende Literatur

Krishna, A. (2020). The need for synergy in academic policies: An introduction to the research dialogue on pre‐registration.Journal of Consumer Psychology, Research Dialogue. 

Frech, M. L., Loschelder, D. D., & Friese, M. (2019). How and why different forms of expertise moderate anchor precision in price decisions: A pre-registered field experiment.Experimental Psychology, 66, 165-175.

Umsetzen einer Prä-Registrierung

Eine Einführung in die Prä-Registrierung

Ausfüllen einer Prä-Registrierung

Registered Reports sind Forschungsarbeiten, die bereits vor der eigentlichen Forschung (insbesondere Datenerhebung) geschrieben und beispielsweise bei einer wissenschaftlichen Fachzeitschrift (Journal) eingereicht werden. Diese entscheidet dann bereits vor der eigentlichen Durchführung der Studie, ob die Forschungsarbeit später publiziert werden wird. Ziel von Registered Reports ist es, die Transparenz zu erhöhen und dem Publikationsbias entgegenzuwirken.
 
In früheren Forschungsarbeiten ist immer wieder aufgefallen, dass sich Forschungsarbeiten mit klaren Ergebnissen leichter publizieren ließen (Publication Bias) oder sogar Hypothesen im Nachhinein geändert wurden, um unerwartete Ergebnisse vorherzusagen. Dies ist jedoch nicht im Sinne der Wissenschaft und nicht mehr möglich, wenn die Forschungsarbeit schon vor der Forschung und somit vor den Forschungsergebnissen geteilt wurde.

Weiterführende Literatur

Nosek, B. A., & Lakens, D. (2014). Registered reports: A method to increase the credibility of published results. Social Psychology, 45(3), 137–141.

Chambers, C. D., & Tzavella, L. (2020). Registered reports: Past, present and future. Preprint.

Stichprobenumfangsplanung ist ein wichtiger Bestandteil einer Studiendesignplanung, da eine zu kleine Stichprobe einen vorhandenen Effekt eventuell nicht sichtbar macht. Andererseits ist es aus wirtschaftlichen und organisatorischen Gründen wichtig, die Stichprobe nicht viel zu groß zu machen. Um eine geeignete Stichprobe festlegen zu können, werden häufig A priori Power-Analysen genutzt. Hierbei wird für die Teststärke in der Praxis häufig 0.8 (80 %) als akzeptabler Wert gesehen. Die Wahrscheinlichkeit von 20 % einen β-Fehler zu begehen wird also akzeptiert. Die Effektstärke wird ebenfalls benötigt, ist jedoch fast immer unbekannt, da die meisten Forschungen darauf abzielen diese herauszufinden. Um dieses Problem zu umgehen gibt es zwei Möglichkeiten. Eine Option ist auf Schätzungen zurückzugreifen, welche auf früheren Forschungsergebnissen, Erfahrungen usw. basieren, um zu schauen wie viele Versuchspersonen benötigt werden, um diese Effektstärke nachweisen zu können.

Power-Analysen werden genutzt, um festzustellen wie hoch die statistische Power eines Studiendesigns ist. Hierbei findet eine Unterscheidung zwischen A priori Power-Analysen und Post hoc Power-Analysen statt. A priori Power-Analysen werden vor einer Studie durchgeführt und geben an, wie viele Teilnehmer eine Studie mindestens braucht, um eine gewisse statistische Power (Wahrscheinlichkeit, dass ein vorhandener Effekt auch wirklich erkannt wird) zu erreichen. Post hoc Power-Analysen hingegen werden nach der Durchführung einer Studie gemacht und geben an wie hoch die statistische Power ist, um einen gefundenen Effekt statistisch nachweisen zu können.

Weiterführende Literatur 

Brysbaert, M. (2019). How many participants do we have to include in properly powered experiments? A tutorial of power analysis with reference tables. Journal of Cognition, 2(1), 1–38.

Programm

Heinreich Heine Universität Düsseldorf stellt G*Power als Softwareprogramm zum Download bereit. 

Open Data, Code und Materialien bedeutet, dass Forschende, die Daten, den Code zur Analyse und die genutzten Materialien online und damit frei zur Verfügung stellen. Durch die Bereitstellung der Daten können andere Forschenden die Daten nutzen, Fehler im Code finden und das genutzte Material bewerten.  

Open Data, Code und Materialien sind damit ein wichtiges Instrument von offener Wissenschaft, weil sie einen Beitrag zur Transparenz leistet. 

Im Zuge einer transparenten Wissenschaft, ist das Veröffentlichen von Data ein wichtiges Element. Mit PubData geht die Leuphana diesen Weg.

PubData ist das institu­tionelle Forschungs­daten-Reposi­torium der Leuphana zur lang­fristigen Sicherung, Doku­mentation und Veröffent­lichung von Forschungsdaten aus wissenschaft­lichen Projekten. 

PubData wird vom Medien- und Informations­zentrum (MIZ) der Leuphana betrieben und ist kostenfrei. Der Dienst richtet sich primär an Beschäf­tigte der Leuphana sowie zusätzlich an Forschende von vertrag­lich mit der Leuphana verbun­denen Kooperations­partnern.

PubData kann über den nachfolgenden Link aufgerufen werden: https://pubdata.leuphana.de