CMS Journal
Nr. 32
Juni 2009
Service
Metadaten
Hinweise
Weitere Artikel aus dem cms-Journal Nr. 32 finden Sie auf dem edoc-Server der Humboldt-Universität zu Berlin unter http://edoc.hu-berlin.de/cmsj/32
Copyright
Dieser Artikel ist ein Open Access Artikel und steht unter der Creative Commons Lizenz BY (siehe...).

Peer Review bei Open-Access-Zeitschriften


Uwe Müller
u.mueller@cms.hu-berlin.de

Abstract

Die Qualitätssicherung gilt als konstitutionell für das wissenschaftliche Publizieren und die Wissenschaft insgesamt. Sie hat sich in Gestalt organisierter gegenseitiger Kritik im Rahmen des so genannten Peer Review seit Jahrhunderten etabliert und durchgesetzt. Unter anderem wegen ihrer abweichenden Geschäftsmodelle stehen Open-Access-Zeitschriften grundsätzlich im Verdacht, geringere Maßstäbe an die interne Qualitätssicherung zu setzen. Eine umfassende Studie, deren wichtigste Ergebnisse in diesem Beitrag beschrieben werden, widerlegt diese Vermutung.


Qualitätssicherung beim Publizieren

Die Qualitätssicherung gilt als bedeutendes Merkmal wissenschaftlichen Publizierens. Dazu zählt die sorgfältige Prüfung der Manuskripte vor deren Einreichung durch die Verfasser selbstverständlich ebenso wie das kritische Hinterfragen veröffentlichter Arbeiten und deren Inhalte durch die Rezipienten. Der Kern der Qualitätssicherung wird jedoch durch einen Begutachtungsprozess gebildet, der durch den jeweiligen Herausgeber einer Publikation organisiert wird und sicherstellen soll, dass nur solche Arbeiten überhaupt veröffentlicht werden, die bestimmte Qualitätskriterien erfüllen. Dazu werden Fachgutachter hinzugezogen und damit beauftragt, die wissenschaftliche Relevanz des Manuskripts und den Wahrheitsgehalt bzw. die Verlässlichkeit des Inhalts ebenso zu bewerten wie Nachvollziehbarkeit, Konsistenz und Korrektheit der verwendeten Ansätze und Methoden sowie die zutreffende Einordnung der Arbeit in den fachlichen Kontext. Gegenstand der Überprüfung – und ggf. von Verbesserungsvorschlägen seitens der Gutachter – sind darüber hinaus in der Regel auch Darstellung, Verständlichkeit, Prägnanz, Form und Stil des betreffenden Manuskripts. Besonderen Stellenwert genießt dieses so genannte Peer Review – als Peers werden die jeweiligen Gutachter bezeichnet, die zumeist ebenso wie die Autoren aktive Wissenschaftler sind – bei wissenschaftlichen Zeitschriften. Peer Review dient dabei nicht nur als Maßnahme der Filterung, die die Literatursuche und -bewertung seitens potentieller Rezipienten erheblich vereinfacht. Zu den wichtigsten Funktionen der Qualitätskontrolle zählen auch die Steigerung der Reputation der Autoren sowie die Sicherung des Renommees der Zeitschrift. Denn selbstverständlich deuten Publikationen, die eine kritische Qualitätsbewertung erfolgreich überstanden haben, eher auf die Leistungsfähigkeit eines Wissenschaftlers hin, als Veröffentlichungen, die ein solches „Qualitätssiegel“ nicht tragen. Und insofern ist es – abgesehen vom tatsächlichen Inhalt eines wissenschaftlichen Artikels – unter anderem für dessen Glaubwürdigkeit und Akzeptanz in der Fachwelt durchaus nicht gleichgültig, in welcher Zeitschrift er erschienen ist.

Dies gilt auch für Open-Access-Zeitschriften, denen von vielen Wissenschaftlern – Autoren wie Rezipienten – oftmals per se eine geringere inhaltliche Qualität unterstellt wird, und die damit häufig mit einem geringen Renommee in Verbindung gebracht werden. Das liegt zum einen sicherlich an der zumeist noch relativ kurzen Historie dieser Periodika – das Renommee einer Zeitschrift ist in der Regel nicht unmittelbar seit ihrer Gründung vorhanden und muss sich sozusagen erst „erweisen“. Auf der anderen Seite gilt aber die Vermutung, dass OpenAccess-Zeitschriften an das interne PeerReview-Verfahren geringere Maßstäbe anlegen könnten als vergleichbare Subskriptionszeitschriften. Begründet wird dieser Verdacht unter anderem damit, dass das Open-Access-basierte Geschäftsmodell mit seinen Autorengebühren einerseits und der fehlenden „Macht“ der zahlenden Abonnenten andererseits den Anreiz dazu bietet, auch minderwertige Beiträge zu publizieren. Unabhängig davon, in welchem Maße diese Annahmen zutreffend sind, speisen sich Vorbehalte gegenüber Open Access und eine vergleichsweise geringe Akzeptanz von Open-Access-Zeitschriften unter Wissenschaftlern daraus, wie entsprechende Untersuchungen nahelegen (siehe z. B. [1]). Es leuchtet ein, dass derlei Zuschreibungen der Verbreitung von Open Access insgesamt nicht zum Vorteil gereichen, wie auch der Open-Access-Vordenker Stevan Harnad konstatiert, wenn er schreibt: “The refereed journal literature needs to be freed from both paper and its costs, but not from peer review, whose ‘invisible hand’ is what maintains its quality.” [2]

Inhaltsverzeichnis

Qualitätssicherung beim P...

Peer Review unter der Lup...

Unterschiede je nach Fach...

… und Art des Verlegers ...

Alles „Open“?...

Literatur ...


Peer Review unter der Lupe

Abgesehen davon, dass inzwischen viele Open-Access-Zeitschriften durch ihren auf Zitationen basierenden und damit die tatsächliche Wertschätzung durch andere Wissenschaftler repräsentierenden Journal Impact Factor als ihren traditionellen Pendants zumindest gleichwertig und in einigen Fällen auch als überlegen einzustufen sind – als Beispiele seien hier die Zeitschrift Atmospheric Chemistry and Physics (ACP) und die Journale der Public Library of Science (PLoS) genannt – sollte in einer umfangreichen Studie ermittelt werden, wie Peer-Review-Verfahren unter heutigen Open-Access-Zeitschriften tatsächlich aussehen1. Dazu wurden im Frühjahr 2008 die Herausgeber von mehr als 3.000 Zeitschriften befragt, die im weltweit umfassendsten Verzeichnis wissenschaftlicher OpenAccess-Zeitschriften, dem im schwedischen Lund geführten Directory of Open Access Journals (DOAJ), registriert sind. In Bezug auf die tatsächlich existierenden Open-Access-Zeitschriften ist die Stichprobe damit sehr umfassend gewählt und zudem international und interdisziplinär angelegt.

Zentraler Gegenstand der mit einem Online-Fragebogen realisierten Umfrage waren Art und Beschaffenheit der jeweils verwendeten Peer-Review-Verfahren. Im Einzelnen ging es dabei unter anderem um das Einreichungsverfahren, das Verhältnis zwischen Herausgebern, Redaktion und Gutachtern, die Auswahl konkreter Gutachter, die gegenseitige Anonymität von Gutachtern und Autoren, die Transparenz des Verfahrens und den Informationsfluss – also die Frage, wer wann Zugang zu welchen Informationen erhält. Daneben wurde auch untersucht, inwieweit mögliche Interessenkonflikte aufseiten von Autoren und Gutachtern betrachtet werden, ob eine Qualitätskontrolle von Gutachten stattfindet und wie hoch der technische Unterstützungsgrad für die am Publikationsprozess beteiligten Akteure ist – also wie die Kommunikation abläuft und ob ein Manuskriptverwaltungssystem zum Einsatz kommt.

Ingesamt wurde der recht umfangreiche Fragebogen durch Verantwortliche von mehr als 1.200 Open-Access-Zeitschriften ausgefüllt. Das entspricht einer Rücklaufquote von etwa 40 %. Die Ergebnisse der Untersuchung legen nahe, dass Begutachtungsverfahren zur Qualitätssicherung in der überwiegenden Mehrzahl der Open-Access-Zeitschriften verwendet werden. In der Auswertung wurde vor allem deutlich, dass die Gestalt von Peer-Review-Verfahren wesentlich vom Fachgebiet der Zeitschrift und der Art des Verlegers abhängt. Darüber hinaus konnten Korrelationen zwischen einzelnen Verfahrenseigenschaften untereinander und in Bezug auf externe Qualitätsindikatoren für Zeitschriften – insbesondere der Indexierung im Science Citation Index (SCI) – nachgewiesen werden.

Inhaltsverzeichnis

Qualitätssicherung beim P...

Peer Review unter der Lup...

Unterschiede je nach Fach...

… und Art des Verlegers ...

Alles „Open“?...

Literatur ...


Unterschiede je nach Fachgebiet …

Die fachbezogene Beurteilung2 der erfassten Daten ergab unter anderem, dass für geistes- und sozialwissenschaftliche Zeitschriften durchschnittlich deutlich weniger Redaktionsmitglieder und Gutachter tätig sind als bei Zeitschriften im STM-Bereich3 und dass jeder Gutachter jährlich mehr Manuskripte bewerten

muss, obwohl die Zeitschriften insgesamt weniger Beiträge verarbeiten und publizieren. Die höchsten Ablehnungsquoten haben Zeitschriften in den Wirtschafts- und den Ingenieurwissenschaften sowie in der Mathematik zu verzeichnen. Besonders deutlich werden die fachbezogenen Unterschiede beispielsweise auch bei der Frage, wie unabhängig die Begutachtungsverfahren ihrer Organisationsform nach aufgebaut sind, wer also jeweils tatsächlich als Gutachter tätig ist. Abb. 1 zeigt die relative Häufigkeit unterschiedlicher Qualitätsstufen von Peer-Review-Verfahren hinsichtlich der Fachgebiete, aus denen die einzelnen Zeitschriften kommen. Die höchsten Quoten unabhängiger Peer-Review-Verfahren – das sind solche, bei denen die Gutachter selbst nicht zum Redaktionskreis gehören, sondern unabhängig von der Zeitschrift sind (jeweils der linke Balken) – ergeben sich bei den Grundlagenfächern der Naturwissenschaften, also Chemie und Physik/Astronomie. Am geringsten ist dieser Anteil bei den Geisteswissenschaften sowie im Bereich Kunst und Architektur.

Insbesondere in den Geisteswissenschaften sind Begutachtungsprozesse in der Regel wesentlich informeller aufgebaut, als dies im STM-Bereich der Fall ist. Das zeigt sich unter anderem daran, dass sowohl die autorenseitige Möglichkeit, Gutachter vorab auszuschließen, als auch die Gelegenheit für die Verfasser, auf ablehnende Gutachten klärend zu reagieren, vor allem bei STM-Zeitschriften besteht.

Eine ähnlich klare Trennlinie hinsichtlich der großen Wissenschaftsdisziplinen lässt sich bezüglich der gegenseitigen Anonymität von Autoren und Gutachtern feststellen. Das wegen der diesbezüglichen Informationssymmetrie insgesamt als ausgewogener und fairer eingestufte Double Blind Peer Review (DBPR) – hierbei kennen sich Autoren und Gutachter eines Manuskripts gegenseitig nicht – findet vor allem in den Wirtschaftsund Sozialwissenschaften, aber auch in den Geisteswissenschaften Anwendung. In den Naturwissenschaften ist diese Version dagegen fast gar nicht verbreitet. Stattdessen herrscht hier das traditionelle Single Blind Peer Review (SBPR) vor, bei dem die Gutachter zwar die Identitäten der Autoren kennen, die Autoren andersherum jedoch nicht wissen, wer ihr Manuskript bewertet. Die Ingenieurwissenschaften und die Medizin nehmen in dieser Hinsicht eine mittlere Position ein (siehe Abb. 2).

image

Abb. 1: Ausprägungen von Peer-Review-Verfahren nach Fachgebiet2

image

Abb. 2: Anonymität beim Peer Review nach Fachgebiet2

In gewisser Weise wiegt die häufiger eingesetzte Anonymisierung zu begutachtender Manuskripte bei den Geistes- und Sozialwissenschaften die geringe Unabhängigkeit hinsichtlich der Gutachter und den insgesamt informeller gestalteten Prozess auf. Während sich Begutachtungsprozesse bei STM-Zeitschriften insgesamt durch eine höhere Professionalisierung auszeichnen – getragen unter anderem durch mehr personelle Ressourcen, aber auch durch die stärkere Nutzung technischer Systeme zur Unterstützung des Publikationsprozesses – wird bei geistes- und sozialwissenschaftlichen Zeitschriften die Qualität des Begutachtungsverfahrens durch andere Maßnahmen – vor allem durch die Anonymisierung von Manuskripten für die Gutachter – verbessert.

Inhaltsverzeichnis

Qualitätssicherung beim P...

Peer Review unter der Lup...

Unterschiede je nach Fach...

… und Art des Verlegers ...

Alles „Open“?...

Literatur ...


… und Art des Verlegers

Starke Abhängigkeiten einzelner Verfahrenseigenschaften ergeben sich auch hinsichtlich der Art des Verlegers, bei dem eine Zeitschrift erscheint. Viele der untersuchten Open-Access-Zeitschriften werden nicht bei Verlagen, sondern durch hochschuleigene Fachbereiche, wissenschaftliche Fachgesellschaften, außeruniversitäre Forschungseinrichtungen oder durch informell zusammengesetzte Herausgebergruppen, beispielsweise Wissenschaftler aus unterschiedlichen Instituten, herausgegeben. Wissenschaftliche Verlage verfügen mit Abstand über die größten personellen Ressourcen zur Herausgabe einer Zeitschrift. Sie bieten im Gegensatz zu anderen Verlegerarten ihren Autoren fast immer die Möglichkeit, Gutachter auszuschließen bzw. selbst vorzuschlagen und auf negative Gutachten klärend zu antworten. Darüber hinaus haben sie hinsichtlich der Erstellung von Gutachten die genauesten Vorgaben und evaluieren sie am häufigsten. Verlage nutzen außerdem überdurchschnittlich oft aktuelle technologische Hilfsmittel – insbesondere Manuskriptverwaltungssysteme einschließlich einer webbasierten Abgabeschnittstelle für einzureichende Manuskripte – und bieten Kommentarfunktionen für veröffentlichte Beiträge an. Dagegen geben sie im Gegensatz zu Fachgesellschaften und anderen Verlegertypen nur selten Empfehlungen hinsichtlich alternativer Publikationsmedien für Autoren, deren Manuskripte abgelehnt wurden.

Naturwissenschaftliche und medizinische Open-Access-Zeitschriften, die im SCI indexiert werden und damit einen Journal Impact Factor besitzen, werden hauptsächlich durch Fachgesellschaften, Verlage und außeruniversitäre Forschungseinrichtungen verlegt. Der Anteil derartig formal herausgehobener Zeitschriften unter den anderen Verlegertypen – Universitäten und einzelne Wissenschaftler – ist wesentlich geringer. Auch sonst zeigt sich an vielen Stellen eine deutliche Korrelation zwischen Ausprägungen des Begutachtungsverfahrens und der Indexierung im SCI. Unter anderem ist der Anteil der Zeitschriften mit einem unabhängigen Peer-Review-Verfahren unter den SCI-indexierten Zeitschriften höher als bei anderen. Dasselbe gilt für den Anteil, den SBPR-Verfahren an SCI-indexierten Zeitschriften haben. Gerade daran zeigt sich, dass Single Blind Peer Review für Zeitschriften aus dem naturwissenschaftlichen und medizinischen Bereich de facto das Standardverfahren ist.

Inhaltsverzeichnis

Qualitätssicherung beim P...

Peer Review unter der Lup...

Unterschiede je nach Fach...

… und Art des Verlegers ...

Alles „Open“?...

Literatur ...


Alles „Open“?

Die weitgehende Verlagerung des Publikationsprozesses in die digitale Welt ermöglicht nicht nur die effizientere Unterstützung der bisher bereits etablierten Verfahren – insbesondere durch den Einsatz webbasierter und Email-gestützter Softwaresysteme im Rahmen der qualitativen Begutachtung. Viele neuartige Bewertungsverfahren sind darüber hinaus unter Nutzung elektronischer Kommunikationsstrukturen und des Online-Publizierens bzw. unter der Voraussetzung der schrankenlosen Verfügbarkeit der wissenschaftlichen Arbeiten überhaupt erst realisierbar. Dazu zählen vor allem Ansätze, die durch ein hohes Maß an Offenheit, allgemeiner Partizipation und Interaktivität gekennzeichnet sind. An erster Stelle ist dabei das so genannte Open Peer Commentary (OPC) zu nennen, das grundsätzlich darauf beruht, dass einer vergleichsweise großen Anzahl von Wissenschaftlern die Möglichkeit eingeräumt wird, an der Bewertung wissenschaftlicher Arbeiten teilzuhaben. Dies geschieht im Gegensatz zu den meisten Ausprägungen herkömmlicher Peer-Review-Verfahren in der Regel ohne dezidierte Aufforderung seitens des Herausgebers. Stattdessen können ausgewiesene und in geeigneter Weise autorisierte Fachkollegen bzw. beliebige Rezipienten aus eigener Initiative heraus Kommentare zu einer Arbeit abgeben, die – je nach Aufbau des Verfahrens – den Status eines Manuskripts oder einer bereits formal publizierten Veröffentlichung besitzt.

Es ist zunächst durchaus erwartbar, dass sich sowohl nachgelagerte OPC-Verfahren als auch im Rahmen bzw. in zeitlicher Parallelität zu der formalen Qualitätssicherung stattfindende offene Prozesse für Open-Access-basierte Publikationsformen als konsequente Fortführung von Transparenz und Offenheit schnell durchsetzen und etablieren. Tatsächlich lässt sich zwar eine deutliche Tendenz hin zum freien Zugang zu wissenschaftlichen Veröffentlichungen beobachten, der sich insbesondere auch an der zunehmenden Verbreitung von Open-Access-Zeitschriften sowie hybriden Geschäftsmodellen manifestiert. Deren Akzeptanz innerhalb der einzelnen Wissenschaftsgemeinschaften hinsichtlich wissenschaftlicher Qualität sowie in Bezug auf das grundsätzliche Renommee steigt durchaus. Offene Kommentar- bzw. Begutachtungsformen werden dagegen bisher extrem schwach genutzt und finden seitens der angesprochenen Nutzerzielgruppe fast keine Resonanz, wie eine ebenfalls im beschriebenen Zusammenhang durchgeführte empirische Untersuchung ergab.

Die grundsätzlichen Probleme, die mit offenen Bewertungsverfahren verknüpft sind, lassen sich vor allem auf zwei Aspekte zurückführen – die Sicherstellung der Autorität der jeweiligen Teilnehmer sowie die Integration der Aktivitäten in diesem Zusammenhang in das Anerkennungssystem der Wissenschaft insgesamt. Während das Vertrauen in die herkömmlichen Ansätze zur Qualitätssicherung und damit das Renommee, das eine Zeitschrift insgesamt genießt, wesentlich auf das Vertrauen in den Herausgeber und auf dessen anerkannte Autorität zurückgehen, ist bei den meisten OPC-Verfahren für Dritte schwer zu erkennen, inwieweit einem abgegebenen Kommentar oder gar einer lediglich auf einer linearen Skala erfolgten Bewertung tatsächlich eine fachliche Expertise zugrunde liegt. Selbst wenn Kommentare erst nach einer erfolgten Identitätsprüfung abgegeben werden können und damit eine Authentifizierung stattfindet, wird damit nicht ohne weiteres eine tatsächliche Autorität der jeweiligen Bewertungen erreicht. Auf der anderen Seite fließen Kommentare, die Wissenschaftler im Rahmen von OPC-Verfahren abgeben, in keiner Weise in das formale Anerkennungssystem des Wissenschaftsbetriebs ein. Dadurch besteht seitens der angesprochenen Zielgruppe wenig Anreiz, selbst aktiv zu werden und sich mit einer eigenen Einschätzung einerseits öffentlich zu exponieren und andererseits gegebenenfalls zur Verbesserung einer Arbeit und zum Erkenntnisfortschritt insgesamt beizutragen, ohne dafür entsprechende Meriten zu erlangen. Dieser zweite Aspekt – die fehlende formale Einbettung von Kommentarfunktionen – scheint der wesentliche Grund dafür zu sein, dass die bislang erfolgten Versuche, solche Verfahren zu etablieren, fast durchweg erfolglos geblieben sind.

Dies bedeutet allerdings nicht, dass die Transparenz von Begutachtungs- und Bewertungsverfahren und deren grundsätzliche Offenheit in Bezug auf potentielle Gutachter bzw. Kommentatoren prinzipiell zum Scheitern verurteilt sind. Beide Aspekte ergänzen den Open-Access-Gedanken hinsichtlich einer stärkeren Öffnung der Wissenschaft, deren Ergebnisse und deren zugrunde liegender Prozesse. Dass offene Verfahren durchaus funktionieren können, zeigen die Beispiele für Open Peer Review der medizinischen Zeitschriften der BMC Series, das durchweg offengelegte Begutachtungsverfahren bei Atmospheric Chemistry and Physics (ACP) und anderer durch dieses Verfahren realisierter Zeitschriften sowie auch das bereits wesentlich ältere OPC-Verfahren, das bei der Zeitschrift Behavioral and Brain Sciences (BBS) angewendet wird. Allen Fällen ist neben einer hohen Transparenz hinsichtlich der Kommentare bzw. Gutachten gemein, dass sie stark formalisiert und in das Gesamtverfahren eingebunden sind. Wissenschaftler werden seitens des jeweiligen Herausgebers explizit eingeladen bzw. aufgefordert, sich an der Bewertung zu beteiligen, wodurch eine hohe Verbindlichkeit geschaffen wird. Bei BBS haben die Kommentare den Status einer eigenen kleinen Publikation. Bei den BMC Series und ACP/D agieren die Wissenschaftler als formal eingesetzte Gutachter mit dem üblichen Einfluss auf die eigentliche Publikationsentscheidung, die jedoch ihre Gutachten – und im Falle von BMC auch ihre Identitäten – offenlegen müssen.

Dass diese deutliche Erhöhung der Transparenz im Vergleich zu etablierten Peer-Review-Verfahren insbesondere auch durch die Gutachter akzeptiert wird und bei renommierten und hoch zitierten Zeitschriften möglich ist – bzw. zu renommierten und hoch zitierten Zeitschriften führt – zeigt, dass eine Öffnung der Prozesse im Rahmen der Qualitätssicherung durchaus praktikabel und zumindest in einigen Wissenschaftsbereichen mit der Wissenschaftskultur kompatibel zu sein scheint.

Peer-Review-Verfahren sind als Mittel der Qualitätssicherung für wissenschaftliche Publikationen nach wie vor das Mittel der Wahl und trotz vielfältiger, teils grundsätzlicher Kritik aus Sicht der meisten Wissenschafter praktisch alternativlos (siehe [4]). Entgegen anders lautender Vermutungen und Überzeugungen finden sie auch bei Open-Access-Zeitschriften weite Verbreitung. Allerdings ist das, was im Einzelfall tatsächlich unter Peer Review verstanden wird, sehr vielfältiger Natur – es wäre daher auch unangemessen, von dem einen PeerReview-Verfahren zu sprechen. Vielmehr handelt es sich um einen ganzen Strauß von Verfahren mit sehr unterschiedlichen Ausprägungen. Bedeutsam dabei ist die Erkenntnis, dass die Beschaffenheit von Begutachtungsverfahren in besonderer Weise von dem Fachgebiet abhängig ist, in dem eine Zeitschrift verortet ist. Sie deutet darauf hin, dass in Bezug auf das wissenschaftliche Publizieren und hinsichtlich der Qualitätssicherung fachspezifische Unterschiede stärker in den Blick genommen werden müssen und die Diskussion – beispielsweise auch im Zusammenhang mit der Verbreitung von Open Access im Allgemeinen – nicht pauschalisiert geführt werden sollte.

Inhaltsverzeichnis

Qualitätssicherung beim P...

Peer Review unter der Lup...

Unterschiede je nach Fach...

… und Art des Verlegers ...

Alles „Open“?...

Literatur ...

Literatur

[1] Over, A.; Maiworm, F.; Schelewsky, A.: Publikationsstrategien im Wandel? Ergebnisse einer Umfrage zum Rezeptions- und Publikationsverhalten unter besonderer Berücksichtigung von Open Access. Weinheim, Wiley, 2005.
[2] Harnad, S.: The invisible hand of peer review. Exploit interactive (5), 2000.
[3]Müller, U.: Peer-Review-Verfahren zur Qualitätssicherung von OpenAccess-Zeitschriften – Systematische Klassifikation und empirische Untersuchung. Dissertation, Humboldt-Universität zu Berlin. URL: http:// edoc.hu-berlin.de/dissertationen/ mueller-uwe-thomas-2008-12-17/, 2008.
[4]Ware, M.: Peer review in scholarly journals – Perspective of the scholarly community – an international study. Bristol, UK, 2008.

Anmerkungen

1Die Untersuchung entstand im Rahmen der Dissertation des Autors, in der auch die Ergebnisse ausführlich dargestellt sind (siehe [3]).
2Die Fachklassifikation wurde unmittelbar aus dem DOAJ übernommen und liegt daher in Englisch vor.
3STM steht für Science, Technology and Medicine.