Stel je voor dat je als beginnende onderzoekster in een Nederlandse rechtenfaculteit aan een oudere collega zou vragen: welk tijdschrift is het beste tijdschrift om in te publiceren? Geen onbelangrijke vraag. Je wilt toch goed voor de dag komen. Misschien wil je dat het artikel waar je zo lang op hebt zitten werken, bij een breed publiek terecht komt. Open access of niet? Of je vindt het juist belangrijk dat het in het tijdschrift staat dat het moeilijkst te bereiken is – dus het tijdschrift met de meeste afwijzingen. Of wellicht wil je je richten op een blad waar je niet op je status wordt beoordeeld, dus waar je stuk blind wordt beoordeeld. Enkelblind. Dubbelblind door externe reviewers. Keuze te over, zou je denken!

Is er in werkelijkheid veel keuze om het blad te kiezen dat past bij wat je als onderzoeker belangrijk vindt? Nou, dat valt tegen. Bij Nederlandstalige juridisch-wetenschappelijke tijdschriften ontbreekt belangrijke informatie die hier iets over zegt. Er wordt geen informatie gegeven over publiek, doorlooptijden, afwijzingspercentages, terugwijzingspercentages, oplage, downloads, hoeveelheid citaties naar artikelen in het betreffende tijdschrift. En sterker nog: als men als beginnende auteur wil weten hoe de redactie stukken beoordeelt, komt men ook niet ver. Kijk maar eens naar de colofons op websites of in de bladen zelf. Daar staat bitter weinig in.

 

De redactie beoordeelt op geschiktheid…

Wat te denken van:

“De ontvangst van uw artikel zal aan u door de redactiesecretaris worden bevestigd. Het artikel zal vervolgens door de redactie worden beoordeeld.”

Of

 “De redactie beoordeelt ingezonden artikelen op geschiktheid voor plaatsing. Kritische kanttekeningen en aanvullende suggesties worden aan de auteurs doorgegeven. Indien dit leidt tot een bevredigend resultaat wordt tot plaatsing overgegaan.”

Iets informatiever:

 “Alle artikelen in dit tijdschrift zijn peer-reviewed door experts binnen de redactie. Op verzoek van de auteur kan een single- of double-blind peer review plaatsvinden van het ingezonden artikel.”

Bij dit tijdschrift weten we dus dat peer-reviewed zoiets betekent als “beoordeeld door gelijken”. Meer niet. Niet blind, niet extern. En misschien niet eens door de voltallige redactie.

Duidelijker over dat laatste punt is een blad dat meldt:

“In dit tijdschrift wordt de zogenaamde enkelblinde (‘single blind’) procedure toegepast. Deze procedure houdt in dat elke aangeboden publicatie wordt onderworpen aan een peer review door ten minste twee, voor de auteur onbekende, leden van de redactie, waarbij het artikel op wetenschappelijkheid wordt getoetst.”

Maar waarom eigenlijk slechts twee redactieleden? Wat als de stemmen staken? En waarschijnlijk problematischer: wat als die twee redactieleden het roerend eens zijn?

 

Rate your review, waar blijft die app?

Nog iets meer inzicht biedt:

“Artikelen die naar het oordeel van de hoofdredacteur, in overleg met de redactiesecretaris, mogelijk in aanmerking komen om te worden gepubliceerd als ‘wetenschappelijke artikelen’ worden voorafgaand aan de redactievergadering door minimaal twee redacteuren onafhankelijk van elkaar beoordeeld volgens een vast beoordelingsschema. Zowel die beoordeling als de discussie en beslissing ter vergadering geschiedt zodanig dat de identiteit van de auteur niet bekend is aan de redactie (enkelblinde beoordeling). De desbetreffende redacteuren zenden hun beoordeling elektronisch aan de overige redactieleden en lichten zo nodig hun beoordeling toe tijdens de redactievergadering. De overige aan de vergadering deelnemende redactieleden maken vervolgens hun oordeel kenbaar. De beoordelingen door de eerstbedoelde redacteuren worden door de hoofdredacteur voor een periode van ten hoogste vijf jaren bewaard.”

Maar krijgt de auteur de rapporten van de beoordelingen te zien? Is er weerwoord mogelijk als er aperte feitelijke onjuistheden in staan? Of misschien eenvoudiger: kan een afgewezen auteur sterren uitdelen (‘liken’ of ‘not liken’) aan die beoordelingen? Ik heb in mijn carrière al heel wat acceptaties én afwijzingen gekregen die ronduit slecht gemotiveerd waren. De keren dat ik werkelijk mijn voordeel kon doen met het commentaar, had ik de betreffende redactie/reviewer eigenlijk wel een pluim willen uitdelen! Rate your review, waar blijft die app, mevrouw Kluwer?

Een markt voor ‘lemons’?

Juridische tijdschriften in ons taalgebied geven  weinig bruikbare informatie over hun beoordelingsprocessen. Waar wordt dan wel informatie over gegeven? Meestal is de samenstelling van de redactie goed te vinden en soms is er enige informatie over hoe de voetnoten ingericht moeten worden. Zelden is het meer dan dit.

Is dat erg? Toch wel. Onze beginnende auteur mist informatie waar zij zich op kan richten. En wat gebeurt er als auteurs in een markt voor wetenschappelijke tijdschriften informatie missen? Als we Akerlof moeten geloven (The Market for “Lemons” ; 1970) dan zijn markten waarin de ene partij de kwaliteit van het aanbod van potentiële wederpartijen niet kan beoordelen en dus niet vergelijken, bijvoorbeeld omdat er geen objectief criterium is of de informatie over kwaliteit niet bereikbaar is, zeer problematisch. Als auteur weet je niet welk blad het beste past bij jouw preferenties. En als lezer heb je eigenlijk ook geen objectiveerbare informatie over de kwaliteit van het blad dat je leest.

Als de inzichten van Akerlof ook van toepassing zijn op juridische tijdschriften in ons land, dan zijn er dus misschien wel twee problemen: lezers weten niet wat een goed blad is en schrijvers weten het ook niet. Het gevolg daarvan kan zijn dat bladen er geen belang bij hebben om naar de beste kwaliteit te streven omdat zij dan te streng zijn voor hun auteurs in vergelijking met andere bladen. En als de lezer het verschil niet direct ziet, terwijl de auteur niet weet welk blad het beste is voor haar doelen, dan hebben bladen er belang bij om ‘niet te streng en niet te makkelijk’ te zijn. Bladen moeten dan vooral gemiddeld zijn. Niet opzichtelijk slecht, maar zeker ook niet te streng. Dat schrikt auteurs maar af.

 

Wat doen jullie eigenlijk in die redactie?

Misschien is het dus wel tijd om tijdschriften te bevragen: wat doen jullie  eigenlijk in die redactie? Ik twijfel er niet aan dat al die redacteuren hun werk serieus nemen en veel tijd besteden aan hun werkzaamheden. Maar zij (en hun uitgevers!) doen naar mijn inschatting beroerd weinig om hun processen inzichtelijk te maken. Meer inzicht zou onze jonge onderzoekster helpen. Daar heeft zij meer aan dan aan anekdotes van oudere collega’s (‘had laatst een goede ervaring met…’) of aan de suggestie om in te dienen bij het tijdschrift waar die oudere college zélf in de redactie zit.

 

Tips

Er kan veel worden verbeterd voor onze jonge onderzoekster. Een paar tips voor redacties om in overweging te nemen:

• Als met interne beoordeling wordt gewerkt: publiceer het redactiestatuut. Geef daarin aan hoe het redactioneel proces verloopt, maar ook hoe redactieleden worden gekozen en hoe lang hun zittingsduur is.
• Zet in gestandaardiseerde vorm op je website hoe snel wetenschappelijke artikelen worden beoordeeld en langs welke procedure de beoordeling verloopt.
• Maak een openbare standaard voor de beoordeling. Waar wordt op gelet? Wat is minder belangrijk? Wordt bijvoorbeeld goed gelet op de verwijzingen die de auteur gebruikt (niet te veel naar zichzelf, de eigen onderzoeksgroep, naar recente auteurs liever dan naar originele auteurs?) Is originaliteit belangrijk? Of is herkauwen ook legitiem?
• Overweeg om te publiceren wat de afwijzings- en terugwijzingspercentages zijn.
• Als je hecht aan wetenschappelijke maar ook aan praktijkgerichte artikelen, overweeg dan een onderscheid tussen primair wetenschappelijk en praktijkgerichte artikelen.
• Zet je uitgever onder druk om oplage en downloads te publiceren en om meer werk te maken van citatiemeting, zodat je weet of de bijdragen in jouw tijdschrift andere wetenschappers aantoonbaar tot denken aanzetten.
• Introduceer een ‘rate your review’ feedback – denk dus na over een systeem waarin auteurs kunnen aangeven hoe tevreden ze waren over het beoordelingsproces. Dat geeft mogelijkheden om feedback te geven en om redacties en externe beoordelaars ook verantwoordelijk te houden voor snel en inhoudelijk correcte behandeling van serieuze inzendingen.

 

Verder lezen?

Verder lezen over het onderwerp? Ik zeg: R.A.J. van Gestel, Kwaliteit van juridische publicaties, NJV preadvies 2015.