Category Archives: rechtswetenschap

Het belang van onderzoek waar niets uitkomt

De psycholoog Diederik Stapel, die meermalen fraude pleegde bij het verwerken van onderzoeksresultaten en daarmee de psychologie een slechte naam bezorgde, zei onlangs in een interview het volgende:

“Het begon met de onderzoeksresultaten wat naar het licht draaien, zodat ze beter zichtbaar werden. Drie onderzoeken komen mooi uit en in een vierde zitten vragen die niet de gewenste uitkomst geven. Dat waren ook domme vragen, denk je dan. Dus rapporteer je die niet. In dat verfraaien van de werkelijkheid ging ik steeds een stapje verder. Mijn valkuil was dat ik er slecht tegen kon als onderzoeksresultaten niet klopten met mijn ideeën. (…) Ik leefde het liefst in een wereld waar alles klopt en mooi gerangschikt is. Maar die wereld bestaat niet.” (FD persoonlijk 3 dec 2016)

Stapel zoekt het bij zichzelf. Terecht. Maar het vakgebied waar hij in opereerde, werkte ook niet mee. Frauderen is fout, daarover geen twijfel. Maar wat intrigeert, is de laatste zin: de wereld waarin alles klopt en mooi gerangschikt is, bestaat niet. En toch is dat de wereld die getoond wordt in toonaangevend psychologisch onderzoek. Dergelijke publicaties zijn, dat is althans mijn indruk, vaak primair gericht op overtuigingskracht, presentatie en ‘sexy’ uitkomsten. Wat we niet zien, zijn de onderzoeken ‘waar niets uitkomt’. Die krijgen psychologen niet gepubliceerd of, als dat wel gebeurt, dan genieten ze minder aanzien. Het Journal of Articles in Support of the Null Hypothesis telt niet als serieus in die kringen. Dus als een vakgebied alleen maar een bonus zet op (experimenteel) onderzoek waar de nulhypothese in verworpen wordt, werk je een eenzijdige publicatielijn én een eenzijdige onderzoekscultuur in de hand. In dat geval is er werkelijk geen opzettelijke verdraaiing van de getallen nodig om bij sterk vertekende uitkomsten te belanden.

Ik geef een voorbeeld. Stel dat ik een onderzoek uitvoer naar het effect van het aanbrengen van vetgedrukte tekstdelen in juridische teksten op de mate waarin consumenten de kern van het betreffende stuk tekst weten te onthouden. Toegegeven, misschien niet het meest spannende onderzoek, maar mogelijk wel praktisch relevant. Eerder onderzoek voorspelt, laten we dat aannemen, dat vetgedrukte tekst in een tekstdocument beter opvalt dan tekst die niet vetgedrukt is en dat het ‘beter opvallen’ leidt tot betere stimulering van het geheugen en dus het otreatmentnthouden van de informatie.

Ik test de alternatieve hypothese (‘vetgedrukte tekst leidt tot beter onthouden van het betreffende tekstdeel’) door twee groepen personen gerandomiseerd toe te wijzen aan één van twee condities: een juridische tekst met en een zonder vetgedrukte delen. Vervolgens stel ik vragen over de tekst die met de vetgedrukte delen te maken hebben. Ik verwacht verschil tussen de groepen te vinden, dat er op wijst dat het vet maken van tekst de oorzaak van dat verschil is.

Stel: het eerste onderzoek toont geen verschil tussen de groepen. Dat kan komen omdat ik niet erg veel proefpersonen had en de tekst wel erg lang was. Het kan dus zijn dat andere factoren, zoals vermoeidheid door de tekstlengte, een verstorende rol hebben gespeeld. Als ik die factor wil uitsluiten, moet ik misschien een kortere tekst gebruiken. Dus ik doe het onderzoek nog een keer, maar nu met een kortere tekst, meer proefpersonen en veiligheidshalve ook met makkelijker te onthouden vetgedrukte begrippen. Ik manipuleer dus de effectgrootte. Het tweede onderzoek toont dat de vetgedrukte tekst gemiddeld genomen beter onthouden wordt. Het gevonden verschil is statistisch significant.

Dit tweede onderzoek krijg ik gepubliceerd. Het eerste leg ik weg en rapporteer niet. Terwijl het eerste onderzoek, dat de nulhypothese niet verwerpen kon, voor bruikbaarheid in de echte wereld (externe validiteit) misschien ook wel iets te vertellen heeft: als je lange teksten gebruikt, verdwijnt mogelijk het effect dat je vindt bij vergelijking tussen korte teksten.

Ik begrijp overigens wel dat er methodologisch goede redenen kunnen zijn om dergelijk onderzoek waar niets uitkomt, niet te publiceren. Want als er niets uitkomt, kan dat ook aan de opzet van het onderzoek hebben gelegen. Er kunnen namelijk heel veel redenen zijn waarom er niets uit een onderzoek komt. In mijn geval kan bijvoorbeeld worden beweerd dat het meetinstrument niet sensitief genoeg was: doordat de tekst te lang was, is het verschil tussen de teksten weggedrukt door de lengte, die in beide gevallen tot ‘cognitieve uitputting’ van de respondenten leidde. Goed punt, het kan best waar zijn. Maar misschien is dat dan juist het beginpunt voor een nieuwe hypothese die er op neerkomt dat vetgedrukte tekst alleen leidt tot beter onthouden van het betreffende tekstdeel als de lengte van de tekst maar kort genoeg is. Onderzoek waar niets uitkomt, is dus ook belangrijk, zeker als fouten in meting of opzet met enige mate van zekerheid zijn uitgesloten.

jv

Ik denk dat de rechtsgeleerdheid hier iets van kan leren.Wat betreft empirisch onderzoek in de rechtsgeleerdheid zou de vraag kunnen worden gesteld wat we als standaard voor goed onderzoek willen hanteren. Nu de aandacht voor empirisch juridische onderzoek ook in ons land langzaam aan het toenemen is, verdient het de voorkeur om kort lijstje te maken van gedeelde uitgangspunten rondom ‘goede onderzoekspraktijken’. Daarop zou kunnen staan: als onderzoek waar niets uitkomt, implicaties heeft voor rechtspraktijk of vervolgonderzoek, is zij het waard om gepubliceerd te worden.

Onder die noemer rapporteerde ik onlangs in het tijdschrift Justitiële Verkenningen over eigen onderzoek ‘waar niets uitkwam’. Dat klinkt niet echt spannend als ik het zo zeg. Maar ik denk toch dat er wel iets spannends over te lezen valt. Ik verwijs daarom graag naar het artikel: W.H. van Boom, Experimenteren met informeren, Justitiële Verkenningen 2016/6, p. 95-110.

Terzijde een les voor juristen die rechtspraak van de Hoge Raad bestuderen: als we willen weten of de Hoge Raad voldoet aan zijn taakstelling inzake rechtsvorming, rechtseenheid en rechtsbescherming, moeten we niet alleen de uitspraken bestuderen en becommentariëren waar ‘iets uit is gekomen’ (namelijk: een inhoudelijk oordeel), maar ook de uitspraken die met Artikel 80a Wet op de rechterlijke organisatie of Artikel 81 Wet op de rechterlijke organisatie zijn afgedaan.  Dit gebeurt momenteel voor zover ik weet niet systematisch.

 

Zeg, wat doen jullie eigenlijk in die tijdschriftredactie?

Stel je voor dat je als beginnende onderzoekster in een Nederlandse rechtenfaculteit aan een oudere collega zou vragen: welk tijdschrift is het beste tijdschrift om in te publiceren? Geen onbelangrijke vraag. Je wilt toch goed voor de dag komen. Misschien wil je dat het artikel waar je zo lang op hebt zitten werken, bij een breed publiek terecht komt. Open access of niet? Of je vindt het juist belangrijk dat het in het tijdschrift staat dat het moeilijkst te bereiken is – dus het tijdschrift met de meeste afwijzingen. Of wellicht wil je je richten op een blad waar je niet op je status wordt beoordeeld, dus waar je stuk blind wordt beoordeeld. Enkelblind. Dubbelblind door externe reviewers. Keuze te over, zou je denken!

Is er in werkelijkheid veel keuze om het blad te kiezen dat past bij wat je als onderzoeker belangrijk vindt? Nou, dat valt tegen. Bij Nederlandstalige juridisch-wetenschappelijke tijdschriften ontbreekt belangrijke informatie die hier iets over zegt. Er wordt geen informatie gegeven over publiek, doorlooptijden, afwijzingspercentages, terugwijzingspercentages, oplage, downloads, hoeveelheid citaties naar artikelen in het betreffende tijdschrift. En sterker nog: als men als beginnende auteur wil weten hoe de redactie stukken beoordeelt, komt men ook niet ver. Kijk maar eens naar de colofons op websites of in de bladen zelf. Daar staat bitter weinig in.

 

De redactie beoordeelt op geschiktheid…

Wat te denken van:

“De ontvangst van uw artikel zal aan u door de redactiesecretaris worden bevestigd. Het artikel zal vervolgens door de redactie worden beoordeeld.”

Of

 “De redactie beoordeelt ingezonden artikelen op geschiktheid voor plaatsing. Kritische kanttekeningen en aanvullende suggesties worden aan de auteurs doorgegeven. Indien dit leidt tot een bevredigend resultaat wordt tot plaatsing overgegaan.”

hoe beslist de redactie?

Iets informatiever:

 “Alle artikelen in dit tijdschrift zijn peer-reviewed door experts binnen de redactie. Op verzoek van de auteur kan een single- of double-blind peer review plaatsvinden van het ingezonden artikel.”

Bij dit tijdschrift weten we dus dat peer-reviewed zoiets betekent als “beoordeeld door gelijken”. Meer niet. Niet blind, niet extern. En misschien niet eens door de voltallige redactie.

Duidelijker over dat laatste punt is een blad dat meldt:

“In dit tijdschrift wordt de zogenaamde enkelblinde (‘single blind’) procedure toegepast. Deze procedure houdt in dat elke aangeboden publicatie wordt onderworpen aan een peer review door ten minste twee, voor de auteur onbekende, leden van de redactie, waarbij het artikel op wetenschappelijkheid wordt getoetst.”

Maar waarom eigenlijk slechts twee redactieleden? Wat als de stemmen staken? En waarschijnlijk problematischer: wat als die twee redactieleden het roerend eens zijn?

 

Rate your review, waar blijft die app?

Nog iets meer inzicht biedt:

“Artikelen die naar het oordeel van de hoofdredacteur, in overleg met de redactiesecretaris, mogelijk in aanmerking komen om te worden gepubliceerd als ‘wetenschappelijke artikelen’ worden voorafgaand aan de redactievergadering door minimaal twee redacteuren onafhankelijk van elkaar beoordeeld volgens een vast beoordelingsschema. Zowel die beoordeling als de discussie en beslissing ter vergadering geschiedt zodanig dat de identiteit van de auteur niet bekend is aan de redactie (enkelblinde beoordeling). De desbetreffende redacteuren zenden hun beoordeling elektronisch aan de overige redactieleden en lichten zo nodig hun beoordeling toe tijdens de redactievergadering. De overige aan de vergadering deelnemende redactieleden maken vervolgens hun oordeel kenbaar. De beoordelingen door de eerstbedoelde redacteuren worden door de hoofdredacteur voor een periode van ten hoogste vijf jaren bewaard.”

Maar krijgt de auteur de rapporten van de beoordelingen te zien? Is er weerwoord mogelijk als er aperte feitelijke onjuistheden in staan? Of misschien eenvoudiger: kan een afgewezen auteur sterren uitdelen (‘liken’ of ‘not liken’) aan die beoordelingen? Ik heb in mijn carrière al heel wat acceptaties én afwijzingen gekregen die ronduit slecht gemotiveerd waren. De keren dat ik werkelijk mijn voordeel kon doen met het commentaar, had ik de betreffende redactie/reviewer eigenlijk wel een pluim willen uitdelen! Rate your review, waar blijft die app, mevrouw Kluwer?

Een markt voor ‘lemons’?

Juridische tijdschriften in ons taalgebied geven  weinig bruikbare informatie over hun beoordelingsprocessen. Waar wordt dan wel informatie over gegeven? Meestal is de samenstelling van de redactie goed te vinden en soms is er enige informatie over hoe de voetnoten ingericht moeten worden. Zelden is het meer dan dit.

Is dat erg? Toch wel. Onze beginnende auteur mist informatie waar zij zich op kan richten. En wat gebeurt er als auteurs in een markt voor wetenschappelijke tijdschriften informatie missen? Als we Akerlof moeten geloven (The Market for “Lemons” ; 1970) dan zijn markten waarin de ene partij de kwaliteit van het aanbod van potentiële wederpartijen niet kan beoordelen en dus niet vergelijken, bijvoorbeeld omdat er geen objectief criterium is of de informatie over kwaliteit niet bereikbaar is, zeer problematisch. Als auteur weet je niet welk blad het beste past bij jouw preferenties. En als lezer heb je eigenlijk ook geen objectiveerbare informatie over de kwaliteit van het blad dat je leest.

Als de inzichten van Akerlof ook van toepassing zijn op juridische tijdschriften in ons land, dan zijn er dus misschien wel twee problemen: lezers weten niet wat een goed blad is en schrijvers weten het ook niet. Het gevolg daarvan kan zijn dat bladen er geen belang bij hebben om naar de beste kwaliteit te streven omdat zij dan te streng zijn voor hun auteurs in vergelijking met andere bladen. En als de lezer het verschil niet direct ziet, terwijl de auteur niet weet welk blad het beste is voor haar doelen, dan hebben bladen er belang bij om ‘niet te streng en niet te makkelijk’ te zijn. Bladen moeten dan vooral gemiddeld zijn. Niet opzichtelijk slecht, maar zeker ook niet te streng. Dat schrikt auteurs maar af.

 

Wat doen jullie eigenlijk in die redactie?

Misschien is het dus wel tijd om tijdschriften te bevragen: wat doen jullie  eigenlijk in die redactie? Ik twijfel er niet aan dat al die redacteuren hun werk serieus nemen en veel tijd besteden aan hun werkzaamheden. Maar zij (en hun uitgevers!) doen naar mijn inschatting beroerd weinig om hun processen inzichtelijk te maken. Meer inzicht zou onze jonge onderzoekster helpen. Daar heeft zij meer aan dan aan anekdotes van oudere collega’s (‘had laatst een goede ervaring met…’) of aan de suggestie om in te dienen bij het tijdschrift waar die oudere college zélf in de redactie zit.

 

Tips

Er kan veel worden verbeterd voor onze jonge onderzoekster. Een paar tips voor redacties om in overweging te nemen:

  • Als met interne beoordeling wordt gewerkt: publiceer het redactiestatuut. Geef daarin aan hoe het redactioneel proces verloopt, maar ook hoe redactieleden worden gekozen en hoe lang hun zittingsduur is.
  • Zet in gestandaardiseerde vorm op je website hoe snel wetenschappelijke artikelen worden beoordeeld en langs welke procedure de beoordeling verloopt.
  • Maak een openbare standaard voor de beoordeling. Waar wordt op gelet? Wat is minder belangrijk? Wordt bijvoorbeeld goed gelet op de verwijzingen die de auteur gebruikt (niet te veel naar zichzelf, de eigen onderzoeksgroep, naar recente auteurs liever dan naar originele auteurs?) Is originaliteit belangrijk? Of is herkauwen ook legitiem?
  • Overweeg om te publiceren wat de afwijzings- en terugwijzingspercentages zijn.
  • Als je hecht aan wetenschappelijke maar ook aan praktijkgerichte artikelen, overweeg dan een onderscheid tussen primair wetenschappelijk en praktijkgerichte artikelen.
  • Zet je uitgever onder druk om oplage en downloads te publiceren en om meer werk te maken van citatiemeting, zodat je weet of de bijdragen in jouw tijdschrift andere wetenschappers aantoonbaar tot denken aanzetten.
  • Introduceer een ‘rate your review’ feedback – denk dus na over een systeem waarin auteurs kunnen aangeven hoe tevreden ze waren over het beoordelingsproces. Dat geeft mogelijkheden om feedback te geven en om redacties en externe beoordelaars ook verantwoordelijk te houden voor snel en inhoudelijk correcte behandeling van serieuze inzendingen.

 

Verder lezen?

Verder lezen over het onderwerp? Ik zeg: R.A.J. van Gestel, Kwaliteit van juridische publicaties, NJV preadvies 2015.

 

Door meten tot weten – Over rechtswetenschap als kruispunt

Op 22 mei 2015 sprak ik mijn Leidse oratie uit: ‘Door meten tot weten’ – over rechtswetenschap als kruispunt. Ik vond het een bijzonder leuke dag, natuurlijk in de eerste plaats vanwege de aanwezigheid van en het weerzien met veel collega’s, vrienden en familie. Maar ook omdat ik in mijn oratie een aantal ideeën over de (privaat)rechtswetenschap mocht delen met het publiek. Inmiddels is de gedrukte versie van de oratie uitgebracht. Ik vat hier de hoofdlijnen van het betoog samen.

van boom oratie 2015

Van meting naar uitdaging

De titel ‘Door meten tot weten’ verwijst naar de lijfspreuk van natuurkundige Heike Kamerlingh Onnes. Zijn borstbeeld met lijfspreuk staat voor het Kamerlingh Onnes gebouw, waar inmiddels de Leidse rechtenfaculteit gevestigd. Hoe verhoudt die lijfspreuk ‘door meten tot weten’ zich tot het werk dat wordt verricht op rechtenfaculteiten? Die vraag is niet eenvoudig want het is geen evidentie dat een rechtenfaculteit zich afficheert als bolwerk van exactheid. Juristen houden zich immers vooral bezig met taal, tekst, systematisering, logische argumentatie, overtuiging en een betere wereld. Zij postuleren normen, debiteren tegeltjeswijsheden, argumenteren met verwijzing naar rechtssysteem, wet, rechtspraak, literatuur; maar zelden zie je ze meten of verwijzen naar systematische waarneming. Dus wat gebeurt er als we op rechtenfaculteiten gaan meten? In mijn oratie stel ik vast dat rechtenfaculteiten ‘kruispunten’ van verschillende wetenschapsopvattingen zijn. Dat gegeven heeft consequenties waar rechtswetenschappers antwoorden op moeten formuleren. Ik belicht een aantal van de uitdagingen die rechtswetenschappers – en dus ook privaatrechtswetenschappers – daarbij te wachten staan.

Rechtenfaculteiten als kruispunt van wetenschapsopvattingen

Rechtswetenschap is wetenschap omdat zij meer wil dan weetjes genereren: ze streeft plaatsing, duiding, categorisering, vergelijking, verklaring, voorspelling en richting na. Maar over de vraag wat zinvolle kennis is en hoe die nagestreefd moet worden, bestaan onder rechtswetenschappers – in mijn definitie dus al het wetenschappelijk personeel op onze rechtenfaculteiten – heel uiteenlopende ideeën. Soms zijn die ideeën rudimentair, intuïtief, impliciet. Maar soms ook uitgewerkt, uitgesproken en met de pretentie van een ‘school’. Kijken we op deze manier rond in onze rechtenfaculteiten, dan zien we al snel dat er op dat kruispunt niet alleen de bestudeerders van geldend recht staan maar ook een flink aantal theoretici, filosofen, sociologen, psychologen, criminologen, antropologen, politicologen, bedrijfswetenschappers, historici, bestuurskundigen, economen, praktizijns en wat al niet meer. Rechtenfaculteiten – en daarmee rechtswetenschap – zijn kruispunt van wetenschap

Bewijs

Het bewijs voor de juistheid van deze stelling vind ik in de literatuur, maar ook in empirisch onderzoek. De uitkomsten van de landelijke enquête ‘Rechtswetenschappelijk onderzoek’ van Van Gestel en mijzelf tonen aan dat sprake is van een kruispunt. Uit die enquête kunnen we afleiden dat de mate waarin een rechtswetenschapper affiniteit heeft met de sociale wetenschappen, praktijkgericht onderzoek en tot de humaniora, te meten is. Elke rechtswetenschapper kan zich meer of minder aangetrokken voelen tot elk van deze drie richtingen. De getallen wijzen uit dat ongeveer 68% van de respondenten zich aangetrokken voelt totkruispunt de humaniora, 66% tot de sociale wetenschappen en 75% tot praktijkgerichtheid. Dat is interessant: de meerderheid wil zich dus niet voor één karretje laten spannen. Individuele respondenten kunnen dus in verschillende richtingen kijken vanaf dat kruispunt, en dat doen ze dan ook.

Stellingname

Deze uitkomst leidt voor mij tot een normatieve stellingname. Een kruispunt van wetenschappen moet blijven werken aan de eigen identiteit. Juist omdat het een kruispunt is en er vele wegen van en naar het kruispunt voeren, staat de rechtswetenschap elke dag bloot aan invloeden van buiten en is die identiteit en de bearbeiding daarvan aan de orde van de dag. Rechtswetenschap is niet humaniora, niet sociale wetenschappen en ook niet louter praktijkgericht. Niet alleen het object van de rechtswetenschap is specifiek, maar ook de methoden en het doel waarmee deze gebruikt worden – hoe impliciet, rudimentair en onvolkomen soms ook – zijn eigen aan die wetenschap. Het eigene is echter nog steeds niet goed genoeg geëxpliciteerd en wij doen er verstandig aan daar meer werk van te maken.

Citaties meten

In mijn oratie diep ik vervolgens één thema verder uit, dat van de bronverwijzingen (naar het Engelse ‘citations’ soms ook wel ‘citaties’ genoemd, maar dan niet als in: letterlijk citeren). In veel andere wetenschappen is een gangbare manier om de kwaliteit van onderzoek te meten, het tellen van verwijzingen naar wetenschappelijke publicaties in latere publicaties. Dat meten gebeurt dan ook in allerlei varianten, met allerlei wegingsfactoren en in heel veel verschillende vormen, maar de basis van al die bibliometrie blijft: meten.

In de rechtswetenschap is dat niet gebruikelijk. Dat heeft voor- en nadelen. Wij juristen worden niet gegeseld of gegijzeld door citatiescores, impactfactoren en wat dies meer zij. Wij denken dat we kwaliteit herkennen als we deze zien. Toch is er druk van buitenaf om ook aan tellen en turven van citaties te gaan doen. Ik bepleit dat het zaak is om als rechtswetenschap eerst gedeelde normen en meetinstrumenten te ontwikkelen die recht doet aan het kruispuntkarakter van de rechtswetenschap. Want het meten van aantallen verwijzingen is zo gek nog niet; het kan een goed onderdeel zijn van onze kwaliteitshuishouding, maar het is ook niet het alfa en omega.

Ideaal en werkelijkheid

In een ideale wereld hanteren volledig ingelichte rechtswetenschappers duidelijke en relevante verwijzingsregels; daarin zijn verwijzingen het bewijs dat je werk anderen aan het denken zet, dat het navolging vindt of tot tegenspraak leidt. Men moet die verwijzingen begrijpen als intersubjectief kwaliteitskeurmerk. Dat ideaalbeeld is ook de grondslag van het meten van verwijzingen in andere wetenschappen. Maar in werkelijkheid, zo blijkt keer op keer uit onderzoek in die andere disciplines, zijn de redenen waarom wel of niet verwezen wordt naar een publicatie, veel complexer of minder eenduidig terug te voeren op de inhoudelijke kwaliteiten van het stuk waarnaar verwezen wordt.

Werk maken van gedeelde opvattingen

In de rechtswetenschap is het niet anders, vermoed ik. Dus als we nu opeens citaties gaan tellen, weten we eigenlijk niet goed wat we meten. Rechtswetenschappers zijn het in abstracto misschien eens over uitgangspunten zoals: toon dat je weet welke bronnen belangrijk zijn door de meest gezaghebbende bronnen te citeren, los je schuld in aan de auctor intellectualis door de originele bron te citeren, toon dat je het veld beheerst coverdoor de meest recente bronnen te citeren, laat geen bronnen weg wanneer ze je onwelgevallig zijn, en zo verder. Maar die uitgangspunten leiden naar mijn indruk niet tot een scherpe en gedeelde citatiecultuur. En omdat we kruispuntwetenschap zijn, zijn er invloeden van andere citatieculturen in onze faculteiten te bespeuren. Zo maakt het al een wereld van verschil of men met voetnoten werkt of met verwijzingen in de hoofdtekst. Beide vormen komen voor op het kruispunt. Om het onaardig te zeggen: als het gaat om verwijzen, doen we maar wat, expliciteren we niets en vertellen we onze studenten ook maar half wat ze moeten doen. Ik denk dan ook – maar ik zou het graag uitgezocht zien voor de rechtswetenschap – dat verwijzingen slechts voor een deel een goede weerspiegeling zijn van het onderzoeksproces, en voor een deel vooral de later (lukraak) aangebrachte steunstempels. In mijn oratie illustreer ik de juistheid van dit standpunt aan de hand van een analyse van de citaties van mijn eigen werk door anderen. In het bijzonder analyseer ik verwijzingen in de literatuur naar mijn Tilburgse oratie uit 2003. Die analyse brengt mij tot de aanbeveling om meer werk te maken van gedeelde opvattingen over verwijzingen en het verkennen van de voordelen van dat wat technisch mogelijk is. Het ontwikkelen en testen van een Leidraad Rechtswetenschappelijke bronnenverwerking en verwijzingsvormen, voor onderzoekers maar zeker ook voor studenten, hoort daar ook bij.

wordle

Asser-Vranken Algemeen Deel****

 Vier sterren

Binnenkort verschijnt in het NTBR mijn recensie van het boek Algemeen Deel**** van J.B.M. Vranken. In deze blog post ga ik kort in op het boek en licht ik uit mijn recensie één onderwerp om hier te behandelen, namelijk het onderwerp ‘kwaliteit’.

Het boek onderzoekt of de manier waarop een privaatrechtswetenschapper omgaat met het privaatrecht, in essentie verschilt van die van de rechter. Volgens Vranken luidt in de ‘gangbare benadering’ het antwoord op die vraag ontkennend. In de gangbare benadering moeten beiden het immers hebben van debat, argumenteren, motiveren en overtuigen van de deelnemers van het ‘forum’. Die benadering wordt door Vranken in dit boek op houdbaarheid getoetst. De fora verschillen, is het werk dan niet ook verschillend? Centraal staat dus de vraag of, en zo ja, waarin de ‘conventies, informele praktijken, eisen en spelregels’ (methodologie dus) voor de rechter en de onderzoeker verschillen. Vranken koppelt dus het beeld van ‘het forum’, of ‘de arena’ waarbinnen de rechter en onderzoeker elk opereren, aan methodologie van hun werkzaamheden. Maar het boek van Vranken heeft ook een agenda, en daar is hij open over. Hij neemt de handschoen op tegen de weerstand in de privaatrechtswetenschap tegen methodologie. Het boek is een open pleidooi voor betere verantwoording van onderzoeksvraag, methode en bronnenverantwoording, voor het gebruik van inzichten uit sociale wetenschappen en het samenwerken op het snijvlak van recht en andere disciplines.

Inhoud van het boek

De opbouw van het boek is eenvoudig. Het boek bestaat uit een inleiding, waarin de centrale vraag en een centrale hypothese wordt geformuleerd, en op die inleiding volgen zeven hoofdstukken. Vranken giet zijn centrale vraag in de vorm van een hypothese, namelijk ‘dat de conventies, informele praktijken, eisen en spelregels die in beide fora aan het debat worden gesteld, vaker en fundamenteler van elkaar verschillen dan meestal wordt aangenomen’. De toetsing van de hypothese wordt beperkt tot twee hoofdonderwerpen: de onderzoeksvraag en de omgang met bronnen en bronnenverantwoording. Bovendien ligt de nadruk wat betreft de wetenschapper op drie producten: dissertaties, annotaties en artikelen in bundels en tijdschriften. Het onderzoek is verkennend, ‘al zullen verklarende en normatieve elementen niet helemaal ontbreken’ aldus de auteur (p. 5). Hoofdstuk 1 schetst een beeld van de huidige privaatrechtswetenschappen als een ‘pluriforme’ wetenschap; hoofdstuk 2 werkt de gedachte uit dat rechter en onderzoeker elk voor zich opereren binnen een eigen forum, waar eigen regels – geschreven en ongeschreven, uitgesproken en impliciet – gelden waarmee men de kwaliteit van het betreffende werk beoordeelt. In de hoofdstukken 3 en 4 worden het werk van rechter en onderzoeker vergeleken op het punt van de vraagstelling die zij in hun werk centraal stellen en op het punt van de feitenverzameling en -vaststelling. De these in deze hoofdstukken is dat de onderzoeker veel meer vrijheid geniet en dus meer verantwoording dient af te leggen wat betreft de gekozen onderzoeksvraag en het gekozen ‘perspectief’. Ook komt Vranken langzaam tot de vaststelling dat dissertaties en artikelen verder weg liggen van de manier van werken van een rechter dan annotaties. Hoofdstuk 5 betreft de manier waarop onderzoekers hun bronnen (moeten) verzamelen, analyseren en verantwoorden. In hoofdstuk 6 komen methoden van rechtsvergelijking aan de orde, maar doet Vranken ook een verkenning van met name empirische methode. Hij wijst er op dat het gebruik daarvan kan bijdragen aan de probleemanalyse in de voorfase van het onderzoek, aan de feitelijke onderbouwing van het juridisch betoog, aan de inventarisatie van mogelijke effecten van voorgestelde of voorgenomen regels en aan het vinden van verschillende oplossingsalternatieven. Hoofdstuk 7 biedt conclusies, in de vorm van controleerbare citaten van de deelconclusies en een schematische weergave van de belangrijkste bevindingen. Die conclusies zijn voorzichtig en zoekend; er zijn op veel punten nog geen harde conventies, informele praktijken, eisen en spelregels voor de juridisch-dogmatische privaatrechtswetenschap. Het boek is zorgvuldig afgewerkt met de gebruikelijke inhoudsopgave, registers en dergelijke, maar ook met een uitgebreide inhoudsopgave, een leeswijzer en een verantwoording waarin Vranken uitlegt hoe het boek in elkaar steekt, hoe het zich verhoudt tot de delen ** (1995) en *** (2005) en waarin hij aangeeft dat sommige delen van het boek voortbouwen op eerdere publicaties, die herschreven en opnieuw overdacht werden.

Wat is kwaliteit?

In hoofdstuk 5 komt onder andere de kwaliteit van rechtswetenschappelijke publicaties aan de orde. Vranken schrijft daarover in de vorm van ‘krijtlijnen’ – nog niet geheel uitgewerkte ideeën, die wel een duidelijke denkrichting tonen. Voor Vranken is inhoudelijke kwaliteit gelegen in: grondigheid, degelijkheid, creativiteit, kennis, vakmanschap, vooruitziende blik, intuïtie, inzicht. Die factoren hangen samen met de kernwaarden van onderzoekers: onafhankelijkheid, onpartijdigheid, openheid, integriteit, vertrouwen, ordelijk denken, controleerbaarheid, objectiviteit, integriteit, betrouwbaarheid, eerlijkheid, vakmanschap, externe maatschappelijke verantwoording.

Vranken zegt over kwaliteit: ‘Kwaliteit is het enige dat telt en het enige dat onderscheidend vermogen heeft. (…) Al het onderzoek, van welk type ook, is in beginsel even waardevol’, zo schrijft hij op bijna bezwerende wijze (p. 184). Alles kan goed zijn, ongeacht soort onderzoek, taal, publicatievorm. Goed onderzoek is niet altijd sexy, veel geciteerd, subsidiabel. Het gaat Vranken niet om wie de meeste prijzen wint, de meeste citaties krijgt, maar om ‘intrinsieke inhoudelijke kwaliteit’ (p. 182).

Maar om dan te definiëren wat goed is, daarvoor heeft men een normatief kader nodig. Vranken heeft het Ei van Columbus ook niet. Hij formuleert als kwaliteitseisen voor publicaties: een duidelijke onderzoeksvraag, nieuwheid, diepgang en grondigheid bij het verzamelen, selecteren en interpreteren van bronnen, controleerbare verantwoording en coherente conclusie. Ik vind het ook nog niet zo makkelijk om de uitgangspunten en ‘krijtlijnen’ die Vranken behandelt, voor mijzelf te conceptualiseren en operationaliseren. Wat is bijvoorbeeld een ‘nieuwe’ onderzoeksvraag in de rechtswetenschappelijke discipline waarin alles betrekkelijk is, waar herkauwen (niet te verwarren met reproduceren) een gelegitimeerde bezigheid kan zijn en waar ideeën en stromingen niet aan landsgrenzen zijn gebonden en dus al snel geconstateerd moet worden dat in grotere landen als Duitsland al over het probleem is nagedacht?

Voor onderzoekers en bestuurders is natuurlijk de vraag of en hoe men deze factoren op zo simpel mogelijke wijze kan meten zodat kwaliteit zichtbaar wordt. In de Nederlandse privaatrechtswetenschap bestaat, zo is mijn indruk, geen gedeelde visie op wat kwaliteit is, laat staan hoe men daar rangorde in zou kunnen aanbrengen. En men doet ook niet zijn best om die visie te ontwikkelen. Te vaak hoor ik bestuurders en rechtswetenschappers redeneren: omdat rechtswetenschap een kruispuntwetenschap is, hoeven we geen gedeelde visie te hebben op wat goede rechtswetenschap is. Misschien verklaart die houding wel de tot op heden gangbare methode van onderzoeksvisitatie van het ‘met de hand wegen’ van (geselecteerde) publicaties en aantallen turven. Alle verbeteringsvoorstellen, pogingen om kwaliteit te benadrukken en te verbeteren, zijn dus op drijfzand gebaseerd, zo meent Vranken. Dat betekent niet dat Vranken meent dat anything goes, want Vranken zélf heeft een duidelijke lijst van kwaliteitseisen. Maar daarmee hebben we naar mijn mening nog geen door privaatrechtswetenschappers gedeelde methodologie voor het vaststellen van kwaliteit. Als ik dit overzie, biedt Vranken geen enkele weg uit het moeras. Hij ziet kennelijk niets in een kwantitatieve benadering. “Bibliometrie garandeert allerminst objectiviteit”, zo schrijft hij (p. 178). Ik snap die opmerking niet. Bibliometrie is niets meer of anders dan de kwantitatieve analyse van wetenschappelijke publicaties. Het kan gaan om het meten van het aantal keren dat publicatie X, onderzoeker Y of tijdschrift Z wordt geciteerd in andere publicaties. Maar bibliometrie kan bijvoorbeeld ook aantonen dat er verschil is tussen Algemeen Deel**, *** en **** wat betreft de verhouding van verwijzing naar Nederlandstalige, Engelstalige, Duitstalige en Franstalige literatuur:

Taal

uitgedrukt als % van totaal aantal verwijzingen

** (1995)

Aantal publicaties waar naar wordt verwezen = 298

*** (2005)

Aantal publicaties waar naar wordt verwezen = 303

**** (2014)

Aantal publicaties waar naar wordt verwezen = 348

Nederlands 88,6   % 71,3 57,2
Engels 5,7 24,4 39,1
Duits 5,7 2,6 3,4
Frans 0 1,7 0,3

Dat lijkt me toch redelijk objectief. Ik durf de stelling wel aan dat Vranken in de onderzochte bronnen gemeten over de afgelopen twintig jaar, in toenemende mate Engelstalige bronnen is gaan gebruiken als bronnenmateriaal. Daar is niets subjectiefs aan. Als het meetinstrument betrouwbaar is, is de meting objectief. Ik denk daarom dat Vranken hier niet objectiviteit, maar de constructvaliditeit van bibliometrie ter discussie wil stellen. De vraag daarbij is: wat meet men als men aan bibliometrie doet? Is het aantal malen dat een juridische publicatie wordt geciteerd een goede indicator (proxy) voor het verborgen construct ‘kwaliteit’? Het antwoord voor de privaatrechtswetenschap luidt vermoedelijk: geen idee. Het enige dat je met zekerheid weet als je citaties telt, is dat je een objectieve meting van aantallen citaties hebt. Of citaties een proxy zijn voor kwaliteit, hangt af van de definitie van kwaliteit, van wat in de praktijk redenen zijn om een stuk te citeren en of we op dat punt gedeelde normen hebben voor citeren. En dat alles komt dus neer op de methodologie: wat beschouwt het forum als goede wetenschap, en sluiten de regels rondom citatie aan bij dat idee van wat goed is? Zo zijn we weer terug bij af. De privaatrechtswetenschap heeft geen vastomlijnde regels over citatie, en dus is een objectieve meting van citaties niet aantoonbaar meer dan dat.

De oplossing begint dus misschien, zo zou ik willen opperen, met een debat over wat maakt dat men anderen (en zichzelf) citeert. Omdat we als privaatrechtswetenschappers geen gedeelde norm hebben die bepaalt waarom we een bepaald stuk literatuur wel of niet citeren, en dus geen duidelijke citatiecultuur, kunnen we ook niet goed bepalen wat we doen als we citaties tellen. Mijn indruk – maar het zou grondig onderzocht moeten worden – is dat rechtspositivisten in de privaatrechtswetenschap een publicatiecultuur hebben die vooral op ‘positieve autoriteit’ is gebaseerd: als andere juristen het niet eens met je zijn, citeren ze je stuk gewoon niet. En als ze de moeite nemen om dat wel te doen, ook al zijn ze het niet met je eens, doen ze je stuk af als ‘niet in overeenstemming met geldend recht’ of kortweg als ‘anders’. Alleen bij het recenseren en het annoteren kom je er als rechtspositivist niet goed onderuit om je oordeel over het te recenseren stuk of te annoteren arrest te formuleren. Alleen daarom al zijn deze twee publicatievormen naar mijn mening van belang. Vranken zal die conclusie onderschrijven, vermoed ik.

Ik durf naar aanleiding van het boek van Vranken nog een andere veronderstelling aan: juristen hebben, als het gaat om citeren, de neiging om recentere literatuur te verkiezen boven oudere. En het bewijs voor die veronderstelling heb ik bij Vranken in elk geval gevonden. Ik nam alle 949 stukken literatuur waar Vranken in zijn drie boeken naar verwijst en rangschikte die verwijzingen op jaartal van verschijning. Zo kan men zien (Figuur 1) dat in alle drie de boeken nauwelijks verwijzingen naar vooroorlogse literatuur plaatsvindt en dat de literatuurverwijzingen ‘kleven’ in de richting van een periode van pakweg 5-10 jaar voorafgaand aan publicatie van het betreffende Algemeen Deel. Bij wijze van voorbeeld: figuur 1 laat zien dat in Deel*** (2005) naar 45 publicaties uit het jaar 2000 wordt verwezen, terwijl in Deel**** (2014) nog maar 2 publicaties uit het jaar 2000 zijn te vinden.

figuur 1

Figuur 1

De vraag is wat die ‘kleef’ verklaart. Is Vranken hier uniek in? Of is sprake van een gedeelde citatiecultuur in de privaatrechtswetenschap die ervan uitgaat dat de meest recente ideeën de beste zijn? Of gaat het niet om ideeën, maar citeren we de meest recente literatuur omdat die de stand van het wetenschappelijk debat weergeeft (en is dat zo)? Of is het gewoon het recentheidseffect: de onderzoeker houdt zijn vak bij, leest dus vooral wat recent is verschenen en dat laat de diepste indruk achter bij de onderzoeker? Vragen die voor mijn gevoel nader onderzoek vergen naar citatiecultuur in de privaatrechtswetenschap en hoe wij onze jonge onderzoekers daarin onderrichten.

Vier sterren prestatie

Het lezen van dit boek was een intense ervaring. Vranken schrijft uitstekend en boeiend. Het boek is een prestatie van formaat, maar het riep bij mij ook veel associaties, tegenwerpingen, vraagtekens en soms fundamentele vragen op over de Nederlandse rechtswetenschappen. Ik moest het nu en dan terzijde moest leggen om mijn gedachten te ordenen en vormen. Het boek confronteerde mij met mijn eigen onhebbelijkheden en vooringenomenheden, het daagde me uit en scherpte mijn gedachten. En zo hoort het bij goede boeken.

Verwijzingen