De psycholoog Diederik Stapel, die meermalen fraude pleegde bij het verwerken van onderzoeksresultaten en daarmee de psychologie een slechte naam bezorgde, zei onlangs in een interview het volgende:

“Het begon met de onderzoeksresultaten wat naar het licht draaien, zodat ze beter zichtbaar werden. Drie onderzoeken komen mooi uit en in een vierde zitten vragen die niet de gewenste uitkomst geven. Dat waren ook domme vragen, denk je dan. Dus rapporteer je die niet. In dat verfraaien van de werkelijkheid ging ik steeds een stapje verder. Mijn valkuil was dat ik er slecht tegen kon als onderzoeksresultaten niet klopten met mijn ideeën. (…) Ik leefde het liefst in een wereld waar alles klopt en mooi gerangschikt is. Maar die wereld bestaat niet.” (FD persoonlijk 3 dec 2016)

Stapel zoekt het bij zichzelf. Terecht. Maar het vakgebied waar hij in opereerde, werkte ook niet mee. Frauderen is fout, daarover geen twijfel. Maar wat intrigeert, is de laatste zin: de wereld waarin alles klopt en mooi gerangschikt is, bestaat niet. En toch is dat de wereld die getoond wordt in toonaangevend psychologisch onderzoek. Dergelijke publicaties zijn, dat is althans mijn indruk, vaak primair gericht op overtuigingskracht, presentatie en ‘sexy’ uitkomsten. Wat we niet zien, zijn de onderzoeken ‘waar niets uitkomt’. Die krijgen psychologen niet gepubliceerd of, als dat wel gebeurt, dan genieten ze minder aanzien. Het Journal of Articles in Support of the Null Hypothesis telt niet als serieus in die kringen. Dus als een vakgebied alleen maar een bonus zet op (experimenteel) onderzoek waar de nulhypothese in verworpen wordt, werk je een eenzijdige publicatielijn én een eenzijdige onderzoekscultuur in de hand. In dat geval is er werkelijk geen opzettelijke verdraaiing van de getallen nodig om bij sterk vertekende uitkomsten te belanden.

Ik geef een voorbeeld. Stel dat ik een onderzoek uitvoer naar het effect van het aanbrengen van vetgedrukte tekstdelen in juridische teksten op de mate waarin consumenten de kern van het betreffende stuk tekst weten te onthouden. Toegegeven, misschien niet het meest spannende onderzoek, maar mogelijk wel praktisch relevant. Eerder onderzoek voorspelt, laten we dat aannemen, dat vetgedrukte tekst in een tekstdocument beter opvalt dan tekst die niet vetgedrukt is en dat het ‘beter opvallen’ leidt tot betere stimulering van het geheugen en dus het onthouden van de informatie.

Ik test de alternatieve hypothese (‘vetgedrukte tekst leidt tot beter onthouden van het betreffende tekstdeel’) door twee groepen personen gerandomiseerd toe te wijzen aan één van twee condities: een juridische tekst met en een zonder vetgedrukte delen. Vervolgens stel ik vragen over de tekst die met de vetgedrukte delen te maken hebben. Ik verwacht verschil tussen de groepen te vinden, dat er op wijst dat het vet maken van tekst de oorzaak van dat verschil is.

Stel: het eerste onderzoek toont geen verschil tussen de groepen. Dat kan komen omdat ik niet erg veel proefpersonen had en de tekst wel erg lang was. Het kan dus zijn dat andere factoren, zoals vermoeidheid door de tekstlengte, een verstorende rol hebben gespeeld. Als ik die factor wil uitsluiten, moet ik misschien een kortere tekst gebruiken. Dus ik doe het onderzoek nog een keer, maar nu met een kortere tekst, meer proefpersonen en veiligheidshalve ook met makkelijker te onthouden vetgedrukte begrippen. Ik manipuleer dus de effectgrootte. Het tweede onderzoek toont dat de vetgedrukte tekst gemiddeld genomen beter onthouden wordt. Het gevonden verschil is statistisch significant.

Dit tweede onderzoek krijg ik gepubliceerd. Het eerste leg ik weg en rapporteer niet. Terwijl het eerste onderzoek, dat de nulhypothese niet verwerpen kon, voor bruikbaarheid in de echte wereld (externe validiteit) misschien ook wel iets te vertellen heeft: als je lange teksten gebruikt, verdwijnt mogelijk het effect dat je vindt bij vergelijking tussen korte teksten.

Ik begrijp overigens wel dat er methodologisch goede redenen kunnen zijn om dergelijk onderzoek waar niets uitkomt, niet te publiceren. Want als er niets uitkomt, kan dat ook aan de opzet van het onderzoek hebben gelegen. Er kunnen namelijk heel veel redenen zijn waarom er niets uit een onderzoek komt. In mijn geval kan bijvoorbeeld worden beweerd dat het meetinstrument niet sensitief genoeg was: doordat de tekst te lang was, is het verschil tussen de teksten weggedrukt door de lengte, die in beide gevallen tot ‘cognitieve uitputting’ van de respondenten leidde. Goed punt, het kan best waar zijn. Maar misschien is dat dan juist het beginpunt voor een nieuwe hypothese die er op neerkomt dat vetgedrukte tekst alleen leidt tot beter onthouden van het betreffende tekstdeel als de lengte van de tekst maar kort genoeg is. Onderzoek waar niets uitkomt, is dus ook belangrijk, zeker als fouten in meting of opzet met enige mate van zekerheid zijn uitgesloten.

Ik denk dat de rechtsgeleerdheid hier iets van kan leren.Wat betreft empirisch onderzoek in de rechtsgeleerdheid zou de vraag kunnen worden gesteld wat we als standaard voor goed onderzoek willen hanteren. Nu de aandacht voor empirisch juridische onderzoek ook in ons land langzaam aan het toenemen is, verdient het de voorkeur om kort lijstje te maken van gedeelde uitgangspunten rondom ‘goede onderzoekspraktijken’. Daarop zou kunnen staan: als onderzoek waar niets uitkomt, implicaties heeft voor rechtspraktijk of vervolgonderzoek, is zij het waard om gepubliceerd te worden.

Onder die noemer rapporteerde ik onlangs in het tijdschrift Justitiële Verkenningen over eigen onderzoek ‘waar niets uitkwam’. Dat klinkt niet echt spannend als ik het zo zeg. Maar ik denk toch dat er wel iets spannends over te lezen valt. Ik verwijs daarom graag naar het artikel: W.H. van Boom, Experimenteren met informeren, Justitiële Verkenningen 2016/6, p. 95-110.

Terzijde een les voor juristen die rechtspraak van de Hoge Raad bestuderen: als we willen weten of de Hoge Raad voldoet aan zijn taakstelling inzake rechtsvorming, rechtseenheid en rechtsbescherming, moeten we niet alleen de uitspraken bestuderen en becommentariëren waar ‘iets uit is gekomen’ (namelijk: een inhoudelijk oordeel), maar ook de uitspraken die met Artikel 80a Wet op de rechterlijke organisatie of Artikel 81 Wet op de rechterlijke organisatie zijn afgedaan.  Dit gebeurt momenteel voor zover ik weet niet systematisch.