Category Archives: Empirical Legal Studies

Het belang van onderzoek waar niets uitkomt

De psycholoog Diederik Stapel, die meermalen fraude pleegde bij het verwerken van onderzoeksresultaten en daarmee de psychologie een slechte naam bezorgde, zei onlangs in een interview het volgende:

“Het begon met de onderzoeksresultaten wat naar het licht draaien, zodat ze beter zichtbaar werden. Drie onderzoeken komen mooi uit en in een vierde zitten vragen die niet de gewenste uitkomst geven. Dat waren ook domme vragen, denk je dan. Dus rapporteer je die niet. In dat verfraaien van de werkelijkheid ging ik steeds een stapje verder. Mijn valkuil was dat ik er slecht tegen kon als onderzoeksresultaten niet klopten met mijn ideeën. (…) Ik leefde het liefst in een wereld waar alles klopt en mooi gerangschikt is. Maar die wereld bestaat niet.” (FD persoonlijk 3 dec 2016)

Stapel zoekt het bij zichzelf. Terecht. Maar het vakgebied waar hij in opereerde, werkte ook niet mee. Frauderen is fout, daarover geen twijfel. Maar wat intrigeert, is de laatste zin: de wereld waarin alles klopt en mooi gerangschikt is, bestaat niet. En toch is dat de wereld die getoond wordt in toonaangevend psychologisch onderzoek. Dergelijke publicaties zijn, dat is althans mijn indruk, vaak primair gericht op overtuigingskracht, presentatie en ‘sexy’ uitkomsten. Wat we niet zien, zijn de onderzoeken ‘waar niets uitkomt’. Die krijgen psychologen niet gepubliceerd of, als dat wel gebeurt, dan genieten ze minder aanzien. Het Journal of Articles in Support of the Null Hypothesis telt niet als serieus in die kringen. Dus als een vakgebied alleen maar een bonus zet op (experimenteel) onderzoek waar de nulhypothese in verworpen wordt, werk je een eenzijdige publicatielijn én een eenzijdige onderzoekscultuur in de hand. In dat geval is er werkelijk geen opzettelijke verdraaiing van de getallen nodig om bij sterk vertekende uitkomsten te belanden.

Ik geef een voorbeeld. Stel dat ik een onderzoek uitvoer naar het effect van het aanbrengen van vetgedrukte tekstdelen in juridische teksten op de mate waarin consumenten de kern van het betreffende stuk tekst weten te onthouden. Toegegeven, misschien niet het meest spannende onderzoek, maar mogelijk wel praktisch relevant. Eerder onderzoek voorspelt, laten we dat aannemen, dat vetgedrukte tekst in een tekstdocument beter opvalt dan tekst die niet vetgedrukt is en dat het ‘beter opvallen’ leidt tot betere stimulering van het geheugen en dus het otreatmentnthouden van de informatie.

Ik test de alternatieve hypothese (‘vetgedrukte tekst leidt tot beter onthouden van het betreffende tekstdeel’) door twee groepen personen gerandomiseerd toe te wijzen aan één van twee condities: een juridische tekst met en een zonder vetgedrukte delen. Vervolgens stel ik vragen over de tekst die met de vetgedrukte delen te maken hebben. Ik verwacht verschil tussen de groepen te vinden, dat er op wijst dat het vet maken van tekst de oorzaak van dat verschil is.

Stel: het eerste onderzoek toont geen verschil tussen de groepen. Dat kan komen omdat ik niet erg veel proefpersonen had en de tekst wel erg lang was. Het kan dus zijn dat andere factoren, zoals vermoeidheid door de tekstlengte, een verstorende rol hebben gespeeld. Als ik die factor wil uitsluiten, moet ik misschien een kortere tekst gebruiken. Dus ik doe het onderzoek nog een keer, maar nu met een kortere tekst, meer proefpersonen en veiligheidshalve ook met makkelijker te onthouden vetgedrukte begrippen. Ik manipuleer dus de effectgrootte. Het tweede onderzoek toont dat de vetgedrukte tekst gemiddeld genomen beter onthouden wordt. Het gevonden verschil is statistisch significant.

Dit tweede onderzoek krijg ik gepubliceerd. Het eerste leg ik weg en rapporteer niet. Terwijl het eerste onderzoek, dat de nulhypothese niet verwerpen kon, voor bruikbaarheid in de echte wereld (externe validiteit) misschien ook wel iets te vertellen heeft: als je lange teksten gebruikt, verdwijnt mogelijk het effect dat je vindt bij vergelijking tussen korte teksten.

Ik begrijp overigens wel dat er methodologisch goede redenen kunnen zijn om dergelijk onderzoek waar niets uitkomt, niet te publiceren. Want als er niets uitkomt, kan dat ook aan de opzet van het onderzoek hebben gelegen. Er kunnen namelijk heel veel redenen zijn waarom er niets uit een onderzoek komt. In mijn geval kan bijvoorbeeld worden beweerd dat het meetinstrument niet sensitief genoeg was: doordat de tekst te lang was, is het verschil tussen de teksten weggedrukt door de lengte, die in beide gevallen tot ‘cognitieve uitputting’ van de respondenten leidde. Goed punt, het kan best waar zijn. Maar misschien is dat dan juist het beginpunt voor een nieuwe hypothese die er op neerkomt dat vetgedrukte tekst alleen leidt tot beter onthouden van het betreffende tekstdeel als de lengte van de tekst maar kort genoeg is. Onderzoek waar niets uitkomt, is dus ook belangrijk, zeker als fouten in meting of opzet met enige mate van zekerheid zijn uitgesloten.

jv

Ik denk dat de rechtsgeleerdheid hier iets van kan leren.Wat betreft empirisch onderzoek in de rechtsgeleerdheid zou de vraag kunnen worden gesteld wat we als standaard voor goed onderzoek willen hanteren. Nu de aandacht voor empirisch juridische onderzoek ook in ons land langzaam aan het toenemen is, verdient het de voorkeur om kort lijstje te maken van gedeelde uitgangspunten rondom ‘goede onderzoekspraktijken’. Daarop zou kunnen staan: als onderzoek waar niets uitkomt, implicaties heeft voor rechtspraktijk of vervolgonderzoek, is zij het waard om gepubliceerd te worden.

Onder die noemer rapporteerde ik onlangs in het tijdschrift Justitiële Verkenningen over eigen onderzoek ‘waar niets uitkwam’. Dat klinkt niet echt spannend als ik het zo zeg. Maar ik denk toch dat er wel iets spannends over te lezen valt. Ik verwijs daarom graag naar het artikel: W.H. van Boom, Experimenteren met informeren, Justitiële Verkenningen 2016/6, p. 95-110.

Terzijde een les voor juristen die rechtspraak van de Hoge Raad bestuderen: als we willen weten of de Hoge Raad voldoet aan zijn taakstelling inzake rechtsvorming, rechtseenheid en rechtsbescherming, moeten we niet alleen de uitspraken bestuderen en becommentariëren waar ‘iets uit is gekomen’ (namelijk: een inhoudelijk oordeel), maar ook de uitspraken die met Artikel 80a Wet op de rechterlijke organisatie of Artikel 81 Wet op de rechterlijke organisatie zijn afgedaan.  Dit gebeurt momenteel voor zover ik weet niet systematisch.

 

“If It’s Easy to Read, It’s Easy to Claim”. Or is it?

 

Easy reads? Yes, please

In recent years, the interest in reading ease of business communication has grown considerably. The financial services industry – an industry that designs and sells products which are intangible and consist entirely of words – is a case in point. Against the backdrop of waning levels of consumer trust in financial institutions such as banks and insurers, several initiatives have recently been deployed in the financial services arena aimed at garnering consumer trust by ‘simplification’ of legally relevant written material such as contracts, standard contract terms, disclaimers and correspondence. Indeed, conventional wisdom is that consumers highly value simple words and sentences and are suspicious of ‘legalese’, legal mumbo jumbo. Moreover, there is ample evidence showing that consumers are badly motivated to read general contract terms in the first place and that they easily suffer from information overload and cognitive depletion when they actually do read. Unsurprisingly then, the policy goal of improving reading ease (‘readability’) of legal documentation has found its way into regulatory agendas. Various EU rules and national rules instruct financial service providers to communicate in a clear, fair and non-misleading way. Moreover, article 5 of the EU Unfair Terms in Consumer Contracts Directive (93/13/EEC) simply commands that general contract terms shall be drafted in plain, intelligible language and that in case of ambiguity the interpretation most favourable to the consumer prevails.

Hence, it seems that lawmakers, regulators and courts alike are keen to support the ‘plain language movement’ by embracing the strive for simplicity in legal documents such as general contract terms. Indeed, at first sight there is much to be said in favour of the ‘plain language movement’. For example, research shows that plain language, consistent use of vocabulary, avoidance of overload and ambiguity, adaptation to the readership and ease of document structure may impact on comprehension, that the use of headers may aid recall and retrieval tasks and that adding connectors, logical structure and coherence markers between sentences is beneficial to inexperienced readers. Likewise, in the area of legal communication there is evidence showing that simplification of legal documents improves clarity for non-expert readership.

But what does it do for consumers?

So, in light of this literature it seems reasonable to assume that simplifying language merely has beneficial effects and that improvement of reading ease automatically accommodates consumer needs. Indeed, when asked, consumers state that they value attempts to simplify wording and structure of general contract terms and that they prefer simplicity over ‘legalese’. But the question remains: what does improved reading ease actually do with consumers? Do consumers develop different attitudes towards the user of the general contract terms? Are they more likely to develop trust in the user of the easy to read contract terms? Do they show more confidence in their own interpretation of the contract, given that they have a better understanding of the wording of the contract? Do they think and act differently when confronted with easy to read contact terms as compared to consumers who are exposed to ‘legalese’?

We know preciously little about whether ‘easy to read contracts’ actually cause consumers to change their attitude towards the contract and the counterpart who drafted the contract terms at hand. The available evidence is ambiguous at best. Therefore, together with co-authors Pieter Desmet and Mark Van Dam, I conducted an experiment on the effect of reading ease in general contract terms on consumers’ perceptions and actions concerning their contractual position. In a recent article for the Journal of Consumer Policy, we report the experiment against the background of the existing literature. In our experiment, we focus on one specific aspect of the effect of reading ease on consumer attitudes and the ‘thinking and deciding’ processes in consumers, namely in a situation of conflict at the stage of performance of the contract.

What we found

Our findings show that easier-to-read insurance contract terms inflate estimates of the compensation that will be awarded in the case of an accident. Second, we investigated whether reading ease also influences the willingness to engage in conflict in case of claims denial. We measured the participants’ willingness to engage in advice seeking, complaint filing or legal action and found evidence for an indirect relationship: improved reading ease raised expectations of coverage which in turn was an important determinant of the willingness to seek information, file complaints or undertake legal action. However, contrary to our expectations we did not find a direct effect of reading ease on this willingness to engage in conflict. One of the explanations for this may be that although the difference in reading ease between the ‘hard’ and ‘easy’ to read versions is in itself significant, the effect size is rather subtle.

What are the implications of our findings? It is clear that in both the European and national context, lawmakers, regulators and courts are increasingly taking an interest in the simplification of legally relevant written documentation in consumer markets such as standard contract terms. This is especially the case in the domain of financial consumer products, where complexity of the product is matched by the complexity of the contractual wording used to describe the product. Regulatory standards in this area are used to push financial service providers to switch to ‘easy to read’ general contract terms. Our findings indicate that enhancing reading ease may also inflate consumer expectations in regard of the performance levels of the professional counterpart. These heightened expectations in turn can influence consumers’ willingness to engage in conflict when such expectations are disappointed. To be clear, we do not advocate that this should stop policy-makers from insisting on improvement of reading ease as a goal in itself but we do point out that there is a caveat. The least that can be said is that blindly regulating towards enhancing reading ease without taking into account its effects on consumer attitudes, expectations and willingness to engage in conflict, may result in parts of the picture remaining unseen. It seems to us that consumer trust in the insurance industry will not benefit if ‘easy to read’ contract terms give rise to raised levels of expectation, only for these to be disappointed in the subsequent claims process. So, ideally, insurance companies would include a ‘road testing’ phase in their product approval procedure to test both the effect of their use of enhanced reading ease on cognitive aspects such as comprehension levels in their consumer audience as well as the effect on the attitudes and the ‘thinking and deciding’ processes in consumers.

Read the article