Category Archives: Empirical Legal Studies

Tien jaar civilologie: hoe ver staan de luiken open?

Leave a reply

 

door Ivo Giesen en Willem van Boom

Zo’n 10 jaar geleden werd de ‘civilologie’ in Nederland geïntroduceerd als een verzamelterm voor rechtsgeleerd onderzoek en onderwijs naar de interactie tussen empirie en privaatrecht. Nu, een decennium later, rijst de vraag wat er terecht gekomen is van die beweging. Wij onderzochten en beschreven de omgang met de civilologie in een artikel voor de Belgische bundel “Privaatrecht in Actie!” (W.H. van Boom & I. Giesen, Tien jaar civilologie: hoe ver staan de luiken open? in: J. Baeck (red.), Privaatrecht in Actie!, die Keure: Brugge 2018, p. 13-46). Wat zijn de hoofdlijnen uit die bijdrage? Dat presenteren wij u graag in deze Blogpost.

 

Inleiding

De empirische bestudering van het recht vindt plaats onder verschillende noemers en binnen uiteenlopende disciplines. Soms is sprake van heuse scholen, met kenmerkende opvattingen over methodologie en gebiedsafbakening, zoals bij rechtssociologie, rechtspsychologie, rechtsantropologie, en rechtseconomie het geval is. Vaak ook is slechts sprake van een noemer, waaronder nogal uiteenlopende onderzoekslijnen te vinden zijn. Zo heeft ‘Empirical Legal Studies’ (ook: ELS) vooral het gebruik van kwantitatieve methoden gemeen en is voor sommigen de kern van ‘Socio-legal Studies’ juist het gebruik van kwalitatieve methoden.

Vanuit de juridische discipline bezien is de empirische bestudering van het recht in veel opzichten weinig opzienbarend. Criminologie heeft een vaste plek in veel rechtenfaculteiten verworven en in menig rechtenfaculteit zal men bijvoorbeeld (rechts)economen met een empirische agenda aantreffen. Buiten de criminologie en rechtssociologie staat de empirische bestudering van het recht – en dan met name ook van het privaatrecht – echter nog in de kinderschoenen. De aandacht voor de empirische bestudering van het recht is in Nederland evenwel aan het groeien. Zo werd onlangs de landelijke evaluatie van het juridisch onderzoek aan de rechtenfaculteiten afgerond; in de verschillende evaluatierapporten werden links en rechts complimenten uitgedeeld aan onderzoeksinspanningen op dat vlak. Daarnaast zijn er de laatste jaren informele samenwerkingsinitiatieven en kennisplatforms ontstaan; zelfs de Raad van Decanen van de rechtenfaculteiten lijken te bewegen in de ‘empirische richting’.

De empirische bestudering van het recht is uiteraard niet van gisteren op vandaag ontstaan, maar had al een ruime geschiedenis achter de rug toen wij in 2008 (samen met Albert Verheij) een impuls wilden geven aan de empirische bestudering van het privaatrecht met de bundel ‘Gedrag en Privaatrecht’. In 2013 werd een herziene en uitgebreide tweede druk daarvan uitgebracht onder de titel ‘Capita Civilologie: handboek empirie en privaatrecht’, dit maal in een heuse boekenreeks. We doopten ons initiatief ‘civilologie’, bedoeld als geuzennaam, doch inmiddels ook wel gebruikt als verzamelterm voor alle vormen van interactie tussen empirie en privaatrecht. Wat in onze beleving vooral nieuw was aan ons initiatief, was dat die interactie met empirie vooral uitging van positiefrechtelijk georiënteerde en opgeleide onderzoekers; ongebonden als wij waren en zijn aan welke empirische school dan ook, hebben we vooral de luiken voor ons eigen onderwijs en onderzoek willen openzetten.

https://repub.eur.nl/pub/41417

Capita Civilologie (2013)

Sinds 2008 is er het nodige gebeurd. Zo bracht het Weekblad voor Privaatrecht, Notariaat en Registratie, eind 2011 een bijzonder nummer uit over ‘law and…’ bewegingen, onder gastredactie van Vranken & Van Dijck. Er werden oraties gehouden door hoogleraren in het privaatrecht waarin empirie niet werd geschuwd, en er werden diverse proefschriften verdedigd in het privaatrechtelijke domein waar verschillende empirische elementen in waren verwerkt. En zo is er nog veel meer te melden.

 

Onze bevindingen

Gegeven deze ontwikkelingen leek het ons nuttig om tien jaar na de bundel ‘Gedrag en Privaatrecht’ terug te blikken en onze indrukken van hetgeen achter ons ligt, op schrift te stellen. Wat is er in het tijdvak 2008-2018 binnen het Nederlandse privaatrecht aan empirische wetenschap beschikbaar gekomen? Zijn de luiken ook bij anderen open gegaan, en zo ja, hoe ver dan? En als we op de oogst van tien jaar mogen reflecteren, is hetgeen wat er nu gebeurt aan ‘empirie en privaatrecht’, inhoudelijk en methodologisch aan de maat? Heeft het nut en toegevoegde waarde? En kunnen onze gebruikelijke publicatiefora ermee uit de voeten?

In ons artikel presenteren we een staalkaart van tijdschriftartikelen, verdelen we ze onder in categorieën en stellen we vragen bij de gebruikte methode en gevonden resultaten. Als we de tien jaar samenvatten, dan kunnen we goed nieuws en minder goed nieuws brengen. Het goede nieuws is dat er veel mooi onderzoek is gedaan en zinvolle bijdragen aan de civilologie zijn verschenen. Het minder goede nieuws is dat er naast het vele mooie dat gebeurt, de afgelopen jaren ook wel wat ontwikkelingen zijn te bespeuren waar meer kritische kanttekeningen bij te plaatsen zijn. Ons voornaamste zorgpunt is dat sommige civilisten soms maar wat aanrommelen, te brede conclusies trekken en te weinig bij de harde resultaten van de empirie blijven, te weinig zelf onderzoeken, zich te veel laten verleiden door de sociale wetenschappen, of de empirie te veel gebruiken als retorisch instrument en te weinig als waarde in zichzelf. Als dat zo zou zijn en de kwaliteit van de (juridische) uitkomsten daarmee ter discussie zou komen te staan, is een waarschuwing op zijn plaats. De geloofwaardigheid van het gebruik van empirie in het privaatrecht gaat ons aan het hart. Liever entameren we dus een open discussie over de toegevoegde waarde van die empirie en hoe die wordt gehanteerd door civilisten, dan om over pakweg tien jaar te moeten constateren dat het een doodlopend pad is gebleken omdat er fouten zijn gemaakt. We nodigen iedereen uit om ons artikel te lezen en dan zijn eigen oordeel te vormen.

 

De richting voor het jaar 2028

De gekozen methode en de verantwoording van de gemaakte keuzes zijn sleutelbegrippen. Het is wezenlijk voor elk civilologisch artikel dat de daarin gebruikte methode goed doordacht, besproken, bekritiseerd, nogmaals doordacht, en vervolgens gedegen en transparant verantwoord wordt; zonder dat halen we 2028 niet als civilologen. Maar als dit goed wordt opgepakt, is 2028 opeens geen stipje op een verre, verre horizon meer, maar zeer nabij, gegeven de hiervoor geconstateerde rugwind. Wij zouden het dan bijvoorbeeld ook toejuichen als er een civilologische standaard voor openbaarmaking van primaire data zou ontstaan de komende jaren. Bijvoorbeeld het neerleggen van die data in een openbaar repositorium, zodat anderen desgewenst de analyses kunnen repliceren. Veel komt bij dit alles neer op logisch nadenken (wat wil de lezer weten?) en bij twijfel duidelijk maken wat er is gedaan en waarom de keuze zo gemaakt is. Ja, dat geeft ruis op de lijn (het onderbreekt het betoog) maar dat is qua vormgeving op te lossen, vaak al door alle methodologie apart te zetten in een beginparagraaf, of in voetnoten, en desnoods door die overwegingen als apart bijlage bij te voegen. Er kan heel veel, ook hier, als het maar transparant is.

Kijken we vervolgens naar de overzijde, het publicatieforum, als het over verantwoording gaat, dan zouden ook de juridische tijdschriften die transparantie moeten betrachten. Dat vergt dat tijdschriftredacties, in hun redactiestatuut of elders, expliciet aangeven hoe zij met civilologische bijdragen wensen om te gaan: zijn die welkom? En zo ja, wat is dan de procedure van beoordeling, wijkt die af van wat gebruikelijk is bij gewone privaatrechtelijke bijdragen, en zo ja, hoe dan? Dat schept helderheid voor auteurs en voor de lezers. Als we daartoe overgaan, dan kan het civilologische onderzoek gepubliceerd worden waar het wat ons betreft thuis hoort, in de juridische vakbladen.

 

Vier voorspellingen

Wat staat ons te wachten in 2028? We wagen ons hier aan een enkele voorspelling. Bijvoorbeeld deze dat naarmate de luiken verder open komen te staan en civilisten vertrouwder raken met het verwerken van civilologisch onderzoek en misschien zelfs zélf verrichten van empirisch, het waarschijnlijker is dat zij zélf zullen participeren (opzetten en uitvoeren) in empirisch onderzoek. We voorspellen daarachteraan meteen ook dat een hieraan gerelateerde mogelijke aanwas van kopij, niet tot een eigen civilologisch tijdschrift zal gaan leiden; dat roept immers te zeer het gevaar op dat de civilologie losgezongen raakt van de praktijk van het privaatrecht, en de problemen die daar spelen en om een maatschappelijke aanvaardbare en juridisch-dogmatisch passende oplossing vragen. Maar allicht is dat dan weer eerder een wens dan een voorspelling.

We zouden ons tevens, ten derde, kunnen voorstellen dat de studies straks ook verfijnder worden, niet zozeer in de zin van allerlei statistische ‘hocus pocus’ maar in de zin van de opzet van de studies. We zouden ons bijvoorbeeld kunnen voorstellen dat meer gebruik zal worden gemaakt van ‘triangulatie’, dat is het onderzoeken van een vraag met verschillende meetinstrumenten zodat kan worden bekeken of de gevonden resultaten elkaar aanvullen of juist tegenspreken. Dus bijvoorbeeld een experiment of enquête, gevolgd door focusgroepen of interviews.

We voorspellen tot slot dat het privaatrechtelijk onderwijs zal volgen. Als er meer, of althans op bestendige(r) wijze, civilologisch gedacht en onderzocht gaat worden, dan zal het privaatrechtelijke onderwijs vanzelf ook in meer of mindere mate daarvan doordrenkt worden. Niet dat we dan het Haviltex-arrest niet meer bespreken en uitleggen tijdens college, maar wel in die zin dat het dogmatische onderwijs aangevuld wordt met inzichten uit de empirische werkelijkheid. En zo wordt de civilologie dan uiteindelijk meer dan een openstaand luik, en veeleer een tweede natuur voor de ‘gewone’ privatist, zodat de civilologie als subdiscipline dusdanig geïncorporeerd raakt in dat privaatrecht dat het zichzelf overbodig maakt. Maar daarmee belanden we diep in een vijfde voorspelling (of: wens) en is het waarschijnlijk al ver voorbij 2028…

 

Willem van Boom en Ivo Giesen

[Deze Blog verschijnt gelijktijdig via de Ucall Blog en de persoonlijke blog van Willem van Boom. Het betreft een sterk verkorte en aangepaste versie van W.H. van Boom & I. Giesen, ‘Tien jaar civilologie: hoe ver staan de luiken open?’, in: J. Baeck (red.), Privaatrecht in Actie!, Brugge: die Keure 2018, p. 13-46]

 

 

 

Het belang van onderzoek waar niets uitkomt

1 Reply

De psycholoog Diederik Stapel, die meermalen fraude pleegde bij het verwerken van onderzoeksresultaten en daarmee de psychologie een slechte naam bezorgde, zei onlangs in een interview het volgende:

“Het begon met de onderzoeksresultaten wat naar het licht draaien, zodat ze beter zichtbaar werden. Drie onderzoeken komen mooi uit en in een vierde zitten vragen die niet de gewenste uitkomst geven. Dat waren ook domme vragen, denk je dan. Dus rapporteer je die niet. In dat verfraaien van de werkelijkheid ging ik steeds een stapje verder. Mijn valkuil was dat ik er slecht tegen kon als onderzoeksresultaten niet klopten met mijn ideeën. (…) Ik leefde het liefst in een wereld waar alles klopt en mooi gerangschikt is. Maar die wereld bestaat niet.” (FD persoonlijk 3 dec 2016)

Stapel zoekt het bij zichzelf. Terecht. Maar het vakgebied waar hij in opereerde, werkte ook niet mee. Frauderen is fout, daarover geen twijfel. Maar wat intrigeert, is de laatste zin: de wereld waarin alles klopt en mooi gerangschikt is, bestaat niet. En toch is dat de wereld die getoond wordt in toonaangevend psychologisch onderzoek. Dergelijke publicaties zijn, dat is althans mijn indruk, vaak primair gericht op overtuigingskracht, presentatie en ‘sexy’ uitkomsten. Wat we niet zien, zijn de onderzoeken ‘waar niets uitkomt’. Die krijgen psychologen niet gepubliceerd of, als dat wel gebeurt, dan genieten ze minder aanzien. Het Journal of Articles in Support of the Null Hypothesis telt niet als serieus in die kringen. Dus als een vakgebied alleen maar een bonus zet op (experimenteel) onderzoek waar de nulhypothese in verworpen wordt, werk je een eenzijdige publicatielijn én een eenzijdige onderzoekscultuur in de hand. In dat geval is er werkelijk geen opzettelijke verdraaiing van de getallen nodig om bij sterk vertekende uitkomsten te belanden.

Ik geef een voorbeeld. Stel dat ik een onderzoek uitvoer naar het effect van het aanbrengen van vetgedrukte tekstdelen in juridische teksten op de mate waarin consumenten de kern van het betreffende stuk tekst weten te onthouden. Toegegeven, misschien niet het meest spannende onderzoek, maar mogelijk wel praktisch relevant. Eerder onderzoek voorspelt, laten we dat aannemen, dat vetgedrukte tekst in een tekstdocument beter opvalt dan tekst die niet vetgedrukt is en dat het ‘beter opvallen’ leidt tot betere stimulering van het geheugen en dus het otreatmentnthouden van de informatie.

Ik test de alternatieve hypothese (‘vetgedrukte tekst leidt tot beter onthouden van het betreffende tekstdeel’) door twee groepen personen gerandomiseerd toe te wijzen aan één van twee condities: een juridische tekst met en een zonder vetgedrukte delen. Vervolgens stel ik vragen over de tekst die met de vetgedrukte delen te maken hebben. Ik verwacht verschil tussen de groepen te vinden, dat er op wijst dat het vet maken van tekst de oorzaak van dat verschil is.

Stel: het eerste onderzoek toont geen verschil tussen de groepen. Dat kan komen omdat ik niet erg veel proefpersonen had en de tekst wel erg lang was. Het kan dus zijn dat andere factoren, zoals vermoeidheid door de tekstlengte, een verstorende rol hebben gespeeld. Als ik die factor wil uitsluiten, moet ik misschien een kortere tekst gebruiken. Dus ik doe het onderzoek nog een keer, maar nu met een kortere tekst, meer proefpersonen en veiligheidshalve ook met makkelijker te onthouden vetgedrukte begrippen. Ik manipuleer dus de effectgrootte. Het tweede onderzoek toont dat de vetgedrukte tekst gemiddeld genomen beter onthouden wordt. Het gevonden verschil is statistisch significant.

Dit tweede onderzoek krijg ik gepubliceerd. Het eerste leg ik weg en rapporteer niet. Terwijl het eerste onderzoek, dat de nulhypothese niet verwerpen kon, voor bruikbaarheid in de echte wereld (externe validiteit) misschien ook wel iets te vertellen heeft: als je lange teksten gebruikt, verdwijnt mogelijk het effect dat je vindt bij vergelijking tussen korte teksten.

Ik begrijp overigens wel dat er methodologisch goede redenen kunnen zijn om dergelijk onderzoek waar niets uitkomt, niet te publiceren. Want als er niets uitkomt, kan dat ook aan de opzet van het onderzoek hebben gelegen. Er kunnen namelijk heel veel redenen zijn waarom er niets uit een onderzoek komt. In mijn geval kan bijvoorbeeld worden beweerd dat het meetinstrument niet sensitief genoeg was: doordat de tekst te lang was, is het verschil tussen de teksten weggedrukt door de lengte, die in beide gevallen tot ‘cognitieve uitputting’ van de respondenten leidde. Goed punt, het kan best waar zijn. Maar misschien is dat dan juist het beginpunt voor een nieuwe hypothese die er op neerkomt dat vetgedrukte tekst alleen leidt tot beter onthouden van het betreffende tekstdeel als de lengte van de tekst maar kort genoeg is. Onderzoek waar niets uitkomt, is dus ook belangrijk, zeker als fouten in meting of opzet met enige mate van zekerheid zijn uitgesloten.

jv

Ik denk dat de rechtsgeleerdheid hier iets van kan leren.Wat betreft empirisch onderzoek in de rechtsgeleerdheid zou de vraag kunnen worden gesteld wat we als standaard voor goed onderzoek willen hanteren. Nu de aandacht voor empirisch juridische onderzoek ook in ons land langzaam aan het toenemen is, verdient het de voorkeur om kort lijstje te maken van gedeelde uitgangspunten rondom ‘goede onderzoekspraktijken’. Daarop zou kunnen staan: als onderzoek waar niets uitkomt, implicaties heeft voor rechtspraktijk of vervolgonderzoek, is zij het waard om gepubliceerd te worden.

Onder die noemer rapporteerde ik onlangs in het tijdschrift Justitiële Verkenningen over eigen onderzoek ‘waar niets uitkwam’. Dat klinkt niet echt spannend als ik het zo zeg. Maar ik denk toch dat er wel iets spannends over te lezen valt. Ik verwijs daarom graag naar het artikel: W.H. van Boom, Experimenteren met informeren, Justitiële Verkenningen 2016/6, p. 95-110.

Terzijde een les voor juristen die rechtspraak van de Hoge Raad bestuderen: als we willen weten of de Hoge Raad voldoet aan zijn taakstelling inzake rechtsvorming, rechtseenheid en rechtsbescherming, moeten we niet alleen de uitspraken bestuderen en becommentariëren waar ‘iets uit is gekomen’ (namelijk: een inhoudelijk oordeel), maar ook de uitspraken die met Artikel 80a Wet op de rechterlijke organisatie of Artikel 81 Wet op de rechterlijke organisatie zijn afgedaan.  Dit gebeurt momenteel voor zover ik weet niet systematisch.

 

“If It’s Easy to Read, It’s Easy to Claim”. Or is it?

Leave a reply

 

Easy reads? Yes, please

In recent years, the interest in reading ease of business communication has grown considerably. The financial services industry – an industry that designs and sells products which are intangible and consist entirely of words – is a case in point. Against the backdrop of waning levels of consumer trust in financial institutions such as banks and insurers, several initiatives have recently been deployed in the financial services arena aimed at garnering consumer trust by ‘simplification’ of legally relevant written material such as contracts, standard contract terms, disclaimers and correspondence. Indeed, conventional wisdom is that consumers highly value simple words and sentences and are suspicious of ‘legalese’, legal mumbo jumbo. Moreover, there is ample evidence showing that consumers are badly motivated to read general contract terms in the first place and that they easily suffer from information overload and cognitive depletion when they actually do read. Unsurprisingly then, the policy goal of improving reading ease (‘readability’) of legal documentation has found its way into regulatory agendas. Various EU rules and national rules instruct financial service providers to communicate in a clear, fair and non-misleading way. Moreover, article 5 of the EU Unfair Terms in Consumer Contracts Directive (93/13/EEC) simply commands that general contract terms shall be drafted in plain, intelligible language and that in case of ambiguity the interpretation most favourable to the consumer prevails.

Hence, it seems that lawmakers, regulators and courts alike are keen to support the ‘plain language movement’ by embracing the strive for simplicity in legal documents such as general contract terms. Indeed, at first sight there is much to be said in favour of the ‘plain language movement’. For example, research shows that plain language, consistent use of vocabulary, avoidance of overload and ambiguity, adaptation to the readership and ease of document structure may impact on comprehension, that the use of headers may aid recall and retrieval tasks and that adding connectors, logical structure and coherence markers between sentences is beneficial to inexperienced readers. Likewise, in the area of legal communication there is evidence showing that simplification of legal documents improves clarity for non-expert readership.

But what does it do for consumers?

So, in light of this literature it seems reasonable to assume that simplifying language merely has beneficial effects and that improvement of reading ease automatically accommodates consumer needs. Indeed, when asked, consumers state that they value attempts to simplify wording and structure of general contract terms and that they prefer simplicity over ‘legalese’. But the question remains: what does improved reading ease actually do with consumers? Do consumers develop different attitudes towards the user of the general contract terms? Are they more likely to develop trust in the user of the easy to read contract terms? Do they show more confidence in their own interpretation of the contract, given that they have a better understanding of the wording of the contract? Do they think and act differently when confronted with easy to read contact terms as compared to consumers who are exposed to ‘legalese’?

We know preciously little about whether ‘easy to read contracts’ actually cause consumers to change their attitude towards the contract and the counterpart who drafted the contract terms at hand. The available evidence is ambiguous at best. Therefore, together with co-authors Pieter Desmet and Mark Van Dam, I conducted an experiment on the effect of reading ease in general contract terms on consumers’ perceptions and actions concerning their contractual position. In a recent article for the Journal of Consumer Policy, we report the experiment against the background of the existing literature. In our experiment, we focus on one specific aspect of the effect of reading ease on consumer attitudes and the ‘thinking and deciding’ processes in consumers, namely in a situation of conflict at the stage of performance of the contract.

What we found

Our findings show that easier-to-read insurance contract terms inflate estimates of the compensation that will be awarded in the case of an accident. Second, we investigated whether reading ease also influences the willingness to engage in conflict in case of claims denial. We measured the participants’ willingness to engage in advice seeking, complaint filing or legal action and found evidence for an indirect relationship: improved reading ease raised expectations of coverage which in turn was an important determinant of the willingness to seek information, file complaints or undertake legal action. However, contrary to our expectations we did not find a direct effect of reading ease on this willingness to engage in conflict. One of the explanations for this may be that although the difference in reading ease between the ‘hard’ and ‘easy’ to read versions is in itself significant, the effect size is rather subtle.

What are the implications of our findings? It is clear that in both the European and national context, lawmakers, regulators and courts are increasingly taking an interest in the simplification of legally relevant written documentation in consumer markets such as standard contract terms. This is especially the case in the domain of financial consumer products, where complexity of the product is matched by the complexity of the contractual wording used to describe the product. Regulatory standards in this area are used to push financial service providers to switch to ‘easy to read’ general contract terms. Our findings indicate that enhancing reading ease may also inflate consumer expectations in regard of the performance levels of the professional counterpart. These heightened expectations in turn can influence consumers’ willingness to engage in conflict when such expectations are disappointed. To be clear, we do not advocate that this should stop policy-makers from insisting on improvement of reading ease as a goal in itself but we do point out that there is a caveat. The least that can be said is that blindly regulating towards enhancing reading ease without taking into account its effects on consumer attitudes, expectations and willingness to engage in conflict, may result in parts of the picture remaining unseen. It seems to us that consumer trust in the insurance industry will not benefit if ‘easy to read’ contract terms give rise to raised levels of expectation, only for these to be disappointed in the subsequent claims process. So, ideally, insurance companies would include a ‘road testing’ phase in their product approval procedure to test both the effect of their use of enhanced reading ease on cognitive aspects such as comprehension levels in their consumer audience as well as the effect on the attitudes and the ‘thinking and deciding’ processes in consumers.

Read the article