I dag er der blevet skrevet en del om resultaterne af et studie (projekt ‘Cykeljakken‘) vedrørende sammenhængen mellem cyklisters brug af pang-farvet tøj og deres uheldsfrekvens. Udover at jeg er træt af markedsføring af denne form for symptombehandling – “bilisterne ser sig ikke for, så lad os tvinge cyklisterne til alle at ligne MAMIL (middle-aged men in lycra)”, så ville jeg ønske journalisterne ville læse mere på lektien end bare afskrive en pressemeddelelse.
Studiet skriver selv at: “Eftersom deltagerne er frivillige, kan det ikke forventes, at de er repræsentative for danske cyklister, der cykler mere end tre gange om ugen og er over 18 år – hverken i holdninger eller adfærd.”
Nemlig, det er helt tydeligt at hverken testgruppe eller kontrolgruppe er repræsentative for den samlede bestand af cykler i Danmark, da de 2 x ca 4000 deltagere:
- Er over 18
- Cykler mindst 3 gange om ugen i sommerhalvåret
- Har tilmeldt sig af egen drift
- Er villige til at være med i et forsøg hvor de skal oplyse CPR-nr
- Er villige til at afsætte tid til en masse rapportering
- Kan acceptere at cykle i pang-farvet tøj
- Bruger Facebook
Når man fra denne gruppe får følgende resultat: “I det store spørgeskema spurgte vi deltagerne, om de tror på, at en pangfarvet cykeljakke/vest generelt kan øge sikkerheden i trafikken. Det mente langt over 90 %”, så er det signal om stor risiko for confirmation bias. Hvilket der faktisk også er konstateret: “deltagerne tror på effekten af tiltaget, og det præger deres rapportering – og har aktuelt resulteret i en underrapportering af uheld fra deltagerne i testgruppen.”
Så spørgsmålene en journalist burde have stillet forskerne var:
- Hvad med alle de andre cyklister?
- Er det sikkert at det er vesten der gør det, eller er det den generelt øgede bevidsthed som øger folks opmærksomhed?
- Har I påvist at der er en kausal sammenhæng, og ikke kun korrelation?
- Har I overvejet om evt. krav/socialt pres om køre i pang-farvet tøj dels kan gøre cykling mere bøvlet og få det til at fremstå mere farligt (end så meget andet) og dermed få nogen til at droppe cyklen (til skade for folkesundheden)?
Sådan. Nu kan jeg få vejret igen.
Helt enig Søren, tænkte præcist det samme da jeg fulgte med i morgenens nyhedsstrøm. Den øgede opmærksomhed er bevist på fornemmeste måde i Hawthorne Studierne: http://en.wikipedia.org/wiki/Hawthorne_effect
Er det forøvrigt alle typer uheld, der over en bred kam er faldet? Og i fald, hvordan forbedrer en jakke frekvensen af solo-uheld?
Som ivrig bilist i det Københavnske morgenmylder er min egen subjektive holdning at pang-farverne virker; det er markant nemmere at se (og dermed tage hensyn) til cyklister i disse eller lignende jakker. De skal blot huske det er ikke en redningsvest, som hæver over de normale færdselsregler og trafikale hensyn.
Tak, Kim. God pointe med Hawthorne-effekten.
Og enig, pang-farverne virker nok (men så også i Ultra-nyt at børn ikke synes disse vejvæsen-veste er smarte, så risikoen er de ikke vil cykle, hvilket er værre for deres kondition og indlæring). Min hovedpointe er at man skal ikke stramme konklusionerne som det er sket her – hverken forskningsmæssigt eller journalistisk.
Bra skrivet. Du känner nog till Ian Walkers med fleras studie över reflexvästar dagtid. De fann att bilister inte gav dem mer utrymme när de cyklade med reflexväst dagtid.
The influence of a bicycle commuter’s appearance on drivers’ overtaking proximities : an on-road test of bicyclist stereotypes, high- visibility clothing and safety aids in the United Kingdom. http://opus.bath.ac.uk/37890/1/Walker_2013.pdf
Tak, Erik. Ja, det bedste er et barnesæde 🙂
Min hovedpointe er dog at man skal ikke stramme konklusionerne som det er sket her – hverken forskningsmæssigt eller journalistisk.
Kære Søren
Som en af medforfatterne til rapporten om cykeljakken vil jeg gerne kommentere lidt på din kritik.
Metodemæssigt er studiet et såkaldt Randomised Controlled Trial – eller på dansk et lodtrækningsstudie, som faktisk er den ypperste studieform til at klarlægge den undersøgte effekt. Et lodtrækningsstudie skal ikke og kan aldrig være repræsentativ for hele befolkningen, men ved lodtrækning sikrer vi os, at den eneste forskel på de to grupper er jakken og dermed også, at en eventuel forskel kan tilskrives jakken. Efterfølgende følger en vurdering af om resultatet fra gruppen kan generaliseres til andre end forsøgsdeltagerne – i dette tilfælde ser vi ikke nogen grund til at antage, at effekten ikke skulle være generaliserbar.
Så anfører du, at deltagergruppen er skæv fordi de med stor sandsynlighed tror på jakkens effekt og dermed underrapporterer kontrolgruppen måske og testgruppen overrapporterer måske. Du har ret i, at dette er undersøgelsens svaghed, det har i sagens natur ikke været muligt at lave forsøget blindt – altså at testgruppen har fået den virksomme pille og kontrolgruppen en kalkpille.
Vi har også konstateret, at denne bias sandsynligvis findes i deltagernes rapportering, vi kan nemlig konstatere, at testgruppen rapporterer flere eneuheld end kontrolgruppen – og jakken har næppe den store effekt på eneuheld. For at tage højde for denne skævhed har vi nedskrevet antallet af flerpartsuheld i kontrolgruppen med en korrektionsfaktor svarende til cykeljakkens tilsyneladende effekt på eneuheld før effekterne er udregnet.
Så faktisk mener vi, at undersøgelsens metodemæssige grundlag er ganske solidt. Jeg kan i den forbindelse fortælle, at vi tidligere har brugt samme metode til en undersøgelse af den sikkerhedsmæssige effekt af de små blinkende diodelygter, der giver permanent kørelys på cykler. Denne undersøgelse – og dermed også metoden – er udgivet i Accident Analysis and Prevention – det højest rangerende tidsskrift indenfor trafiksikkerhed – så metoden er vurderet og anderkendt af de bedste fagfæller.
Kære Harry.
Tak for at du kommenterer på min kritik. Jeg er med på at I har forsøgt at tage højde for at forsøget i sagens natur ikke er blindt. Men det er stadig lodtrækning indenfor en -i mine øjne – biased sample. Og sammenligningen med diodelygterne mener jeg ikke holder helt – jeg tror langt flere ville acceptere at køre med diodelygte end med pang-farvet tøj.
Men, som det også fremgår af overskriften, så går min primære kritik på journalisters manglende perspektivering og kritisk stillingtagen til repræsentativitet. Jeg har ingen grund til at tvivle på jeres konkrete resultater.
Venlig hilsen,
Søren