Ik zag de afgelopen week veel berichten langskomen over een recente studie in het tijdschrift “The Lancet Regional Health – Europe”. Deze studie richtte zich op de effecten van een verbod op telefoons op de middelbare school. Het artikel heeft de wat saaie titel:
Saai, maar deze titel is een veel betere reflectie van de studie dan de headlines van de nieuwsberichten. Die lijken vooral te claimen dat telefoonverboden dus blijkbaar niet werken (zie plaatje), en geen zin hebben omdat schermtijd die gemist wordt op school later wordt ingehaald (zie ook Trouw).
Deze conclusie lijkt deels onderschreven te worden door de auteurs van het artikel. Maar als we iets beter naar de studie kijken, zijn er toch wel wat haken en ogen.
Zoals ik eerder schreef (hier) moeten we bij het beoordelen van studies altijd twee dingen in ons achterhoofd houden:
1. Correlatie is geen causatie
2. Afwezigheid van bewijs is geen bewijs van afwezigheid.
In de berichtgeving, en in het artikel gaat het hiermee allebei mis:
1. Het is een observationele studie, dus we zien correlaties. We zien niet een verandering in welzijn of cijfers van voor en na een telefoonverbod. Dus er kunnen geen claims gemaakt worden over impact.
2. Er is dus geen verschil tussen de scholen met meer of minder restrictieve regels. Dat wordt in headlines, maar ook in het artikel, vertaald naar bewijs dat een verbod dus geen impact heeft. Maar dat kan je dus ook niet concluderen.
haken en ogen
Dat een studie correlationeel is, is op zich niet erg. Dat zijn ook veel van mijn studies. Maar we moeten dan echt goed letten op welke conclusies we kunnen trekken. Er zijn nog wel meer kleinere haken en ogen aan deze studie:
🔹 Verschillen in schoolbeleid – De “restrictieve” scholen in de studie waren vaak niet écht telefoonvrij, maar lieten telefoons nog toe in rugzakken of op bepaalde momenten. We weten niet precies hoeveel deze jongeren op hun telefoon nog zitten tussendoor. Ook was bij de helft de restrictie nog maar “minder dan twee jaar” van toepassing, bij andere al meer dan 10 jaar.
🔹 Schermtijd - De meeting van schermtijd zou uitkomst kunnen bieden. Maar blijkbaar was er zoveel misgegaan met het meten van echte schermtijd van de telefoons dat deze data niet gebruikt werd. Er is teruggevallen op zelf-rapportage van schermtijd, waarvan we weten dat het onbetrouwbaar is. Ook daar zaten veel fouten in, waarbij jongeren aangaven langer op social media te zitten dan op hun telefoon.
🔹 Schoolprestaties – In plaats van objectieve cijfers werden schoolprestaties beoordeeld via subjectieve beoordelingen van een leeraar die aangaf of het kind volgens hun boven of onder hun niveau presteerde. Best een lastige maat om te interpreteren.
🔹 Compensatie na school - De auteurs vinden dat het overal gerapporteerde schermtijd onder jongeren van verschillende scholen hetzelfde is. Er wordt gesuggereerd dat jongeren dus hun “gemiste” schermtijd na school inhalen. Maar die conclusie kan je niet trekken aangezien er geen voor en na meting is. En de zelf-rapportage is ook zo onbetrouwbaar dat elke conclusie hier met een korrel zout genomen moet worden.
De auteurs concluderen:
"The findings do not provide evidence to support the use of school policies that prohibit phone use during the school day."Dat klopt dus in zeker zin wel, maar moet je dus niet concluderen dat deze studie laat zien dat een telefoon verbod op school geen zin heeft. Er zitten te veel haken en ogen aan deze studie om überhaupt sterke conclusies te trekken.
Wat proberen we te bereiken?
Daarnaast kan het ook zijn dat een verbod impact heeft op allerlei andere dingen die wij belangrijk vinden maar niet worden gemeten. Zoals de sfeer in de klas, sociale vaardigeheden van de kinderen, of de sociale norm dat je niet altijd bereikbaar hoeft te zijn en dat er activiteiten zijn waarbij een telefoon gewoon even niet nodig is, of het plezier van de leraar in zijn vak. Voor toekomstige studies is het ook van belang de juiste uitkomstmaten mee te nemen.
Bij het interpreteren van deze resultaten is het is ook goed om te beseffen dat er meer studies naar telefoon verboden zijn gedaan. Zowel wetenschappelijk als door maatschappelijke organisaties. En die laten toch vaak wel een positiever beeld zien. Al met al genoeg redenen om deze regels voorlopig nog in stand te houden.
Een conclusie van de auteurs die ik wel durf te onderschrijven is, dat als we kinderen echt verder willen helpen, we ook veel meer moeten dan alleen de telefoon op school verbieden. Gezien de gebruikspatronen zit het hem inderdaad vooral in de uren na school.
Voor het gemak nog een klein overzicht van relevante andere studies:
Ten eerste het recente rapport van so-rebel onderschrijft het belang van met de jongeren dit soort regels te blijven bespreken. Alleen al inspraak geven maakt jongeren meer tevreden over de regels:
https://www.so-rebelresearch.com/society
Algemeen effect smartphone gebruik en resultaten https://www.sciencedirect.com/science/article/pii/S2451958821000622
https://link.springer.com/content/pdf/10.1007/s12144-022-03830-4.pdf
Verbod pakt positief uit:
https://www.sciencedirect.com/science/article/pii/S0927537116300136
https://pmc.ncbi.nlm.nih.gov/articles/PMC9676861 (uni)
https://www.cacsd.org/article/1698443 (een hele lijst aan studies)
https://www.sciencedirect.com/science/article/pii/S0360131514001298