Simpele verhalen over sociale media leiden tot simpele oplossingen, niet de juiste
de verleiding van het simpele verhaal Jonathan Haidt
Vanmiddag om vier uur heeft de tweede kamer een gesprek met Jonathan Haidt over de invloed van de smartphone op de mentale gezondheid van kinderen en jongeren. Jonathan Haidt wordt nog steeds in de hele wereld uitgenodigd door beleidsmakers, maar de argumenten uit zijn boek “The Anxious Generation” zijn ondertussen al door vele wetenschappers van tafel geveegd.
Dit betekent niet dat er niks mis is met smartphones en sociale media, en ook niet dat er niks mis is met de jeugd. Deze problemen zijn echt. Er is alleen geen goed bewijs voor de relatie tussen deze twee problemen, zeker niet dat sociale media de grote aanjager is van alle problematiek. Het boek is populair omdat het een sterke intuïtie vertegenwoordigt, en een simpele oplossing belooft. En daarin schuilt juist het gevaar.
Simple solutions to complex problems
Een recente studie heeft het gevaar van simpele verhalen heel duidelijk geïllustreerd, en ook laten zien hoe simpele verhalen wetenschappers op het verkeerde been kunnen zetten. Ik zal proberen hier dit complexe wetenschappelijke artikel van Sewall en Parry samen te vatten.
Het simpele verhaal is dat social media (SM) gebruik zorgt voor mentale problemen (MH), en in het bijzonder als je een meisje bent. Dat verhaal ziet er zo uit.
De pijlen geven de causale verbanden aan die de wetenschapper denkt dat er mogelijk zijn. Dit betekent dus ook dat #socialmedia gebruik en je mentale problemen anders zijn voor meisjes en jongens. En dus dat de invloed van social media op mentale problemen ook anders (groter) is voor meisjes dan voor jongens.
Op zich al een complex model. Maar dit is dus het simpele verhaal.
In het paper stellen Sewall en Parry dat dit simpele model een belangrijk inzicht over het hoofd zien. Namelijk dat mentale problemen ook vele andere oorzaken hebben(!). Stel dat je dat ook meeneemt in het model zal het er zo uit zien:
Er is dus ook veel “bad stuff” die in iemands leven kan gebeuren en die kan ook impact hebben op mentale problemen, maar ook wat je op socialmedia doet. Dit zijn de figuren uit hun twitter feed, in het wetenschappelijke paper noemen ze de bad stuff psychosocial adversity, je kan hier denken aan armoede, slaaptekort, prestatiedruk etc. Zaken waarvan al lang bekend is dat deze problemen veroorzaken bij de jeugd.
Wat we zien in narratief van Haidt, maar ook andere wetenschappers, is dat deze “bad stuff” niet meegenomen wordt in het verhaal of in het onderzoek. Waarom is dit erg?
Verkeerde antwoord door de verkeerde vraag
Nu komt het ingewikkelde deel van de studie. Om te kijken hoe erg het is als we geen rekening houden met andere mogelijke bad stuff en puur focussen op socialmedia gebruik hebben Sewall en Parry simulaties gedaan. Ze hebben van te voren vast gesteld wat de causale verbanden waren in hun complexe model. Dat zijn de getallen die bij de pijtjes staan:
Als je goed kijkt zie je dat er in deze simulatie wereld geen verband is tussen #socialmedia gebruik en mentale problemen, en ook geen relatie tussen gender en de impact van socialmedia op mentale problemen. Op basis van deze aannames zijn er een aantal virtuele datasets gemaakt.
Wat de wetenschappers vervolgens gedaan hebben is op deze datasets expres het verkeerde simpele statistische model toegepast om te laten zien wat er gebeurt als we te simpel over dit probleem nadenken, en ook te simpele onderzoeksvragen stellen.
Conclusie. Ze hebben meer dan 1000 verschillende scenario’s getoetste, en in meer dan 75% van de gevallen vonden ze dat er een relatie tussen social media gebruik en mentale problemen, en dan met name voor meisjes. De “bevindingen” vertellen alleen niet het juiste verhaal, en zijn alleen gevonden omdat de onderzoekers de andere “bad stuff” uit de analyses hadden gehaald. Dus als bad stuff een invloed heeft maar we dit niet meten kunnen we dit per ongeluk aan andere oorzaken toeschrijven!
Ze laten hiermee heel duidelijk het gevaar van simpele verhalen zien. Ze leiden tot de verkeerde wetenschappelijke vragen en antwoorden. Op basis van de simpele modellen, zoals ook gepresenteerd door Haidt, zouden we de conclusie moeten trekken dan we direct sociale media moeten aanpakken, terwijl de problemen door andere zaken (bad stuff) veroorzaakt werden.
Absence of evidence is not evidence for absence
vVoor de duidelijkheid. Dit onderzoek laat zien wat het gevaar is van simplistisch denken, voor zowel wetenschappers als beleidsmakers. Het laat niet zien dat er geen verband is tussen socialmedia gebruik en mentale problemen. Het kan best zijn dat sociale media daar een rol in speelt. Dat lijkt mij zelfs heel waarschijnlijk. We moeten daar iets mee doen, maar er ons niet op blind staren.
Feit is wel dat er op dit moment is er nog geen sterk wetenschappelijk bewijs voor de relatie tussen social media en mentale gezondheid. Dat betekent dat het nu niet wijs is om drastische politieke besluiten te nemen (zie ook mijn stuk met Lotje Beek over leeftijdsverificatie). Maar het betekent niet dat dit verband tussen sociale media en mentale gezondheid er niet is. Er moet meer en vooral beter onderzoek komen. Zoals wij eerder aangaven, is het belangrijk om niet meer naar schermtijd te kijken, maar naar schermgebruik. Daarnaast moeten we dus ook in kaart brengen wat er verder met jongeren aan de hand is (tip: vraag jongeren zelf ook! Zie bv Online Jongeren Monitor)
De kamer zou er ook goed aan doen om nog een aantal andere experts uit te nodigen voordat ze te veel meegaan in het aanlokkelijk simplistische verhaal van Haidt.
👇 een aantal suggesties:
Een debat tussen Jonathan Haidt en Candice Odgers
Een scherpe analyse in de podcast if books could kill
De analyse van het Trimbos Instituut
Unmoderated Insights in gesprek met Andrew Przybylski
Taylor Lorenz in gesprek met Dana Boyd