Flitig på Facebook? Då är du kanske narcissist, en hänsynslös egoist. Sådana fördomar mot enskilda kan gro i slagkraftiga forskningsreferat hos massmedia. Liknande utspel om autistiska ansiktsformer eller om språktest för 6-åringar påverkar också lärarnas situation.
Torsdagens artikel i DN om studien på 100 användare av Facebook levererar fler generaliseringar från forskning och enkäter om sociala medier. DN-artiklarna öppnar för övertolkningar – ungefär som i tidigare skriverier om tester på barn. Svaga statistiska gruppsamband mellan testvariabler och personliga egenheter beskrivs som om variablerna kan användas för att karakterisera enskilda individer.
TV-inslag HÄR från SVT-Play om nationellt prov för sexåringar
“Autism går att se på ansiktsformen”. Så lyder rubriken till en DN-artikel, som toppades på nätet under tisdagen. I den amerikanska källan dras långtgående slutsatser utifrån intervjuer med en forskare vid University of Missouri. Hon har jämfört olika ansiktsmått hos 64 autistiska pojkar med samma mått hos 41 pojkar utan diagnos.
En feltolkning eller forskarmiss kan anas bakom följande stycke i DN:s källa:
“Aldridge analyzed 64 boys with autism and 41 typically developing boys aged eight to 12 years old, using a camera system that captures a 3-D image of each child’s head. Then, she mapped 17 points on the face, such as the corner of the eye and the divot in the upper lip. When Aldridge calculated the overall geometry of the face using these points, and compared children with autism and typically developing children, she found statistically significant differences in face shape.” (News-Medical 2011-10-21)
Ordvalet med statistiskt signifikanta skillnader (i pluralis) tydde på att forskarna hade förbisett ett statistiskt fenomen som kallas mass-signifikans. Då hade jag inte sett den originalartikel, som vänligen länkats hit i kommentaren kl.08:12 av ‘Jonas’.
Originalartikeln och det som ‘Jonas’ skriver har visserligen fått mig att flytta fokus från forskningsmetod till resultattolkning och att ändra rubrikens “forskarfel” till “feltolkning” …
… men kvar finns misstanken att forskarna har frångått kravet på oberoende slumpmässigt urval, när man i efterhand har jämfört redan identifierade “subgroups of boys with ASD” och använt “t-tests where appropriate”. Studien omfattade totalt 64 pojkar med ASD (Autism Spectrum Disorders), så antalet kan inte ha varit särskilt stort i dessa undergrupper.
Det var först oklart hur många mått som studerats utifrån de nämnda 17 punkterna i ansiktet. Jag tog därför som exempel att 20 olika mått kunde ha ingått i jämförelsen. Man måste då välja en mycket lägre risknivå än fem procent i de enskilda signifikansprövningarna för att inte en eller flera av de upptäckta skillnaderna (pluralis: “differences”) ska bli ‘statistiskt signifikanta’ på grund av ren slumpvariation.
I originalartikeln från ‘Jonas’ fann jag senare under rubriken Results:
“Of the 136 total linear distances compared, 39 were statistically significantly different (28.7% of 136).”
(Aldridge m.fl. i Molecular Autism, 2011-10-14)
Denna statistiska hypotesprövning förutsätter att urvalet är slumpmässigt och oberoende av resultatet. Det är möjligt att så var fallet (jag har ännu bara hunnit ögna originalartikeln) och att mina invändningar ovan inte är adekvata. Men …
Man får alltså inte först beräkna vilka mått som var för sig ger signifikanta skillnader och sedan peka ut just dem som relevanta för den i DN-artikeln förespeglade utsållningen av barn med autistiska ansikten.
Det andra felet – som artiklarna kan leda till – har mer att göra med hur resultaten tolkas:
Om det verkligen finns ett statistiskt signifikant gruppsamband mellan ansiktsmått och autism, så är sambandet på individnivå mycket svagare.
Skulle mina aningar om forskarfel här ovan vara obefogade, så säger resultaten ändå inget om vilka orsakssamband och uppkomstmekanismer som ligger bakom det eventuella statistiska sambandet mellan ansiktsform och autism.
Forskarna bidrar till förståelsen av fosterhjärnans utveckling med sina studier av enkla ansiktsmått. Men massmedia förmedlar intrycket att “Autism går att se på ansiktsformen” (DN).
Det kan underblåsa fördomar både om utseende och om autism – som faktiskt förknippas med flera positiva egenskaper, där den autistiska individen är överlägsen ‘medelsvensson’.
Fler barn diagnostiseras med autism (DN 2011-10-21)
Från tolkningen av de amerikanska ansiktsmätningarna är steget kanske inte så långt till de nationella tester av alla förskolebarn, som en svensk forskargrupp förespråkar. Syftet är vällovligt, men utan validitet kan testerna göra mer skada än nytta. Det kan utläsas i en annan artikel hos SVT samma dag, där testerna betecknas som trams:
Nationellt prov för sexåringar kan bli verklighet (SVT 20/3)
Professorn: “Detta är bara trams!” (SVT 20/3)
I samma tema presenteras en app för smarta telefoner. Den stimulerar kanske till mer konstruktiva åtgärder för skolan än utspel om irrelevanta tester, som kan nagga yrkesstoltheten i kanten och ytterligare försämra intresset för den statliga lärarutbildningen.
Staten bör skjuta till pengar till lärarna (SvD 21/3)
Elitutbildning för lärarstudenter förbereds (SvD 20/3)
“Spännande med privat lärarutbildning” (SvD 21/3)”Vi står inför en nationell lärarkris” (DN 20/3)
Lärarkrisen kan bli ännu värre (DN Ledare 21/3)Lärarlegitimationerna ett fiasko (SvD 17/3)
Lärarlegitimationerna är en viktig reform (SvD 20/3)Fortsatta avhopp från lärarprogram (GP 20/3)
Begränsad valfrihet hyllas i Finland (DN 13/3)
Hemligheten bakom det finländska skolundret (DN 13/3)Rekordlågt intresse för läraryrket (DN 9/3)
Allt fler lärare – allt färre elever (DN 9/3)
🙂 Hjärtligt tack Jonas (08:15) för länk och kloka ord.
Som du ser ovan, så fick din kommentar mig att skifta fokus både i rubrik och i brödtext.
Originalartikeln, som du länkade till, vittnar om forskning och slutsatser på en betydligt högre nivå än vad jag ofta möter i vägtrafiksammanhang.
Där tas beslut i rättsväsendet efter trafikolyckor och där spenderas stora resurser på fartövervakning utifrån felaktiga tolkningar av naturlagar och statistik.
Exempel finns här på Bildrullen i artiklar med etiketten myndighetsmiss.
Mer specifikt kan du söka på regressionseffekt här eller gå till min gamla vilande blogg via inlägget Fartkamerasatsning bygger på vetenskaplig bluff.
Skulle finna det otroligt att ett sådant statistiskt misstag, som lärs ut i grundkursen i statistik, skulle gå författarna och artikelgranskarna förbi. Din “analys” verkar förhastad,och baserad på att statistisk significant innebär att de använt ett enkelt t-test. Det finns statistiska metodet för att kringgå dessa problem.
Hela artikeln går att läsa här: http://www.molecularautism.com/content/2/1/15 De beskriver utförligt (den även tidigare validerade) metoden de använt för att påvisa skillnaderna.
Men som du säger steget är stort från att hitta skillnader mellan grupper och lyckas kategorisera personer efter samma skillnader. Men studien kan dock vara intressant genom att ytterligare styrka de tidigare funna gruppskillnader. Vad de säger är inte att byta ut andra metoder för diagnos, utan att dessa resultat kan leda sökandet efter vilken utvecklingsperiod som kan vara högrelevant att studerar närmre.
Detta handlar helt enkelt om att skapa ny avsättning för läkemedelbolagens produkter och sker genom sk “studier” med bias. Dessa är finansierade av läkemedelsindustrin.
Bekvämt också att skapa grupperingar i samhället som kan slussas in i särskilda åtgärder och inte belasta bla arbetslöshetstatistiken i framtiden?
Jo, Jonas, jag fick samma association till den dåtida rashygieniska verksamheten.
Men det var ju en generation sedan, och jag tror inte att de här (av mig anade) forskarmissarna grundas på fördomar.
Däremot kan metodfelen skapa och förstärka fördomar – både om människors utseenden och om noggranna mätningars skenbara validitet (relevans).
Skenbar validitet är en översättning av engelskans face validity.
Begreppet passar här utmärkt som verbal varningssignal.
Lite kusligt 😐
Har man inte mätt skallformer tidigare?
1930-1940 tal?