Larmet om miljardfusk bygger på rena gissningar
Petter Larsson om politisk siffermagi i ny rapport
Varje år betalas 8,7 miljarder felaktigt ut från tretton försäkrings- och bidragssystem, varav ungefär hälften är fusk.
Det påstår Delegationen för korrekta utbetalningar, KUT-delegationen, genom sin ordförande Sven-Erik Österberg.
I själva verket är det rena gissningar som ligger bakom siffrorna, visar Aftonbladet Kulturs granskning.
I en debattartikel i Dagens Nyheter i lördags kväll presenterade Österberg siffran som hämtats från en ny rapport, Läckaget i välfärdssystemen.
Summan är mer eller mindre tagen ur luften, och fungerar snarare som ammunition för politisk opinionsbildning i syfte att motivera kontroller och nedskärningar än som beskrivning av verkligheten.
Av de påstådda 8,7 miljarderna vilar mindre än hälften, 43 procent, på empirisk grund. Resten är gissningar.
Det vet Österberg mycket väl, eftersom kritiken mot KUT-delegationens sätt att räkna har varit hård, nyanserad och välartikulerad både från utomstående forskare och inom hans egen delegationsgrupp av experter och myndighetsrepresentanter.
Genom att debattartikeln publiceras en lördagskväll, och den rapport som den beskriver offentliggörs först dagen därpå, vinner Österberg de viktiga första timmarna av nyhetsrapportering, då hans version får stå oemotsagd.
Inga journalister kan ställa kritiska frågor utan att ha läst rapporten, utan vidareförmedlar snällt det Österberg vill att de ska säga. ”Bidragsfusk för många miljarder”, deklarerade Ekot. ”Miljardfusk i svenska välfärdssystemen” skrev Dagens Industri. ”Varje år betalas det ut ungefär 8,7 miljarder kronor för mycket i bidrag” berättade TV4.
Så ser politisk spinn ut, sådant som tankesmedjor och intresseorganisationer brukar syssla med.
Hade journalisterna haft tid att läsa på, hade de upptäckt två uppenbara problem.
KUT-delegationen berömmer sig av att nio av de tretton system man studerat har bedömts med huvudsakligen empiriska metoder. Det är trots allt mer än tidigare utredningar mäktat med.
Men huvudsakligen?
Det visar sig att resten har ”bedömts av delegationens kansli”. Dessa kansliskattningar är inga oviktiga marginalanteckningar. Vad gäller lönebidrag till exempel, så belägger man med empiriska mätningar att 79 miljoner försnillas avsiktligt. Men sen drämmer kansliet till med ytterligare 226 miljoner.
Totalt uppgår kansliskattningarna till kring en miljard i svinn, eller drygt var fjärde felutbetald krona från dessa nio system.
Men det riktigt stora problemet gäller det fyra system, där man inte har någon empiri att gå på alls: sjukpenning, sjukersättning, studiemedel för studier i Sverige och ekonomiskt bistånd. Här använder man i stället en mycket vansklig metod som heter expert elicitation, expertbedömningar. Av de 8,7 miljarder man påstår felbetalas är nästan 4 miljarder uppskattade med den här metoden.
Låt mig berätta hur det kan gå till.
I vintras samlades tre av Försäkringskassans tjänstemän i ett sammanträdesrum på myndighetens kontor i Stockholm. Deras uppgift var att på uppdrag av KUT-delegationen uppskatta hur mycket pengar som varje år betalas ut felaktigt, genom fusk eller misstag, inom det område som kallas försäkringstillhörighet, och som handlar om huruvida en person omfattas av en viss försäkring.
De skulle först bedöma hur mycket som försvinner på ett år. Två av dem gissade på en knapp miljard. Den tredje trodde på 1,5 miljoner.
I nästa led hade man delat in försäkringstagarna i åtta grupper, till exempel studenter eller föräldrar, och experterna skulle bedöma hur mycket som betalades ut felaktigt till varje grupp för sig och för grupperna sammantaget. Då landade gissningarna för grupperna tillsammans på över 6 miljarder, respektive knappt 1,3 miljarder och 2,8 miljarder.
Som synes är spännvidden enorm. Det kan lika gärna läcka 1,5 miljoner som 6 miljarder, om vi ska lyssna på experterna. Det betyder inte att värdet ligger däremellan. Alla tre kan ju ha fel.
En och samma person kan dessutom ena stunden bedöma att kring en miljard försvinner totalt, och i nästa stund hamna på över sex.
”Detta illustrerar hur svårt det är att skatta något där ingen av de sakkunniga (eller någon annan) har vetskap om hur stort det fenomen som skattas bör vara”, konstaterar Försäkringskassan i den rapport från i mitten av maj, där resultaten redovisas (Arbetsbaserad försäkringstillhörighet, PM 2019i:3).
Det som gör detta lilla fiasko så allvarligt är att sådana här undersökningar alltså ligger till grund för framtidens välfärdspolitik.
KUT-delegationen är såklart medveten om dessa osäkerheter. I rapporten berättar man till exempel att 90 procent av experterna ”bedömt de felaktiga utbetalningarna av sjukersättning till mellan 60 miljoner kronor och drygt 3,6 miljarder kronor per år”. Men ändå kör de ut siffrorna!
Att det blir så här svajigt beror på att man använder expertbedömningar för andra saker än de är avsedda för. Dessutom gör man avkall på viktiga metodkrav.
Ursprungligen kommer metoden från naturvetenskaperna. Tanken är att den ska användas när man å ena sidan har en massa hårda fakta, men å andra sidan är osäker på hur de bör vägas samman och tolkas. Då kan en grupp oberoende experter vara till hjälp. Ett typexempel skulle kunna vara när man ska avgöra var atomavfall ska lagras.
Det är alltså inte en mätmetod som kan svara på frågor om den faktiska verkligheten, utan mer ett sätt att bedöma risker och ge överlagda råd åt beslutsfattare.
Men i Sverige bryts ny mark!
För första gången i världshistorien användes metoden 2007 för att uppskatta hur mycket pengar som försvinner i välfärdssystemen av KUT-delegationens föregångare FUT-delegationen.
”Om politikerna vetat att det handlar om några anställda på Försäkringskassan som gissat hade de nog varit mindre imponerade”
Inte bara överförde man då metoden till ett helt nytt användningsområde. I den hemmasnickrade svenska varianten anlitas heller ingen oberoende expertis, utan skattningarna görs av anställda på de myndigheter man ska bedöma. Det finns inte heller en stor mängd faktaunderlag att utgå ifrån för experterna. Tvärtom är motivet för att använda expertbedömningar just att det saknas fakta.
I den svenska varianten omvandlades alltså metoden från tolkningar och sammanvägningar av fakta till uttalanden om verkligheten: så här mycket tror vi försvinner.
I nästa led, när siffrorna från FUT-delegationen nådde politiker och medier, retuscherades osäkerheterna bort och siffrorna stelnade: 20 miljarder försvinner varje år! Hälften genom fusk!
”Om politikerna vetat att det handlar om några anställda på Försäkringskassan som gissat hade de nog varit mindre imponerade”, som en tjänsteman säger.
Detta är anledningen till att denna metoddiskussion inte bara är något som berör statistiknördar.
Det sägs att ingen vill veta hur man gör korv. Men nu gäller det våra välfärdssystem, din sjukförsäkring, din a-kassa, din föräldrapenning. Just därför är det viktigt att öppna dörren till korvfabriken på glänt.
Vi lever i en tid av politisk siffermagi, där den som kan fastslå en summa ofta vinner en debatt och kan definiera vad som ses som problem. För den som vill motivera mer kontroller och nedskärningar är siffror över fusk och överutnyttjande hårdvaluta.
De fungerar nämligen demoniserande. Får vi veta att si eller så många miljarder av våra skattepengar går till latoxar, simulanter och fuskare har vi lättare att svälja de inskränkningar politikerna vill göra. Ingen vill ju försvara dem som äter hederligt folk ur boet.
När Moderaterna i Malmö förra året ville att kommunen skulle göra hembesök hos alla socialbidragstagare påstod man att var fjärde fuskade. Bland annat hänvisade man till just FUT-utredningens gissningar (som dock landade på 8 procent fusk, men va tusan, det är ju pengar det med.)
Statsvetaren Niklas Altermark gick för en tid sedan igenom debatten om assistansförsäkringen och visade att den ansvariga ministern, Åsa Regnér (S), under flera år ”lyft fram överutnyttjande och fusk i nästan samtliga debattartiklar och uttalanden hon har gjort om assistansen. Också när hon ska försvara politiska beslut som inte har ett dugg med fusk att göra” (Dagens Nyheter 9 februari 2018).
Ett annat exempel är hur en stark fuskdiskurs användes för att motivera åtstramningarna i sjukförsäkringen under det tidiga 2000-talet, vilket statsvetaren Björn Johnson klarlade i sin bok Kampen om sjukfrånvaron (Arkiv 2010).
Medan fuskjägarna och nedskärarna svingat sina miljarder som vapen sedan 2007 har kritiken mot expertbedömningarna bara vuxit.
Jag skrev själv om gissningsleken redan när FUT-rapporten presenterades (Aftonbladet 18 november 2007). Flera remissinstanser har haft invändningar, liksom forskare som statsvetarna Björn Johnson och Niklas Altermark.
Den senare presenterade för ett par år sedan en genomgång av 1 300 forskningsartiklar om metoden och fastslog att det helt saknas bevis för att den fungerar för att undersöka omfattningen av felaktiga utbetalningar.
Och när en ny stor statlig utredning, KUT-delegationen, nu åter använder metoden har kritiken tagit plats vid bordet.
På ett sammanträde den 23 oktober förra året meddelade kanslitjänstemännen att delegationen skulle börja göra expertbedömningar och att man redan börjat upphandla denna tjänst från en konsult.
Inget formellt beslut om detta har fattats, och kanslichefen Sara Almer kan inte berätta vem som bestämt det eller när det skulle ha skett.
På sittande möte protesterade då Brottsförebyggande rådets expert Johanna Skinnari och meddelade att Brå avråder från att använda expertbedömningar. På byråkratiska är det ett starkt ställningstagande.
Ett par dagar senare utvecklade Brå sina argument i en skrivelse till delegationen. Man kontaktade också både svenska och internationella forskare på området – även de som förespråkar metoden på andra områden – för att skaffa sig en bättre bild.
Det är deprimerande läsning. När den amerikanske experten på metoden M. Granger Morgan får beskrivet för sig hur bedömningarna går till konstaterar han att ”det låter problematiskt att göra detta på ett snabbt och smutsigt sätt” och påpekar att om det finns mycket lite underlag (evidantiary basis) för experterna att utgå ifrån, så ”blir det i själva verket en opinionsmätning”.
Jag har själv pratat med några ”experter” som kallats in från olika myndigheter för att göra bedömningar för KUT-delegationen.
En av dem uppger att det var omöjligt att ta fram den statistik som behövdes för att få fram ett korrekt resultat. En deltagare i annan grupp säger att hen tycker att metoden fungerar bra för att få ”ett hum”, med förbehållet att antalet deltagare möjligen var för litet för att kunna ge en korrekt bild av hela Sverige.
I det fallet hade experten bra egna underlag att utgå ifrån. Men när dessa sedan skulle användas till att uppskatta mörkertal, fick hen ändå i slutändan lita till sin ”fingertoppskänsla”. Att de övriga experterna i samma grupp gjorde likartade skattningar stärkte hens uppfattning om att man hamnat ganska rätt. Osäkerhetsintervallet var i slutändan trots det relativt omfattande, där den högsta bedömningen var fem gånger så hög som den lägsta.
I januari i år hade det gått så långt att frågan var om Brå rent av skulle hoppa av delegationens arbete. Dåvarande generaldirektören Erik Wennerström tog kontakt med Sven-Erik Österberg och kanslichefen Sara Almer. Särskilt oroad var han uppenbarligen över att delegationen skulle blanda säkra data med osäkra gissningar i en totalsumma, vilket är något av ett kardinalfel, eftersom gissningarna så att säga förstör även de mer säkra uppgifterna när de bakas samman.
En liknelse: de första två tredjedelarna av elitserien i handboll är spelade. Då låter man ett gäng spelare, tränare och ledare gissa hur det ska gå i de sista matcherna. Och så plussar man ihop resultat med gissningar och presenterar en färdig slutserietabell. Ser man på, Sävehof vann igen. Vem skulle tro på det?
Erik Wennerström hävdar att han blivit lovad att just den sortens sammanräkning inte skulle bli av.
Precis vad som sades i samtalen finns inte dokumenterat. Efter ett av dem, den 11 februari, gör Sara Almer några förtydliganden i ett mejl till Wennerström. Hon skriver att delegationen visst det ska göra en ”bedömning av den totala omfattningen”, men också att ”vi kommer att vara mycket tydliga med vad som vilar på empirisk grund och vad som vilar på expertbedömningar”.
Men i ett mejl till Sven-Erik Österberg den 18 mars skriver Wennerström: ”Tack för rådet att tala med Sara [Almer] – efter samtalet med henne känner jag mig övertygad om att det som skulle ha fått Brå att lämna utredningen eller i vart fall tillkännage en ståndpunkt som avviker från den inte kommer att inträffa. Dvs. utredningen kommer inte att tillkännage siffror för totaliteten felaktiga utbetalningar, baserade (till del) på den starkt ifrågasatta metoden expert elicitation.”
Den ”tydlighet” som Sara Almer utlovat finns hur som helst över huvud taget inte i Österbergs debattartikel och även om man i rapporten faktiskt försöker hålla isär äpplen och päron, så står där i slutändan ändå en totalsumma på 8,65 miljarder.
Att Brå gått i bräschen för kritiken är helt klart.
Men nu har alltså även Försäkringskassan anslutit sig. Det väger tyngre, eftersom det är den myndighet som ansvarar för den stora majoriteten av välfärdssystemen.
I rapporten jag nämnde där man beskriver sin egen expertbedömning skriver Försäkringskassan att man redan uttryckt kritik mot metoden under delegationens arbete, man upprepar delar av den kända kritiken och konstaterar avslutningsvis att ”denna typ av studie medför en alltför stor osäkerhet för att kunna vara till nytta”.
Den är rätt värdelös med andra ord.
Också hos andra myndigheter finns en medvetenhet om hur osäker metoden är. När delegationen i slutet av förra året bad Pensionsmyndigheten – som accepterar expertbedömningar i brist på bättre – att medverka i bedömningar av ålders- och efterlevandepension, så tackade man nej. De hade redan lagt ner stor möda på en annan undersökning för delegationen och denna förfrågan kom för sent, uppgav man.
Men att expertbedömningar är en så osäker metod spelade också in, uppger en källa. Hade det funnits en bättre metod, så hade Pensionsmyndigheten varit mer angelägen om att delta. Nu tyckte man inte att det var så särdeles motiverat att lägga tid och kraft på detta.
Så varför använder KUT-delegationen trots kritiken en metod byggd på, tja, fingertoppskänsla?
Sven-Erik Österberg avböjde i förra veckan att svara på frågor inför den här artikeln.
Kanslichefen Sara Almer har inte velat säga något alls om metoden eller argumenten innan resultaten är publicerade. Men i ett mejl till Brå (11 februari) gav hon ett par utomvetenskapliga skäl: man har haft för lite tid och resurser för att enbart göra empiriska studier.
Det är med andra ord som vanligt: billiga och snabba lösningar blir ofta dåliga.
Man kan naturligtvis tänka sig att det skulle vara bättre att ha en vag uppfattning om hur mycket som försvinner än ingen alls, eller att även mycket osäkra siffror skulle hjälpa myndigheterna att prioritera sina kontroller.
Men det bygger i så fall fortfarande på att vi tror att gissningarna har något med verkligheten att göra, vilket jag aldrig sett några belägg för. Tvärtom är diskrepansen mellan gissningarna kring vilka summor som försvinner och de summor myndigheterna faktiskt upptäcker enorm. Som Riksrevisionen konstaterade redan 2011 finns därför ”en risk för att regeringens styrning baseras på en föreställning om att bidragsbrottens omfattning är större än vad den i själva verket är”.
Ibland är det bättre att veta att man inte vet, än att inbilla sig att man vet något.
Mot bakgrund av hur osäkra de siffror som KUT-utredningen nu har publicerat är, så vore det bästa förmodligen om man drog tillbaka rapporten och omarbetade den, så att man helt strök de avsnitt som handlar om kansliets skattningar och om expertbedömningarna. Då skulle politiker och myndigheter ha hyggligt säkra empiriskt grundade kunskaper att fatta beslut utifrån.
Det skulle innebära bortkastade pengar och möda, en viss prestigeförlust, och att man inte fullt ut skulle uppfylla regeringens direktiv.
Men det bör man göra för att rädda delegationens trovärdighet och legitimitet. Och framför allt för att risken är uppenbar att dessa fuskräknade miljarder i sin ”stelnade” politiska form kommer att användas som argument för att försvaga den välfärdsstat som delegationen säger sig vilja värna.