Legelisten.no ble etablert i 2012 med «mål om å gjøre det enklere for folk å velge en god fastlege». På nettsiden kan den som ønsker det vurdere navngitte fastleger og legge inn fritekstkommentarer. I starten inneholdt listen samtlige navn på alle fastleger i Norge, og er senere blitt utvidet med navn på langt flere legespesialister og annet helsepersonell.
«Slike erfaringer kan ikke leses som en fasit over hvordan en behandler er overfor alle pasienter, men kan likevel gi en pekepinn om hvordan andre pasienter oppfatter vedkommende», leser vi på legelisten.no.
Men hvor god pekepinn gir tilbakemeldingene fra legelisten.no? Dette har forskere fra Folkehelseinstituttet (FHI) undersøkt i det som ifølge artikkelforfatterne er den eneste norske studien fra allmennpraksis som har validert web-baserte tilbakemeldinger på allmennleger. Resultatene ble nylig publisert i JMIR Formative Research.
Utgangspunktet for studien var å validere legelisten.no, det vil si å undersøke om måleinstrumentet og dataene på legelisten.no gjør det enklere for folk å finne en god fastlege.
– Vi har sjekket om det er sånn og har undersøkt hvem som evaluerer fastlegene og i hvilken grad disse personene er representative for pasientene som går til fastlegene, sier førsteforfatter Øyvind A. Bjertnæs.
Han er sosiolog og forsker og avdelingsdirektør ved Avdeling for forskning og analyse av helsetjenesten ved Folkehelseinstituttet (FHI) og har forsket på pasienterfaringer i mange år.
Sammenlignet med pasientundersøkelse
Forskerne har sett på 76.521 vurderinger av fastleger på legelisten.no i perioden mai 2012 til desember 2021. Disse vurderingene er sammenlignet med vurderingene som ble gitt i FHIs nasjonale undersøkelse av pasienterfaringer med fastleger og fastlegekontor i 2021, i alt data fra 18.860 pasienter. Resultatene fra den systematiske pasientundersøkelsen blir definert som en gullstandard i valideringsstudien, og er basert på tilfeldige pasientutvalg og validerte måleinstrumenter.
Artikkelforfatterne har sammenlignet resultater for 11 definerte dimensjoner ved fastlegen og legekontoret for et utvalg av 46 fastleger som var blitt vurdert både på legelisten.no og i pasientundersøkelsen.
Aller best samsvar, sterkest korrelasjon, fant forskerne på vurderinger av fastlegekontoret, som ventetid på time og på legekontoret, telefontilgjengelighet og annet personale. Korrelasjonen var lavest for karakteristikker av fastlegen.
– Generelt finner vi at det er lave til moderate korrelasjoner mellom legelisten.no og vår pasientundersøkelse, som er gullstandarden. Særlig når det gjaldt egenskaper ved fastlegen, var det kun moderat til liten korrelasjon, sier Bjertnæs.
Få vurderinger per fastlege på legelisten.no
I utvalget på 46 fastleger, var korrelasjonen på fastlegenivå mellom pasientundersøkelsen og legelisten.no 0,41 for fastlegeindikatoren/generell vurdering av fastlegen. En sterk korrelasjon – fullt samsvar – ville ha gitt en verdi på 1,0. Jo lavere tall, dess mindre korrelasjon.
– Dette betyr en gjennomsnittlig forskjell på 11 plasseringer i rangeringen av de 46 fastlegene på legelisten.no og i pasientundersøkelsen. For hver femte fastlege var forskjellen i rangering på mer enn 20 plasser. Det sier noe om usikkerheten ved legelisten.no. Utgangspunktet er at nettstedet skal hjelpe pasienter å finne en god fastlege, men det er stor sannsynlighet for at det i mange tilfeller ikke fungerer så godt til det formålet, mener Bjertnæs.
Han understreker at hver fastlege på legelisten.no hadde få vurderinger, noe som påvirker korrelasjonen og er en svakhet ved dataene på legelisten.no. I gjennomsnitt hadde hver fastlege i utvalget av 46 fastleger under 14 vurderinger på legelisten.no. For alle fastleger på legelisten.no, var gjennomsnittet cirka 12.
– Det er en svakhet som skaper stor statistisk usikkerhet. I utvalget vårt hadde nesten halvparten av fastlegene på legelisten.no færre enn 10 vurderinger, og for disse legene var korrelasjonen kun 0,2 og ikke signifikant, mens korrelasjonen for de med 10 vurderinger eller flere hadde en signifikant korrelasjon på 0,6 (analyser av underliggende data, upublisert, journ.anm.). Få vurderinger per lege på legelisten.no, kombinert med en overvekt av ekstreme vurderinger, skaper skjevheter og stor statistisk usikkerhet på legelisten.no, og spesielt for leger med færre enn 10 vurderinger, påpeker Bjertnæs.
En annen svakhet ved studien, som artikkelforfatterne selv påpeker, er om pasientundersøkelsen kan brukes som en gullstandard for å kunne generalisere funnene. Svarresponsen i pasientundersøkelsen var på bare 41 prosent, selv om det er på nivå med svarprosenten i andre tilsvarende undersøkelser. Forskerne mener også at det ikke er optimalt å sammenligne vurderinger ut ifra to ulike spørreskjemaer, slik det er gjort i denne studien.
Les også saken: Knapt 1 av 2 fastleger takket «ja» til en tilbakemelding på hva pasientene synes om dem
Sterk polarisering
På legelisten.no befant mange av vurderingene seg i ytterkantene av skalaen.
– Vurderingene av fastlegene var ofte ekstreme, det vil si enten veldig negative eller veldig positive, og med stor overvekt av positive. Fordelingene var noe U-kurvet, motsatt av normalfordelt, og er dermed svært lite egnet til gjennomsnittsberegninger. Dette er en uvanlig fordeling i pasienterfaringsundersøkelser, kommenterer Bjertnæs.
For 7 av 11 dimensjoner var over halvparten av vurderingene i positiv retning, og for 4 av 11 dimensjoner var vurderingene U-kurvet, der over 60 prosent hadde gitt høyeste rangering (fem av fem mulige stjerner).
Kvinner var sterkt overrepresentert på legelisten.no. Hele 80 prosent av kvinnene som hadde rangert fastlegene var i alderen 20 til 50 år, mens dette var tilfelle for drøyt 65 prosent av mennene.
Dette er noen av forskjellene mellom legelisten.no og den nasjonale pasientundersøkelsen:
Legelisten.no Pasientundersøkelsen
Andelen kvinner i alderen
20-40 år som hadde
rangert fastlegene: 55,2% 30,5%
Andelen kvinner totalt *): 64,0% 54,9%
Andelen eldre over 60 år: 10,5% 33,5%
Gjennomsnittlig antall
rangeringer per fastlege
i utvalget på 46 leger 13,7 119
*) På legelisten er det frivillig å oppgi alder og kjønn, og drøyt 65 prosent hadde oppgitt kjønn, og nær 62 prosent hadde angitt alder.
Glad for å bli forsket på
Daglig leder og gründer av Legelisten, Lars Håkon Søraas, forteller at legelisten gjorde forbedringer i 2014, og at algoritmen siden da har rangert en fastlege med mange og gode vurderinger høyere enn en fastlege med like gode, men færre vurderinger.
– De fastlegene som ligger øverst på rangeringen vår har i gjennomsnitt fått rundt 30 vurderinger. Dette er det ikke tatt høyde for i FHI-studien. Det er ikke overraskende at korrelasjonen ikke er veldig høy når én eller få fastlegevurderinger på legelisten blir sammenlignet med hundrevis av vurderinger av den samme fastlegen i pasientundersøkelsen. Tar vi ut fastleger med få vurderinger fra analysen, blir korrelasjonen vesentlig høyere. Det synes vi er betryggende, sier Søraas.
Han er glad for at det forskes på legelisten.no.
– Vi håper det blir mer forskning på hvordan kvaliteten i primærhelsetjenesten kan måles og hvordan slike målinger kan bidra til økt kvalitet i tjenesten og til at pasienter foretar gode og kloke valg – og vi setter utrolig pris på at uavhengige forskere tar seg tid til å analysere og forske på Legelisten. Det gir oss et viktig verktøy som vi bruker til å videreutvikle og forbedre tjenesten. Vi kan nok bli flinkere til å kommunisere til brukerne at få vurderinger av en fastlege gir et usikkert bilde av hvordan fastlegen er i virkeligheten. I dag oppgir vi antallet vurderinger, men det er kanskje ikke tilstrekkelig for å gjøre pasienter klare over denne usikkerheten.
Legene ønsker reservasjonsrett
Legeforeningen har vært svært kritiske til legesiden.no og mener at legene skal kunne reservere seg mot å være oppført på listen. Datatilsynet vedtok i 2017 at legene skulle ha en slik reservasjonsrett. Legelisten.no klagde på vedtaket, og to år senere konkluderte Personvernnemnda med at legene ikke kunne reservere seg. Samme år stevnet Legeforeningen staten/Personvernnemnda. Legeforeningen fikk ikke medhold i tingretten eller i lagmannsretten, og heller ikke i Høyesterett i 2021.
Dommen fra Høyesterett viser til at «det er et betydelig behov for informasjon til befolkningen som grunnlag for valg av leger og andre tilbydere av helsetjenester. Legelisten.no fremstår som det klart mest effektive tilbudet av slik informasjon i dag, selv om et system som utelukkende er basert på subjektive brukervurderinger, har klare svakheter.»
Vitenskapelige øyne
Øyvind Bjertnæs viser til at denne typen online-ratinger av leger er vanligere i mange andre land, som USA, Nederland og England, enn i Norge.
– Det har stor betydning å se på online-ratinger med vitenskapelige øyne. Hensikten vår har vært å finne ut hvordan legelisten.no fungerer opp mot det som er målet, og gjennom det bidra med et kunnskapsgrunnlag for allmennheten og for de som jobber med å forbedre nettstedet.
– Pasienterfaringer som ble publisert på offisielle og uoffisielle facebook-sider for norske sykehus ble sammenlignet med pasientundersøkelser ved sykehusene, og vi fant faktisk en høyere korrelasjon mellom disse enn vi fant for legelisten.no og pasientundersøkelsen. I framtidens målesystemer er data på online ratingsider og sanntidsdata potensielt viktige komponenter. Jeg tror slike nettsteder har kommet for å bli og vil bli flere i tiden framover, men det er viktig med ekstern forskningsmessig evaluering av reliabiliteten og validiteten til disse nettstedene og at de ansvarlige for slike nettsteder jobber med å få dem best mulig, sier Øyvind Bjertnæs.