Som ph.d.-studerende ved Datalogisk Institut, Københavns Universitet, har Theresia Veronika Rampisela siden 2022 forsket i fairness i anbefalingssystemer i ADD-projektet. Under vejledning af Christina Lioma har hun undersøgt bias og udviklet evalueringsmetoder – og konkluderer nu, at flere metrikker har alvorlige mangler.
I dette exit-interview giver Theresia Veronika Rampisela både faglig indsigt og personlige refleksioner om sin forskning og tid i ADD-projektet.
Hvordan måler man egentlig fairness i algoritmer?
Dét spørgsmål har været omdrejningspunktet for Theresia Veronika Rampiselas forskning som ph.d.-studerende ved Algoritmer, Data og Demokrati (ADD)-projektet. Siden hun startede i projektet i juni 2022, har hun arbejdet med at undersøge fairness i anbefalingssystemer (eng: recommender systems) – det vil sige de algoritmer, der hver dag bestemmer, hvad vi ser på platforme som sociale medier, streamingtjenester og webshops.
Ved afslutningen af sin tid i ADD-projektet står hun med et klart budskab. Fairness er ikke bare et spørgsmål om intention, men i høj grad om, hvordan vi måler den:
“Der findes mange definitioner af fairness, og flere af de evalueringsmetrikker, vi bruger, lider af alvorlige fejl” – Theresia Veronika Rampisela
Når målingerne bliver problemet
Theresias forskning har haft et særligt fokus: at undersøge de såkaldte evalueringsmetrikker, det vil sige de matematiske metoder, der bruges til at vurdere, om et anbefalingssystem er fair eller ej.
Udgangspunktet var, at der allerede findes mange forskellige måder at måle fairness på. Men i stedet for at tage dem for givet, begyndte hun og hendes kolleger at stille et mere grundlæggende spørgsmål: Virker de egentlig?
“Vi undersøgte dokumentationen af eksisterende evalueringsmetrikker og ser på, hvad deres fejl er. Ikke kun i ligningerne, men også i hvordan de opfører sig i praksis,” forklarer hun.
Det viste sig hurtigt, at problemerne er mere omfattende, end man skulle tro.
Nogle evalueringsmetrikker er konstrueret på en måde, hvor de aldrig kan opnå den højeste eller laveste værdi. Det betyder, at resultaterne kan være misvisende:
“Man kan få en score på 0,89 ud af 1 og tænke, at der er plads til forbedring, men i virkeligheden er det ikke muligt at nå 1” – Theresia Veronika Rampisela
Andre mål har en tendens til systematisk at give høje fairness-scorer. Det åbner for, at man i praksis kan vælge den målemetode, der får ens system til at fremstå mest fair.
Fairness for hvem?
Et centralt element i Theresias forskning er, at fairness ikke er én ting.
Recommender systems er det, hun beskriver som ”multisided platforms” med flere interessenter:
“Der er både en udbyder og en bruger,” forklarer hun.
For brugerne handler fairness typisk om at få lige gode anbefalinger – enten som individer eller som grupper. For udbyderne handler det derimod om synlighed:
“Provider fairness handler om, hvor jævnt eksponeringen af deres indhold eller produkter er fordelt,” siger hun.
Det betyder, at fairness i praksis altid er et spørgsmål om perspektiv og om, hvilke hensyn man vælger at prioritere.
Fra kritik til konkrete værktøjer
Selvom forskningen tager udgangspunkt i en kritik af eksisterende metoder, peger den også fremad.
Som en del af sit ph.d.-projekt, gennemført under vejledning af professor Co-PI i ADD-projektet, Christina Lioma, har Theresia været med til at udvikle konkrete løsninger.
“Vi har lavet nogle praktiske retningslinjer for, hvordan man bør bruge de forskellige evalueringsmetrikker og hvornår,” fortæller hun.
Derudover har forskergruppen udviklet en ny evalueringsmetrik der adresserer flere af de problemer, de identificerede i eksisterende metoder. Både værktøjer og kode er gjort offentligt tilgængelige, så de kan bruges af både forskere og praktikere.
International anerkendelse
Arbejdet har allerede opnået anerkendelse i forskningsmiljøet, hvor Theresia og hendes kolleger har modtaget en pris for deres resultater.
I oktober 2024 blev deres artikel “Evaluation Measures of Individual Item Fairness for Recommender Systems: A Critical Study” tildelt prisen “Best Journal Paper” af Women in RecSys.
Prisen anerkender kvindelige tidsskriftartikler, der skiller sig ud for deres innovativitet og videnskabelige grundighed.
Prisen blev overrakt på den 18. ACM-konference om Recommender Systems (RecSys 2024), et førende internationalt forum for forskning, systemer og metoder inden for anbefalingssystemer.
Et vigtigt budskab til samfundet
Selvom Theresias forskning er teknisk, har den klare implikationer for samfundet.
Et centralt budskab er, at vi skal være mere opmærksomme på, hvordan fairness faktisk bliver operationaliseret.
Hvis målemetoderne er mangelfulde, risikerer vi at træffe beslutninger på et forkert grundlag og dermed også acceptere systemer som “fair”, selvom de i virkeligheden ikke er det.
“På grund af de mange forskellige evalueringsmetrikker kan man vælge det, der er mest belejligt,” forklarer hun.
Dermed bliver fairness ikke bare et teknisk spørgsmål, men også et spørgsmål om ansvar.
“Det handler ikke kun om at gøre systemer fair, men om at forstå, hvad fairness overhovedet betyder” – Theresia Veronica Rampisela
Tværfaglighed som styrke
Noget af det, Theresia især tager med sig fra ADD, er projektets tværfaglige samarbejde.
Det er første gang, hun for alvor har arbejdet tæt sammen med forskere fra andre fagområder, og det har givet nye perspektiver på hendes eget arbejde:
“Det er interessant at se, at der findes forskellige perspektiver på, hvad fairness betyder og hvad det betyder i praksis,” siger hun.
Hvad nu?
Efter sin tid i ADD fortsætter Theresia sin forskningskarriere som postdoc ved Institut for Kommunikation på Københavns Universitet.
Her vil hun arbejde med generativ AI i en humanistisk kontekst og med fokus på både, hvordan humaniora kan anvende teknologien, og hvordan den kan designes til humanistiske behov.
Spørgsmålet om fairness forsvinder dog ikke.
Tværtimod peger hendes forskning på, at det kun bliver mere relevant i takt med, at algoritmer og AI spiller en stadig større rolle i samfundet.
“Det handler ikke kun om at gøre systemer fair, men om at forstå, hvad fairness overhovedet betyder,” er den erkendelse, der står tilbage efter hendes tid i ADD.
Blå Bog
- Navn: Theresia Veronika Rampisela
Baggrund: Ph.d. i datalogi fra Københavns Universitet med fokus på fairness i recommender systems; tilknyttet Machine Learning-sektionen ved Datalogisk Institut
Rolle i ADD: Ph.d.-studerende (2022–2025) under vejledning af professor og Co-PI Christina Lioma; arbejdede med bias og evaluering af fairness i anbefalingssystemer
Fun fact: Theresia flyttede over 10.000 km fra sit hjemland for at tage sin ph.d. i Danmark – og spiller fløjte i et lokalt amatørorkester i København