Hvordan har tre danske kommuner brugt algoritmer i sagsbehandling, der vedrører udsatte børn og unge, og hvilke etiske overvejelser om algoritmer har de kommunale sagsbehandlere gjort sig? Det er nogle af de spørgsmål, som Helene Ratner (lektor) og Ida Schröder (post.doc), der er en del af ADD-projektets forskerteam, finder svar på i forskningsprojektet Public administration and prediction på DPU. Vi har stillet dem fem spørgsmål om projektet.
Q: Hvad handler jeres forskningsprojekt om?
A: Da vi startede for halvandet år siden, handlede det om, hvordan kommunerne udvikler og anvender prædiktive algoritmer som beslutningsstøtte i den offentlige forvaltning i sager, der vedrører udsatte børn og unge. I løbet af det sidste halvandet år, er de sidste tre kommunale test-projekter med algoritmer baseret på maskinlæring, dog lukket ned, og derfor har vores forskningsprojekt ændret sig en lille smule. Nu når vi ikke længere kan observere anvendelsen af de her algoritmer, har vores forskning i stedet for handlet om alle de etiske overvejelser, man gør sig i en kommune, når man skal beslutte, om man skal arbejde videre med algoritmer i sagsbehandlingen. Forskningsspørgsmålet har egentlig været det samme hele vejen igennem – det er “hvordan forhandler kommunale aktører og andre stakeholders den etiske dimension af algoritmer, og hvad ser de som en ”etisk god” algoritme?” Og det forsøger vi så at besvare ved at få aktørerne til at vise og fortælle os, hvornår de bevæger sig fra at tænke, at det er en god vej at gå til at tænke, at det er en dårlig vej at gå.
Q: Hvordan har testkommunerne anvendt algoritmer som beslutningsstøtte i sager om udsatte børn og unge?
A: Den første kommune, der begav sig i kast med at udvikle en prædiktiv algoritme, var Gladsaxe Kommune. Deres projekt lukkede ned i 2019, inden vores forskningsprojekt startede. De fik den idé, at de kunne samkøre data fra forskellige kommunale forvaltningsområder, og træne algoritmen til at opspore risici for mistrivsel i et barns liv så tidligt som muligt. De ville bruge algoritmens prædiktion om mistrivsel som anledning til at tage kontakt til familierne med et frivilligt tilbud, inden problemerne voksede sig så store, at barnet begyndte at udvikle symptomer på mistrivsel. Projektet fik massiv medieopmærksomhed og blev blandt andet heftigt kritiseret for at skabe et overvågningssamfund. Desuden var det ulovligt. Forsøget blev en slags baseline for, hvad de øvrige testkommuner ikke ville gøre i de tre andre algoritme-forsøg. De ville for eksempel ikke samkøre data, og de ville ikke risikere at prædiktionen generede beslutninger. I to kommuner testede de algoritmer, der var trænet til at genkende ord i underretninger om mistrivsel blandt børn og unge. Den ene kommune brugte prædiktionen til at sortere e-mails. Den anden kommune endte med at bruge prædiktionen til at reflektere over sagsbehandlernes beslutninger. Den sidste kommune samarbejdede med et forskningsprojekt om at udvikle en algoritme, der kan udvikle en risikoscore for barnets sandsynlighed for indbringelse – en risikoscore, der er tænkt som beslutningsstøtte i risikovurderinger af underretninger. På nuværende tidspunkt er målet, at algoritmen kun skal bruges til forskning ved at teste den i simulerede beslutningssammenhænge.
Q: Hvilke overvejelser fylder hos kommunerne i jeres forskningsprojekt, når de tager beslutninger om at benytte eller ikke benytte prædiktive algoritmer?
A: Det er meget de etiske overvejelser om, hvordan man gør det på en etisk forsvarlig måde. Men der er også mange overvejelser om en forberedelse til fremtiden. Det vil sige, at de kommuner der står i en situation, hvor der er knappe ressourcer til velfærdsarbejdet, og hvor problemerne de næste mange år ikke bliver mindre, oplever, at de bliver nødt til at komme i gang med at prøve de nye teknologier af, så de kan udvikle nogle kompetencer, få noget basisviden og sikre sig til fremtiden. Så der er altså en forestilling om, at kunstig intelligens er en del af velfærdsstatens fremtid, og derfor vil man gerne gøre sig de her erfaringer.
Q: Alle de kommuner, der har forsøgt sig med at bruge algoritmer indenfor børneområdet, er stoppet igen. Hvilke overvejelser observerer I, at der lå til grund for det?
A: Kommunerne og de advokater, der rådgiver dem, har lært en masse undervejs i forsøgene. De har blandt andet lært, at der ikke er den nødvendige lovhjemmel i mange tilfælde. Man kan selvfølgelig undre sig over, at det ikke stod klart på forhånd. Det gjorde det nok ikke, fordi det er et helt nyt og meget tværfagligt, tværsektorielt og tværvidenskabeligt felt, hvor forsøgene i høj grad har handlet om at finde ud af, hvad der var muligt mere end det har handlet om at lave den optimale løsning her og nu. De har også gjort sig mange overvejelser om det overhovedet var en god idé at starte med at eksperimentere med algoritmer med data fra samfundets nok mest sårbare gruppe. For halvandet år siden var argumentet for at vælge udsatte børn og unge, at de havde mest ensartede data – i form af underretninger – og at det var her algoritmer potentielt set ville kunne gøre størst forskel og hjælpe dem, som havde mest brug for hjælp. Nu siger de, at de hellere vil starte med små administrative problemer, uden konsekvenser for borgere, hvis det skulle vise sig at gå galt.
Q: Hvorfor er det vigtigt at dokumentere og forske i kommunernes overvejelser om brugen af algoritmer i sagsbehandlingen?
A: Vores verden med teknologi kommer til at blive helt anderledes om bare 2, 5 og 10 år, så det er vigtigt, at vi får mulighed for at dokumentere det nu og skrive nogle forskningsartikler på det, så vi kan få alt det med, der er opstået undervejs, de ting, der er sorteret fra og de beslutninger, der er truffet, og som man normalt glemmer. Vi har mulighed for at få alle rationalerne med, fordi vi går ind og dokumenterer det nu.