AMK-vagtcentralen i Region Nordjylland har brugt kunstig intelligens til at lytte med på 112-opkald for at understøtte detektion af potentielle hjertestop (se faktaboks). I denne kronik dykker vi ned i organisatoriske og ledelsesmæssige aspekter af brug af kunstig intelligens med udgangspunkt i et forskningsprojekt om dette.
Vores studie viser, at kunstig intelligens ikke er en plug-and-play-løsning, og at tillid til teknologien og dens performance er afgørende for, hvordan den tages i brug. Den samme teknologi kan anvendes og tilgås på varierende måder i praksis og skal ofte integreres i et arbejde, der er gensidigt afhængigt af andre aktører på tværs af sundhedsvæsenet. Det gør brugen og effekterne af kunstig intelligens mere uforudsigelig og vidt forskellig fra eksperimentelle set-ups.
Implementering af kunstig intelligens kræver derfor et stort ledelsesmæssigt fokus i forhold til tilpasning og teknisk og organisatorisk integration, og som vores studie viser, nysgerrighed på, hvilken form for kollegarolle, den kunstige intelligens indtager og tildeles af de sundhedsprofessionelle.
Kunstig intelligens i 112-opkald til hjertestop i Den Præhospitale Virksomhed
Siden 2021 har AMK-vagtcentralen i Den Præhospitale Virksomhed, Region Nordjylland, brugt kunstig intelligens til at understøtte de sundhedsfaglige visitatorer i at detektere hjertestop, når der ringes 1-1-2.
De sundhedsfaglige visitatorer i AMK-vagtcentralen har en sygeplejefaglig baggrund, dog har enkelte en ambulancefaglig baggrund. Algoritmen bag den kunstige intelligens er udviklet i et forskningsprojekt i Region Hovedstaden [6].I 2021-2022 gennemførte Ninna Meier og Kasper Trolle Elmholdt fra Aalborg Universitet et forskningsprojekt i AMK-vagtcentralen i Den Præhospitale Virksomhed, Region Nordjylland. Forskningsprojektet hedder ‘Kunstig intelligens i 1-1-2 opkald – professionelle beslutninger i samspil med teknologi’ og er finansieret af Helsefonden. Formålet med projektet var at undersøge, hvordan sundhedsfaglige visitatorer tager beslutninger i samspil med kunstig intelligens i forbindelse med hjertestop.
Black box performance
Det er velkendt, at implementering af ny teknologi i sundhedsvæsenet kan forandre arbejdspraksis og fordeling af roller og opgaver, men også at teknologier sjældent ibrugtages helt som intenderet. Det er også blevet påpeget, at kunstig intelligens vil udfordre normer, roller og (fag)identiteter på nye måder og kan have mere vidtrækkende konsekvenser end andre former for teknologi.
En af årsagerne er, at kunstig intelligens laver ’professionelt arbejde’, men samtidigt er karakteriseret ved black box performance, der gør det svært at forstå og forklare, hvordan teknologien kommer frem til de resultater, som den gør [1,2].
Forskning i kunstig intelligens i praksis portrætterer disse teknologier som havende forskellige roller. Vi vil her fremhæve tre roller: kunstig intelligens som 1) konkurrent, 2) kontrollant eller 3) kollega.
Kunstig intelligens er dels udpeget som en menneskelig overlegen og potentiel erstatning for menneskelige professionelle i bestemte opgaver (se f.eks. [3]). Her fremstilles kunstig intelligens som en potentiel konkurrent, hvor medarbejdere må opkvalificeres eller omskoles for at følge med udviklingen.
Et andet perspektiv på kunstig intelligens forstår teknologierne i en rolle som kontrollant. Her bliver kunstig intelligens fremhævet som en del af en kontrolrevolution [4], hvor medarbejdere og arbejdsprocesser kan overvåges, styres og kontrolleres på mikroniveau, men på distancen.
Et tredje perspektiv, som vi her vil fremhæve, er en forståelse af kunstig intelligens som en kollega. Denne forståelse er allerede synlig i en del af den nuværende forskning, eksempelvis er en kentauer (halvt menneske og halvt hest) nogle gange blevet brugt som metafor for kunstig intelligens i professionelle sammenhænge.
Som en kollega skal teknologien augmentere – det vil sige understøtte – beslutninger som træffes med et human in the loop. Helt kort kan det forstås som en kobling mellem humane eksperter og maskiner, hvor »maskinens outputs bliver brugt til at udfordre mennesker, og menneskers inputs til at udfordre maskinen« [5, s. 202, vores oversættelse]. Vi mener at kollega-metaforen er brugbar til at forstå kompleksiteten, når kunstig intelligens skal bruges i praksis, da den kan rumme, at en kollega kan være mange ting – god, dårlig, konkurrerende mm.
Kort sagt, alt efter hvilken rolle kunstig intelligens får, vil effekterne heraf også variere.
Kunstig intelligens kan få mange roller i brug
I forskningsprojektet brugte vi en organisations-etnografisk tilgang, som omfattede observationer, interview og dokumentanalyse for at forstå, hvordan teknologien anvendes i praksis og med blik for den organisatoriske kontekst.
Sundhedsfaglige beslutninger om respons, f.eks. i en vagtcentral, tages i en særlig kontekst, som former arbejdet med og brugen af teknologi. Her må den sundhedsfaglige visitator, som bemander telefonen, hurtigt og præcist vurdere 1) hvad sker der i situationen hos indringer 2) hvad ‘problemet’ er og 3) hvilke handlinger der skal sættes i gang nu og med henblik på respons.
Disse tre elementer vurderes løbende i samtalen og i denne dynamiske beslutningsproces bruger visitator deres faglig viden og erfaring, deres kompetencer i et komplekst teknisk set-up, samt deres relationelle evner både for at få den information, der er nødvendig for beslutningen om respons, og samtidig yde hjælp og støtte til indringer.
Vi fokuserede på de praksisser, hvormed beslutninger om respons blev taget, samt hvilke roller kunstig intelligens fik i beslutningsprocessen. I alt identificerede vi nedenstående seks kollega-roller, som kunstig intelligens fik i praksis, og som får afgørende betydning for dens effekter i praksis.
Irriterende, dum og bedrevidende
Den (1) første rolle vi observerede var ‘Den irriterende’: I denne rolle viste teknologien sig at være forstyrrende, idet den indikerede hjertestop, hvor der faktisk ikke var noget hjertestop. Et eksempel herpå var, når teknologien unødigt markerede alarm under en sygetransport, hvor der blev spurgt til genoplivning, hvilket skabte forvirring og forstyrrelse for visitator.
(2) ’Den dumme’: Her manglede den kunstige intelligens forståelse for konteksten. Vi observerede situationer, hvor teknologien ikke reagerede på hjertestop, især når den person, der ringede ind, talte dårligt dansk. Et andet eksempel var et begyndende hjertestop i et udkantsområde i regionen. Visitatoren vidste, at indringere fra netop dette område udtrykte symptomer på underspillede måder og derfor var udtryk for bekymring ofte et udtryk for noget alvorligt. Det fangede teknologien ikke, da den manglede indsigt i lokale og kulturelle forhold samt forståelse for nuancer i kommunikationen.
(3) ‘Den bedrevidende’: I denne rolle markerede teknologien hjertestop, selvom visitator allerede havde identificeret det, men endnu ikke havde formuleret en responsplan. I sådanne tilfælde fungerede teknologien som en bedrevidende kollega, hvilket ikke altid blev opfattet som hjælpsomt. Den bedrevidende rolle kunne i enkelte tilfælde føre til, at visitatorerne beskrev at de konkurrerede med den kunstige intelligens for at se, hvem der først fik markeret hjertestop.
Støttende, overset og backup
(4) ‘Den støttende’: Denne rolle var mere understøttende i beslutningsprocessen, da visitatorerne oplevede at teknologien bekræftede deres egen detektering af hjertestop og derfor hjalp beslutningen om respons. For nogle visitatorer blev teknologiens tilstedeværelse på skærmen også betragtet som et opmærksomhedsskabende nudge – en anledning til kontinuerligt at reflektere over, om der var hjertestop eller det kunne være undervejs.
(5) ‘Den oversete’: I nogle tilfælde blev teknologiens input imidlertid slet ikke bemærket eller anerkendt af visitatorerne, hvilket resulterede i, at dens bidrag blev ignoreret eller overset. Denne dynamik observerede vi også blandt enkelte visitatorer, som ikke vurderede at teknologien var hjælpsom eller nødvendig, og at de selv kunne klare detekteringen af hjertestop. Enkelte visitatorer udtrykte, at teknologien ikke var i stand til at levere som forventet, og derfor brugte de den sjældent.
Endelig observerede vi (6) ‘Back-uppen’: Denne rolle var gennemgående og afspejlede, at visitatorerne opfattede teknologien som en vigtig omend latent ressource. Selvom kunstig intelligens måske ikke bidrog aktivt i alle situationer, blev den betragtet som en sikkerhedsforanstaltning – en form for ‘sikkerhedssele’, som man håber aldrig at skulle bruge.
Disse roller viser mangfoldigheden i, hvordan kunstig intelligens kan interagere med og blive opfattet af sundhedsfagligt personale i højtrykssituationer som alarmopkald. På tværs af de forskellige roller fik kunstig intelligens aktørstatus som en form for ikke-menneskelig kollega, der havde en funktion – hvad enten denne var ligegyldig, irriterende eller en sikkerhedssele.
Vores studie illustrerer på den måde, at kunstig intelligens kan tages i brug på mange forskellige måder, både når teknologien er en aktiv del af beslutningsprocessen, og når den kører i baggrunden. Hvor den eksisterende forskning ofte anskuer kunstig intelligens som en konkurrent eller kontrollant, så finder vi, at teknologien i praksis indtager forskellige kollega-roller, der spænder fra potentielt forstyrrende til bekræftende eller som back-up – som en teknologi, der er god at have i baghånden.
Pålidelighed og tillid?
I vores studie finder vi desuden resultater, som også ses i den internationale forskning, nemlig at tillid til kunstig intelligens og dens performance er vigtig for, hvordan teknologien bliver brugt i praksis og derfor hvilke mulige organisatoriske effekter, den kan have på sigt.
I vores studie så vi eksempler på, hvordan visitatorerne vurderede pålideligheden af teknologien ved at teste, hvor god teknologien var til at opdage hjertestop. Dette kan ses som en måde, hvorpå visitatorer forsøger at bygge tillid til teknologien.
Tilliden til teknologien har betydning for den rolle, som teknologien kan indtage. Særligt interessant er her, at når tilliden manglede til teknologien, observerede vi, at den kunstige intelligens oftere antog en overset rolle. At manglende tillid kan medføre, at teknologien bliver den oversete kollega, hvis input ignoreres, betyder at teknologiens effekt i praksis vil være betinget af en sådan tillid.
Ledelse, afstemning og relationer
Vores studie viser, at implementering af kunstig intelligens kræver et stort ledelsesmæssigt fokus i forhold til tilpasning og teknisk og organisatorisk integration, og opmærksomhed på hvilken form for kollega-roll, den kunstige intelligens indtager og tildeles af de sundhedsprofessionelle.
Det peger på en pointe, som er velkendt i implementeringsforskningen: At den måde som ny teknologi introduceres og implementeres på, kræver en tydelig rammesætning og forventningsafstemning fra ledelsens side. Selvom vi ikke har fokuseret indgående på det i denne artikel, kræver implementeringen af kunstig intelligens integration af såvel organisationers interne som eksterne systemer. Hertil kommer at både national og international regulering af brug af kunstig intelligens undergår en løbende udvikling, som kan udfordre rammesætningen og forventningsafstemningen yderligere.
Vores væsentligste pointe er, at kunstig intelligens har potentiale til at støtte sundhedsvæsenet, men kunstig intelligens ikke én homogen ting, da samme teknologi kan anvendes og tilgås med vidt forskellige effekter, hvilket gør brugen af kunstig intelligens i praksis væsentlig forskellig fra brugen heraf i eksperimentelle set-ups. Derfor bør forventningerne afstemmes med de organisatoriske og arbejdsmæssige forhold, hvor teknologien skal virke.
Arbejdet i sundhedsvæsenet er ofte gensidigt afhængigt på tværs af sektorer, organisationer og faggrupper, hvilket betyder, at implementering af nye teknologiske løsninger ét sted kan give anledning til udfordringer et andet sted i systemet.
Dertil kommer, at jo mere kompleks den informationsteknologiske infrastruktur i sundhedsvæsenet bliver, jo sværere kan det være at forudsige omfanget og konsekvenserne af implementeringen af kunstig intelligens.
Sidst, men ikke mindst, så kræver implementeringsprocesser både grundig planlægning og løbende justering og tilpasning i organisationen. En opgave, som kræver vedholdenhed og opbygning/vedligeholdelse af gode relationer blandt de involverede parter. Denne sidste del er både tidskrævende og ofte overset – selvom den er afgørende for at komme i gang med at bruge teknologien i praksis.
LITTERATUR
[1] Faraj, S., Pachidi, S., & Sayegh, K. (2018). Working and organizing in the age of the learning algorithm. Information and Organization, 28(1), 62-70.
[2] Elmholdt, K. T., Elmholdt, C., & Haahr, L. (2021). Counting sleep: Ambiguity, aspirational control and the politics of digital self-tracking at work. Organization, 28(1), 164-185.
[3] McAfee, A., & Brynjolfsson, E. (2012). Big data: the management revolution. Harvard business review, 90(10), 60-68.
[4] Kellogg, K. C., Valentine, M. A., & Christin, A. (2020). Algorithms at work: The new contested terrain of control. Academy of Management Annals, 14(1), 366-410.
[5] Raisch, S., & Krakowski, S. (2021). Artificial intelligence and management: The automation–augmentation paradox. Academy of management review, 46(1), 192-210.
[6] Blomberg SN, Christensen HC, Lippert F, et al. Effect of Machine Learning on Dispatcher Recognition of Out-of-Hospital Cardiac Arrest During Calls to Emergency Medical Services: A Randomized Clinical Trial. JAMA Netw Open. 2021;4(1):e2032320. doi:10.1001/jamanetworkopen.2020.32320
