Door E. Meier, T. Rigter, M. P. Schijven, M. van den Hoven en M. A. R. Bak, allen werkzaam in het Amsterdam UMC en bij het onderzoeksinstituut Amsterdam Public Health (Digital Health & Personalized Medicine)

Samengevat artikel: E. Meier,  T. Rigter, M. P. Schijven,  M. van den Hoven M. A. R. Bak The impact of digital health technologies on moral responsibility: a scoping review,  Medicine, Health Care and Philosophy, 30 November 2024

Recente publicaties over digitale zorgtechnologieën benadrukken steeds vaker het belang van ‘verantwoord’ gebruik. Tegelijkertijd blijft vaak onduidelijk wat dat precies betekent: het begrip verantwoordelijkheid wordt regelmatig aangehaald zonder verdere toelichting, wat leidt tot verwarring en uiteenlopende interpretaties. Om beter te begrijpen hoe verantwoordelijkheid wordt opgevat binnen het gebruik van technologieën zoals kunstmatige intelligentie (AI), telemonitoring, wearables en gezondheidsapps, voerden de auteurs een scoping review uit. In de onderstaande samenvatting, opgesteld op verzoek van de redactie, zijn de volgende onderdelen weggelaten:

• Een toelichting op de gebruikte onderzoeksmethode;
• Verwijzingen naar wetenschappelijke bronnen;
• Een schematisch overzicht van de verschillende interpretaties van ‘verantwoord gebruik’ in de literatuur.

Hiervoor verwijzen zij naar het oorspronkelijke artikel. Hieronder volgt een samenvatting van de resultaten.

Het theoretisch kader

Verantwoordelijkheid is een veelzijdig begrip dat in verschillende disciplines gebruikt wordt. In deze studie ligt de nadruk op morele verantwoordelijkheid, die moet worden onderscheiden van juridische verantwoordelijkheid. Waar juridische verantwoordelijkheid verwijst naar plichten die wettelijk zijn vastgelegd, draait morele verantwoordelijkheid om normen en waarden die in de samenleving leven.

Een klassieke manier om morele verantwoordelijkheid te analyseren, is door het onderscheid te maken tussen prospectieve en retrospectieve verantwoordelijkheid. Prospectieve verantwoordelijkheid richt zich op de plichten en deugden van een actor met het oog op het voorkomen of beperken van toekomstige schade. Retrospectieve verantwoordelijkheid daarentegen kijkt terug naar acties en resultaten uit het verleden. Toch schiet dit onderscheid tekort wanneer we te maken hebben met meer genuanceerde en uiteenlopende opvattingen over verantwoordelijkheid. Wat bedoelen we eigenlijk precies als we zeggen dat iemand ‘verantwoordelijk’ is? Gaat het dan om causaliteit, om de verwachting van bepaald gedrag, of om aansprakelijkheid voor claims? Voor de scoping review gebruikten de auteurs daarom het theoretische kader zoals uitgewerkt in een studie van Vincent (2011), dat ruimte biedt voor de complexiteit van het verantwoordelijkheidsconcept.

Zes invullingen van het begrip Morele Verantwoordelijkheid

Vincent heeft tot doel dubbelzinnigheden over verantwoordelijkheden te verhelderen bij het bespreken van morele verantwoordelijkheid. Het raamwerk schetst zes verschillende aspecten van morele verantwoordelijkheid en beschrijft hoe ze zich tot elkaar verhouden:

1. Uitkomstverantwoordelijkheid kan worden toegeschreven aan een actor als gevolg van wat hij of zij heeft gedaan. Over het algemeen wordt de verantwoordelijkheid voor de uitkomst toegeschreven aan mensen of organisaties. Deze retrospectieve kijk op verantwoordelijkheid, richt zich op het toewijzen van schuld of lof voor een gebeurtenis en de acties die ertoe hebben geleid.
2. Causale verantwoordelijkheid houdt rekening met wie of wat een uitkomst heeft veroorzaakt of eraan heeft bijgedragen, waarbij de nadruk ligt op de specifieke actie die belangrijk was voor het tot stand brengen van de uitkomst.
3. Rolverantwoordelijkheid richt zich op specifieke taken en verplichtingen die bij de rol van een actor horen. Deze verplichtingen kunnen samenhangen met officiële taakomschrijvingen, zoals bij een beroep, maar kunnen ook betrekking hebben op informele rollen, zoals het ouderschap.
4. Capaciteitsverantwoordelijkheid verwijst naar het vermogen van een actor om te begrijpen wat er van hem of haar wordt verwacht, en om het eigen gedrag daar vervolgens op af te stemmen. Het gaat hierbij vooral om cognitieve vaardigheden die nodig zijn om iemands rol en causale bijdrage aan een bepaalde uitkomst te kunnen overzien en begrijpen.
5. Deugd-verantwoordelijkheid gaat over de karaktereigenschappen en bedoelingen van een actor. Iemand wordt als deugdzaam gezien wanneer hij/zij karaktereigenschappen en intenties heeft die in overeenstemming zijn met de normen die de samenleving hoog in het vaandel heeft staan.
6. Aansprakelijkheid  gaat over wie uiteindelijk verantwoordelijk wordt gehouden voor iets dat is gebeurd. Bovendien gaat het hier over wat een actor moet doen om  het gedrag en of de situatie te corrigeren.

Een parabel om de verbanden tussen deze zes aspecten van verantwoordelijkheid te illustreren

Volgens Vincent zijn er drie belangrijke manieren waarop de verschillende verantwoordelijkheidsaspecten met elkaar in verband staan. Deze onderlinge verbanden worden geïllustreerd in een door de auteurs opgestelde parabel. De cijfers in de parabel verwijzen naar bovenstaande zes aspecten:

Janssen, die altijd een verantwoordelijke arts is geweest (5), is verantwoordelijk voor de veiligheid van de zorgverlening aan haar patiënten (3). In haar ziekenhuis resulteerde het gebruik van een Artificial Intelligence-powered decision support system  (AI-DSS) in een fatale afloop tijdens het eerste gebruik. Terwijl de familie van de patiënt Janssen verantwoordelijk houdt voor de dood van de patiënt (1), betogen haar collega’s dat de AI-tool verantwoordelijk was voor het veroorzaken van de uitkomst (2). Ze voerden aan dat Janssen niet kon hebben geweten hoe de “black-box” achtige AI-tool zijn advies had gegenereerd, wat op dat moment geen onredelijke beslissing leek. Zij kan dus niet volledig verantwoordelijk worden gehouden voor deze medische beslissing (4). Hierdoor mag van Janssen alleen worden verwacht dat zij zich formeel verontschuldigt bij de familie van de patiënt, als verantwoordelijke arts (5). Als de AI-tool daarentegen defect blijkt te zijn, moet ofwel de ontwikkelaar of het ziekenhuis verantwoordelijk worden gehouden voor de introductie van de tool, afhankelijk van de vraag of het defect bekend had kunnen zijn bij het ziekenhuis (6).

Wat de parabel van dokter Janssen ons leert

Volgens bovenstaande theorie draagt Janssen alleen uitkomstverantwoordelijkheid als haar handelen direct heeft geleid tot het dodelijke ongeval én als zij haar professionele plichten heeft geschonden. In dit voorbeeld gaan we er echter van uit dat Janssen haar rolverantwoordelijkheden in het medisch besluitvormingsproces naar behoren heeft vervuld. De fatale uitkomst is veroorzaakt door de AI-technologie, niet door Janssen zelf. Daarom kan worden betoogd dat zij geen directe causale verantwoordelijkheid draagt.

De tweede relatie betreft de samenhang tussen causale en rolverantwoordelijkheid enerzijds, en capaciteitsverantwoordelijkheid anderzijds. Als praktiserend arts gaan we ervan uit dat Janssen cognitief bekwaam is en haar handelen kan overzien. Echter, door het ‘black-box’-karakter van de AI-tool is het voor haar niet mogelijk om te doorgronden hoe de aanbevelingen tot stand zijn gekomen. Hierdoor kan zij niet volledig capaciteitsverantwoordelijk worden gehouden.

De derde relatie betreft de invloed van de uitkomst én de deugdverantwoordelijkheid op de toerekening van aansprakelijkheid. Gezien haar beperkte uitkomstverantwoordelijkheid en haar optreden als een verantwoordelijke arts, lijkt het onterecht om Janssen aansprakelijk te stellen. Mogelijke aansprakelijkheid zou eerder kunnen liggen bij het ziekenhuis waar zij werkt – afhankelijk van de vraag of het ziekenhuis had kunnen of moeten weten (capaciteitsverantwoordelijkheid) dat de ingekochte AI-tool niet voldeed aan de geldende standaarden, dat wil zeggen, niet ‘state of the art’ was.

De onderzoeksmethode: Scoping Review

De auteurs hebben een scoping review uitgevoerd met een systematische zoekopdracht naar de impact van het gebruik van digitale gezondheidstechnologieën op morele verantwoordelijkheid, wat een relatief onderbelicht gebied is. De PRISMA-richtlijnen  (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) voor scoping reviews werden gevolgd. De auteurs hebben relevante literatuur geïdentificeerd door in vijf databases (PubMed, Web of Science, Embase, CINAHL en de Philosopher’s Index) te zoeken naar artikelen die zijn gepubliceerd tussen januari 2013 en april 2023.

Resultaten

Gebruik van gezondheidstechnologie verandert morele verantwoordelijkheden

Uit de literatuurstudie kwamen twee belangrijke bevindingen naar voren over verantwoordelijkheid in de context van het gebruik van digitale zorgtechnologieën.

De eerste observatie is dat digitale technologieën de morele verantwoordelijkheden van verschillende actoren veranderen. In de meeste geïncludeerde artikelen (n=20) werd gesignaleerd dat rolverantwoordelijkheden verschuiven tussen de actoren en dat er aanvullende verantwoordelijkheden bijkomen. Het gebruik van technologieën zoals AI, wearables en telemonitoring blijkt bestaande verantwoordelijkheden te herdefiniëren tussen (in)formele zorgverleners en patiënten.

De tweede observatie is dat morele verantwoordelijkheid in de literatuur vaak (n=15) gelijk wordt gesteld aan aansprakelijkheid, met name die van artsen en van patiënten zelf. Andere vormen van verantwoordelijkheid – zoals capaciteitsverantwoordelijkheid, causale verantwoordelijkheid en deugdverantwoordelijkheid – kwamen slechts sporadisch aan bod. Artikelen over uitkomstverantwoordelijkheid zijn niet gevonden, mogelijk omdat deze vaak impliciet wordt meegenomen onder het begrip aansprakelijkheid. Ten slotte hebben de auteurs een aanvullende interpretatie geïdentificeerd die niet voorkomt in Vincents theoretisch kader, namelijk collectieve verantwoordelijkheid.

Omdat de literatuur zich voornamelijk richt op rolverantwoordelijkheid (observatie 1) en aansprakelijkheid (observatie 2), hebben de auteurs besloten hun analyse hierop te concentreren. In de volgende paragrafen worden deze twee vormen van verantwoordelijkheid verder uitgewerkt aan de hand van de verschillende actoren die in de literatuur aan bod komen.

Nieuwe rolverantwoordelijkheden voor artsen: controle over en kennis van het AI-systeem

Bij het gebruik van digitale gezondheidstechnologieën krijgen artsen nieuwe rolverantwoordelijkheden toegewezen. In de gereviewde literatuur wordt dit met name besproken in de context van AI-technologieën, zoals AI-DSS die aanbevelingen doen over diagnoses en behandelopties op basis van patiëntgegevens.

De literatuur wijst op een verschuiving in rolverantwoordelijkheden binnen het besluitvormingsproces: van artsen naar AI-DSS-technologieën. Hierdoor dreigt een afname van medische en technische vaardigheden bij artsen, terwijl hun rol zich juist verschuift richting administratieve, adviserende en controlerende taken. Dit omvat onder andere het continu monitoren van de output van het AI-systeem. Daarnaast worden artsen die AI-DSS inzetten verantwoordelijk gemaakt worden voor het communiceren van nieuwe soorten informatie aan patiënten, zoals de kwaliteit van het AI systeem en de betrouwbaarheid of gevoeligheid van de gegenereerde uitkomsten. Deze verschuiving in rolverantwoordelijkheden is nauw verbonden met capaciteitsverantwoordelijkheid. Artsen dienen voldoende inzicht te hebben in de invoerdata en de werking van het AI-model om het op een verantwoorde manier te gebruiken. Daarmee rust op hen de nieuwe rolverantwoordelijkheid om bekwame gebruikers van medische AI-tools te zijn, ter voorkoming van mogelijke schade bij patiënten door het gebruik van zulke technologieën. Het vervullen van deze gecombineerde rol- en capaciteitsverantwoordelijkheid vraagt dan ook om gerichte opleiding en training in de technische aspecten van AI.

‘Responsibilisering’ van patiënten die meer medische taken krijgen

Het gebruik van digitale gezondheidstechnologieën heeft ook invloed op de rolverantwoordelijkheid van patiënten, vooral door hen meer verantwoordelijkheid te geven voor hun eigen gezondheidsmanagement. Met name bij het gebruik van m-health-technologieën voor telemonitoring, krijgen patiënten nieuwe taken toegewezen, zoals het verzamelen, meten, verzenden en monitoren van gezondheidsgegevens, evenals het beheren van gezondheidsrisico’s. Lucivero en Jongsma (2018) beschrijven hoe “(…) Apps en wearables (…) extra verantwoordelijkheden lijken toe te kennen aan patiënten. In feite delegeren deze apps en wearables sommige taken aan patiënten die traditioneel worden uitgevoerd door zorgprofessionals“. Andere auteurs wijzen op de uitdagingen bij het vaststellen van causale verantwoordelijkheid van patiënten omdat het vaak moeilijk is om causaliteit toe te wijzen tussen gedrag en ongunstige gevolgen voor de gezondheid.

De literatuur benadrukt dat dit ‘responsibiliseren’, oftewel meer verantwoordelijk maken van de patiënt, niet automatisch gelijkstaat aan ‘empowerment’. Sommige auteurs merken bijvoorbeeld op dat patiënten zich juist opgelucht kunnen voelen wanneer ze de rolverantwoordelijkheid voor het meten en verzenden van gegevens delen met zorgverleners.

Grotere rol bij medische besluitvorming van verpleegkundigen, informele zorgverleners en de technologie zelf

Naast artsen en patiënten wordt in de literatuur ook een verschuiving van rolverantwoordelijkheden naar verpleegkundigen, informele zorgverleners en zelfs de digitale gezondheidstechnologieën zelf beschreven. De verschuiving bij verpleegkundigen en informele zorgverleners wordt vooral gekoppeld aan medische besluitvorming in het kader van telemonitoring.

Wat betreft de digitale technologieën, vooral AI-ondersteunde systemen zoals AI-DSS, wordt een verschuiving in rolverantwoordelijkheid gezien naar de technologieën zelf. Hier gaat het om cognitieve taken in de medische besluitvorming, zoals diagnostiek en behandelingsaanbevelingen, waarvoor de technologie zelf verantwoordelijk wordt gesteld. Dit roept echter een andere vraag op: kan AI werkelijk verantwoordelijk worden gehouden voor deze nieuwe rollen? Dit is een belangrijke maar meer conceptuele vraag die verder onderzocht moet worden.

Artsen aansprakelijk voor fouten van AI?

Uit de literatuur blijkt dat artsen, vooral in de context van AI-DSS, aansprakelijk worden gehouden voor de risico’s en fouten die gepaard gaan met het gebruik van AI-tools. Deze kijk op aansprakelijkheid brengt echter twee fundamentele problemen met zich mee, namelijk rondom de voorwaarden van capaciteitsverantwoordelijkheid en uitkomstverantwoordelijkheid. Dat kan tot een kloof in verantwoordelijkheden leiden.

Het eerste probleem betreft capaciteitsverantwoordelijkheid. Artsen hebben vaak beperkt inzicht in de uitkomsten van AI-tools vanwege het ‘black-box’-karakter van deze systemen. Dit creëert een spanningsveld, omdat artsen in principe verantwoordelijk worden gehouden voor hun medische besluitvorming, terwijl het gebruik van AI hen in de praktijk belemmert om volledig te begrijpen hoe het advies van een AI-systeem tot stand komt. Dit suggereert dat artsen niet volledig capaciteitsverantwoordelijk kunnen worden gehouden, wat hun aansprakelijkheid voor door AI gegenereerde resultaten bemoeilijkt.

Het tweede probleem dat in de literatuur wordt genoemd, is het ‘probleem van de vele handen’, wat de uitdaging benadrukt van het toewijzen van verantwoordelijkheid wanneer veel actoren betrokken zijn. Dit vraagstuk speelt een opvallend grote rol binnen digitale gezondheidstechnologieën. Bij het ontwikkelen, implementeren en gebruiken van deze technologieën zijn namelijk veel verschillende actoren betrokken die allemaal op elkaar zijn aangewezen. Juist in zo’n complex samenspel duikt het zogeheten ‘probleem van de vele handen’ op. Vooral de verdeling van aansprakelijkheid tussen de AI-ontwikkelaar en de arts blijkt daarbij een belangrijk aandachtspunt.

Kortom

• De review laat zien dat digitale zorgtechnologieën zowel (in)formele zorgverleners als patiënten nieuwe en aanvullende rolverantwoordelijkheden toewijzen.
• Daarnaast blijkt uit de analyse dat verantwoordelijkheid vaak onterecht wordt gelijkgesteld met morele aansprakelijkheid voor artsen en patiënten, zonder voldoende onderbouwing.
• Deze bevindingen lijken haaks te staan op de doelstellingen van digitale gezondheidstechnologieën, zoals het verbeteren van efficiëntie, het verlagen van de werkdruk en het ‘empoweren’ van patiënten.
• De resultaten benadrukken het belang van helderheid over wie welke verantwoordelijkheden draagt, evenals de noodzaak om goed te onderbouwen waarom bepaalde verantwoordelijkheden worden toegewezen.

Over de  auteurs

Eva Meier is promovendus bij de afdeling Ethiek, Recht & Humaniora van het Amsterdam UMC, waar ze het verband onderzoekt tussen het gebruik van digitale technologieën en de impact daarvan op de morele verantwoordelijkheden van zorgverleners en patiënten. Ze heeft een bachelor Health Policy & Management en een master Health Economics behaald aan de Erasmus Universiteit Rotterdam. Met haar interdisciplinaire achtergrond werkt ze actief samen met ethici, clinici, implementatie deskundige en medische informatica-experts. Zij is bereikbaar via e.meier@amsterdamumc.nl

Tessel Rigter is onderzoeker bij de afdeling Humane Genetica van het Amsterdam UMC, met expertise op het gebied ethische, juridische en (psycho)sociale implicaties van innovatie in de genetica en ruime ervaring met beleid informerende studies. Zij promoveerde in 2014 aan de VU met een proefschrift getiteld “Translating the dynamics of genetics into healthcare practice”. Ze is programmaleider van het Personalized Medicine programma van het onderzoeksinstituut Amsterdam Public Health (APH). Zij is bereikbaar via t.rigter@amsterdamumc.nl

Marlies Schijven is hoogleraar en onderzoeker gespecialiseerd in Digital Health, met een focus op simulatie, serious gaming en mobiele toepassingen in de zorg en medische training. Marlies is opgeleid tot chirurg gespecialiseerd in gastro-intestinale laparoscopische chirurgie. In mei 2024 werd haar leerstoel omgedoopt tot ‘Chirurgie, in het bijzonder Digital Health’, een weerspiegeling van de veranderende rol van technologie in patiëntenzorg en klinische omgevingen. Onlangs heeft Marlies Schijven met een consortium van 20 Europese universiteiten en wetenschappelijke verenigingen een Horizon-subsidie binnengehaald om het ‘welzijn en de veerkracht’ van zorgprofessionals te vergroten. Zij is bereikbaar via m.p.schijven@amsterdamumc.nl

Mariëtte van den Hoven is hoogleraar bij de afdeling Ethiek, Recht & Humaniora van het Amsterdam UMC. Haar expertise in onderzoek richt zich op public health ethics, beroepsethiek, onderzoeksintegriteit en ethiekonderwijs.  Zij is bereikbaar via m.a.vandenhoven@amsterdamumc.nl

Marieke Bak is assistant professor aan de afdeling Ethiek, Recht en Humaniora van het Amsterdam UMC en tevens onderzoeker bij het Instituut voor Geschiedenis en Ethiek van de Geneeskunde aan de Technische Universiteit München. Ze is een bio-ethicus met een interesse in technologie en innovatie, maar ook in internationaal gezondheidsbeleid. Ze promoveerde in 2021 aan de Universiteit van Amsterdam, met een proefschrift over de ethiek van big data in een Europees onderzoeksproject naar plotselinge hartstilstand (ESCAPE-NET), en werkte in die tijd ook als visiting scholar bij het Oxford Internet Institute. Zij is bereikbaar via marieke.bak@amsterdamumc.nl

Zoektermen voor internet

Eva Meier. Tessel Rigter, Marlies Schijven, Mariette van den Hoven, Marieke Bak, gezondheidstechnologie, rolverantwoordelijkheid, medische besluitvorming, AI, responsibilisering, aansprakelijkheid