Door Prof.mr. Jaap Sijmons (Universiteit Utrecht).
Inleiding
Er zijn nog geen rechtszaken over toepassing van artificiële intelligentie (AI) in de zorg, maar dat is een kwestie van tijd, stellen Van Kolfschooten en Wijne in een recente publicatie over dit onderwerp.1 Op de jaarvergadering van de Vereniging voor Gezondheidsrecht was AI in de zorg onderwerp.2 Wetenschappers verkennen juridisch het terrein.3 Studenten schrijven er hun scripties over.4 Verzekeraars vragen zich misschien af of het effect heeft op de premiestellingen. Advocaten bereiden zich voor. Maar is AI werkelijk juridisch zo’n game changer in de zorg?
What’s new?
Technologische vernieuwing gaat wel vaker gepaard met onzekerheid. AI is een hulpzaak als elk ander (zo Kolfschooten & Wijne). Juridisch gezien is dat zo, maar er is hier wel degelijk een belangrijk verschil aan de orde ten opzichte van vorige ontwikkelingen. Medische technologie is tot nu toe hoofdzakelijk instrumenteel. De arts -ik neem hier kortheidshalve een typische setting, die zich in tal van variaties voor andere beroepsbeoefenaren in de zorg kan voordoen- heeft een vermoeden, gebruikt onderzoeksapparatuur van een eenvoudige stethoscoop tot een MRI-scan, oordeelt over de verkregen informatie en baseert daarop een behandeling die aan de patiënt wordt voorgesteld. Die laatste behandeling zal eveneens door technologie zijn ondersteund (van high tech operatiemiddelen tot uit de biotechnologie afkomstige geneesmiddelen). Maar…de arts kan alles enigermate beoordelen, haar/zijn oordeel blijft daarom leidend en daarvoor is de arts verantwoordelijk te houden.
De drempel die we met AI overgaan, is dat op deze onderdelen het oordeel vrijwel uit handen wordt gegeven. Dit is het zogenaamde ‘black box effect’. De AI-gestuurde onderzoeksapparatuur (van eenvoudige app tot scan) kan, na gevoed te zijn met onoverzichtelijke massa’s informatie, zelf patronen genereren en toetsen: deep (machine) learning. Dus in de onderzoekdiagnostiek of in een besluit ondersteunend algoritme worden niet heel precies de ideeën van de behandelaar getoetst, maar er worden door AI zelf gegenereerde correlaties in de data ingezet in de diagnostiek en vertaald in een uitslag en behandelopties. Dat betekent, dat het hele gedachtenproces niet meer zelfstandig door de behandelaar ter plekke kan worden gecontroleerd. AI-gestuurde diagnostiek en besluitvorming is uiteindelijk niet meer vergelijkbaar met een collegiaal consult, bij een collega die mogelijk over een scherper waarnemingsinstrument beschikt en overlegt over de bevindingen, maar eerder een advies van een buitenstaander met een geheel andere niet erkende opleiding, die over zijn gedachten niet kan communiceren en collegiaal overleggen, omdat diens vaktaal, uiteindelijk die van dataprocessing, niet die is van de arts (ondanks een gebruikersvriendelijke vertaalslag in de output). Tot op zekere hoogte was de arts altijd al afhankelijk van de kwaliteit van zijn hulpmiddelen, maar autonoom in haar/zijn oordeel. Dit laatste blijft formeel overeind, maar wordt feitelijk gedeeld met een black box technologie.
Pragmatische omgang met AI
Nu heeft AI dermate grote voordelen dat in verband met de schaarste aan mensen en middelen grootschalige inzet wel onvermijdelijk is. Is dat niet een vergelijkbare beweging als dat de apotheker ooit niet alleen verantwoordelijk was voor de te leveren geneesmiddelen, maar wist wat erin zat, omdat de apotheker ze zelf bereidde? In de loop van de 20ste eeuw nam de farmaceutische industrie de productie over. Bij ter handstelling heeft de apotheker (hopelijk) nog wel kennis van de werkzame stoffen, maar vooral van indicaties en interacties van geneesmiddelen onderling. Niet meer van de zuiverheid van de in de productie gebruikte grondstoffen bijvoorbeeld. Evenmin als de plastisch chirurg ook niet de gel in de borstimplantaten kan beoordelen (casus PIP-implantaten). De voordelen van een getoetste marktintroductie van hulpmiddelen en geneesmiddelen heeft toch eerder ook het oordeel van de medicus over de deugdelijkheid vervangen?
Toch is dat bij AI nog een slag anders, omdat het AI-middel zelflerend, in zekere zin autonoom, ten opzichte van iedereen is. Dus niet alleen situationeel maar meer algemeen niet controleerbaar? Inderdaad, doorgaans niet meer in de zin van beredenerend te toetsen aan dezelfde data. Maar dat staat niet in de weg aan een toetsing aan het eigen professionele oordeel. Dat zal en moet ook blijven, willen we de professional verantwoordelijk houden voor diens zorgverlening. Maar het valt tevoren wel uit te tekenen. Des te beter de AI, des te onzekerder het eigen oordeel, des te meer krimpt het territorium van de professionele autonomie. Om dit terrein terug te veroveren zal de professional waarschijnlijk weer AI-tools moeten inzetten.
Een andere oplossing is de AI-producten helemaal niet te beschouwen als vormen van concurrerende professionele kennis, maar slechts als (experimenteel) therapeutisch middel. Het effect van de behandeling met AI-product is controleerbaar door de vergelijking met de behandeling zonder AI, zoals dat bij geneesmiddelen ook plaatsvindt. Een AI-systeem hoeft niet door de zorgprofessional begrepen te worden, als er een experimentele toetsing op de werkzaamheid en veiligheid heeft plaatsgevonden. Het al dan niet inzetten van een AI-middel blijft als voorheen dan de eigenlijke professionele verantwoordelijkheid. Dat situationeel de black box niet kan worden geopend, hindert niet als de werkzaamheid en veiligheid van de toepassing ex ante bij de toelating tot de markt experimenteel is getoetst. Dat is de strekking van regelgeving op medische hulpmiddelen, en de AI-producten in de zorg vallen daar gewoon onder.
Bovendien heeft de individuele professional nog een ander middel om niet overgeleverd te zijn aan een AI-toepassing. Namelijk door de inzet van een concurrerend AI-systeem. ‘Eén getuige, is geen getuige’ is een regel in het strafrecht. De rechter kan een getuigenverklaring wel op waarschijnlijkheid inschatten, maar meestal vaak niet één op één op waarheid (als er geen gelijkwaardig bewijs is namelijk). Het enige wat dan helpt is een andere getuige (of meerdere natuurlijk), waarvan de verklaring overeenstemt met de eerdere. Ook al weet de rechter op zich ook niet meer, door de ‘match’ van beide verklaringen neemt hun afzonderlijke betrouwbaarheid toe. Bij twijfel aan de AI-uitkomst, haal een second opinion bij een concurrerend systeem.
Do’s and don’ts
AI is nuttig. Het mag de professional dan soms aftroeven in diens beoordelingsvermogen, verstandige omgang met AI is op zich een professionele aangelegenheid, waar de beroepsbeoefenaar het terreinverlies aan inzicht kan goedmaken door inzicht in de al dan niet bewezen effectiviteit van het mogelijk in te zetten AI-instrumentarium. Dat daar meerdere opties en dus professionele keuzes gemaakt kunnen worden lijkt mij van wezenlijk belang. Wij moeten vooral waken voor monopolie van producenten en van toegepaste systemen. Voorkom BIG-AI als in de BIG Pharma, die ongewenste afhankelijkheden creëert. Dan leert de praktijk vervolgens wel of we de gok met AI kunnen wagen. In dat opzicht is AI dus ook weer niet zo heel erg bijzonder.
Zoektermen op internet:
Jaap Sijmons, digitalisering, AI, beoordeling, black box effect, technologische vernieuwing
——————————————————————
1 H. van Kolfschooten & R. Wijne, ‘Diagnosticeren met AI en de aansprakelijkheid van hulpverleners’, Nederlands Juristenblad 2024, p. 1760-1773.
2 J. Nijssen, Verslag jaarvergadering Vereniging voor Gezondheidsrecht 2024, Tijdschrift voor Gezondheidsrecht 2024, p. 539-547.
3 Verder o.a. T.J. de Graaf, Buitencontractuele aansprakelijkheid van producenten van AI-systemen, Nederlands Tijdschrift voor Burgerlijk Recht 2023-9, p. 388-398. R. Jessen, ‘Op het snijvlak van technologie, zorg en recht: aansprakelijkheid van het ziekenhuis bij gebruik van besluitvormingsalgoritmen’, Tijdschrift voor Gezondheidsrecht 2024, p. 33-43.
4 Op basis van diens scriptie: J. van Staalduinen, ‘Medische aansprakelijkheid en AI. Welke wegen leiden naar Rome? Overzicht, analyse en vraagstukken’, Nederlands Juristenblad 2022, p. 2573-2580
