In de zorg kan een fout van een AI-systeem letterlijk levensgevaarlijk zijn. Dat is precies waarom de EU AI Act voor de zorgsector een van de strengste regimes heeft ingericht.
Maar de zorgsector heeft ook al te maken met de Wet kwaliteit, klachten en geschillen zorg (Wkkgz), de AVG, de MDR (Medical Device Regulation) en NEN-normen voor informatiebeveiliging. De komst van de AI Act voegt een nieuwe laag toe — maar overlapt ook sterk met wat er al geldt.
Dit artikel legt uit welke AI-toepassingen in de zorg hoog-risico zijn, hoe de AI Act samenloopt met bestaande zorgwetgeving, en wat zorgorganisaties concreet moeten regelen.
Welke AI-toepassingen in de zorg zijn hoog-risico?
Bijlage III van de EU AI Act noemt expliciet: AI-systemen die worden gebruikt in de medische context voor beslissingen die invloed hebben op de gezondheid, veiligheid of fundamentele rechten van mensen.
In de praktijk van Nederlandse zorgorganisaties zijn dit de meest voorkomende hoog-risico toepassingen.
Medische beslissingsondersteuning Systemen die artsen, verpleegkundigen of andere zorgprofessionals ondersteunen bij diagnose, behandeladvies of triagering. Denk aan AI-systemen die beeldmateriaal analyseren (radiologie-AI), systemen die klinische data combineren tot een risicoscore, of systemen die behandeladviezen genereren op basis van patiëntdata.
Monitoring en vroege waarschuwingssystemen AI die patiëntdata continu monitort en alarmen genereert. Systemen die sepsis voorspellen, valrisico inschatten of deterioratie van patiënten signaleren. Als het alarm direct leidt tot een klinische interventie, is er sprake van hoog-risico inzet.
Plannings- en allocatiesystemen AI die bepaalt welke zorg wanneer aan wie wordt verleend. Triagesystemen op de SEH, AI die wachtlijsten beheert of prioriteiten stelt in de thuiszorg vallen hieronder als ze invloed hebben op de toegang tot zorg.
AI in GGZ en welzijn Geestelijke gezondheidszorg kent specifieke risico's. AI-systemen die suïciderisico inschatten, die gespreksdata analyseren voor diagnostiek, of die behandeladviezen geven in kwetsbare situaties zijn hoog-risico per definitie.
Hoe overlapt de AI Act met de MDR?
Voor medische hulpmiddelen geldt al de Medical Device Regulation (MDR). Veel medische AI-systemen zijn CE-gecertificeerd als medisch hulpmiddel. De vraag is hoe die certificering zich verhoudt tot de AI Act.
Het antwoord is: de AI Act voegt verplichtingen toe boven op de MDR, maar sluit er ook op aan. Systemen die al CE-gecertificeerd zijn als hoog-risico medisch hulpmiddel, worden in de AI Act ook als hoog-risico beschouwd. De conformiteitsprocedures overlappen gedeeltelijk — maar de deployer-verplichtingen (menselijk toezicht, logging, AI-geletterdheid) gelden aanvullend.
Praktisch betekent dit: het feit dat een systeem MDR-gecertificeerd is, betekent niet dat je als zorginstelling voldoet aan de AI Act. De interne organisatie rondom dat systeem moet ook aan de AI Act-eisen voldoen.
Wat zijn de verplichtingen voor zorginstellingen als deployer?
Zorginstellingen zijn bijna altijd deployers: ze gebruiken AI-systemen die door anderen zijn ontwikkeld — door medtech-bedrijven, software-aanbieders of zorgketens.
Als deployer van hoog-risico AI ben je verplicht tot het volgende.
Menselijk toezicht is niet optioneel. Bij medische AI betekent dit concreet: een zorgprofessional met voldoende kennis en bevoegdheid moet altijd de mogelijkheid hebben om de AI-uitkomst te begrijpen, te betwisten en te overrulen. Dit is ook al vastgelegd in de Wkkgz als onderdeel van verantwoorde zorg.
Logboekbewaring van minimaal zes maanden. Alle relevante aanbevelingen en beslissingen van het AI-systeem moeten traceerbaar zijn. Dit sluit aan op de bestaande dossierplicht onder de WGBO, maar vereist mogelijk aanpassingen in hoe AI-uitkomsten worden vastgelegd in het patiëntendossier.
Medewerkers informeren dat ze met een hoog-risico AI-systeem werken. Zorgprofessionals die met het systeem werken moeten weten wat het doet, wat de bekende beperkingen zijn, en wanneer ze niet op het systeem moeten vertrouwen. Dit is ook een verplichting in het kader van patiëntveiligheid.
Incidenten melden. Als een hoog-risico AI-systeem een ernstig incident veroorzaakt of dreigt te veroorzaken, moet dit worden gemeld bij de leverancier én bij de toezichthouder. In de zorg overlapt dit met de meldplicht onder de Wkkgz en de IGJ.
De AI-geletterdheidsplicht in de zorg
Artikel 4 is in de zorgsector extra urgent. Zorgprofessionals die werken met AI-gestuurde diagnosetools, beslissingsondersteuning of monitoring moeten begrijpen hoe die systemen werken, welke data ze gebruiken, wat de betrouwbaarheid en foutmarge is, en wanneer ze moeten ingrijpen.
Dat is niet alleen een wettelijke verplichting — het is een patiëntveiligheidskwestie.
Een verpleegkundige die een sepsis-predictiemodel gebruikt maar niet begrijpt dat het model minder betrouwbaar is bij bepaalde patiëntgroepen, maakt mogelijk verkeerde beslissingen. Niet uit onwil, maar uit gebrek aan context. AI-geletterdheid voorkomt dat.
Bij een audit — of dat nu de AP, de IGJ of een interne audit is — wil je kunnen aantonen wie welke training heeft gevolgd, met welke inhoud, en hoe die training aansloot op de specifieke AI-systemen die de zorginstelling gebruikt.
Wat moet je nu doen?
Begin met een inventarisatie van alle AI-systemen die je organisatie gebruikt. Vraag per systeem aan de leverancier: is dit systeem aangemerkt als hoog-risico AI onder de EU AI Act? Is er een conformiteitsverklaring beschikbaar?
Controleer of je interne toezichtsstructuur voldoet. Is er een aangewezen persoon per systeem die verantwoordelijk is voor menselijk toezicht? Is dat formeel vastgelegd?
Zorg dat je medewerkers die met hoog-risico AI werken aantoonbaar getraind zijn in AI-geletterdheid, specifiek gericht op de risico's in hun functie en de tools die ze gebruiken.
Documenteer alles. Een zorginstelling die bij een audit een helder AI-register kan overleggen, met per systeem het risiconiveau, de verantwoordelijke, de trainingsbewijzen en de logboekprocedure, staat sterker dan welke juridische argumentatie dan ook.
Bekijk: AI-geletterdheid training voor zorgorganisaties
Lees ook: Wat zijn high-risk AI-systemen volgens de EU AI Act?
Lees ook: AI impact assessment: hoe begin je?
Ferry Hoes
Ferry Hoes is veelgevraagd spreker en trainer op het gebied van AI-geletterdheid. Hij staat meermaals per maand op het podium voor organisaties zoals a.s.r., VodafoneZiggo en verschillende ministeries. In 2020 won hij de Anti-Discriminatie AI-Hackathon van de Nederlandse overheid.