Inhoud
3.4 Juridische
aandachtspunten
3.3 Organisatorische bedding
3.2 Welke bestuurlijke vragen roept dit alles op?
3.1 Benadering op hoofdlijnen
3. Wat betekent AI voor zorgorganisaties?
3.4 Juridische aandachtspunten
Handreiking voor bestuurders
Onacceptabel risico: dit zijn AI-systemen die een ernstige bedreiging vormen voor de veiligheid, gezondheid of de basisrechten van mensen, zoals systemen die sociale kredietscores toekennen. Deze systemen zijn verboden.
Hoog risico: AI-systemen die een groot risico vormen voor de veiligheid, gezondheid of de fundamentele rechten van mensen, denk aan biometrische identificatiesystemen. Voor deze systemen gelden strenge regels.
Beperkt risico: AI-systemen die een beperkt risico vormen, zoals chatbots. Deze moeten voldoen aan transparantie-eisen en duidelijke informatie geven.
Laag risico: AI-systemen die nauwelijks risico met zich meebrengen, zoals spamfilters. Op deze systemen zijn de regels uit de wet niet van toepassing.
Naast de inhoudelijke en organisatorische kant van AI is het tot slot ook goed om aandacht te besteden aan de juridische en veiligheidsaspecten van AI. Een helder aanknopingspunt daarvoor is de Europese AI Act. Deze wet onderscheidt vier risicogroepen.
AI-systemen worden door de Europese AI Act in vier risicogroepen ingedeeld:
Juridische aandachtspunten
Hoog risico in de primaire processen
Voor bestuurders is het vooral van belang dat veel AI-oplossingen voor de zorg, zoals systemen voor diagnose, triage, behandelkeuzes, alarmen of het verdelen van capaciteit, waarschijnlijk als ‘hoog risico’ worden gezien. ‘Hoog risico’ betekent dat je moet kunnen aantonen dat je risico’s goed beheert, dat alles transparant en goed te volgen is, dat mensen altijd kunnen ingrijpen, en dat de systemen veilig en stevig zijn.
Provider of deployer?
Verder is het voor de bestuurder goed om te weten dat de Europese AI Act onderscheid maakt tussen de aanbieder (provider) en de gebruiker of organisatie die AI inzet (deployer). Meestal is een zorgorganisatie een deployer: de zorgorganisatie gebruikt een AI-systeem van een leverancier in de eigen processen. De organisatie wordt (mede) provider als deze AI onder eigen naam aanbiedt, of als deze een systeem flink aanpast. Leg dus in contracten, projectplannen en keuzes voor architectuur vast welke rol je als organisatie hebt en wie waarvoor verantwoordelijk is.
Kwaliteit bewaken
Sinds 2 februari 2025 moeten organisaties die AI maken of gebruiken ervoor zorgen dat medewerkers genoeg van AI weten. Zie dit als een manier om de kwaliteit te bewaken: geef trainingen die passen bij iemands rol (zorgmedewerkers, staf, IT/security, inkoop), houd bij wie meedoet en herhaal de trainingen regelmatig. Het gaat niet om technische details, maar om veilig en verantwoord werken: weten wat AI wel en niet kan, goed interpreteren en weten wanneer je hulp moet inschakelen.
Nieuwe risico’s door AI
AI maakt daarnaast bestaande cyberrisico’s groter (zoals ransomware en datalekken) en brengt ook nieuwe risico’s met zich mee. Daarnaast worden de eisen voor cyberveiligheid strenger door NIS2 en de Nederlandse Cyberbeveiligingswet (Cbw). Voor veel zorgorganisaties betekent dit dat het risicobeheer, de reactie op incidenten en de omgang met leveranciers nog belangrijker en complexer worden. Overigens gelden onder NIS2/Cbw strakke termijnen voor melding van significante incidenten (vroege waarschuwing binnen 24 uur, vervolgmelding binnen 72 uur, en een eindrapportage binnen een maand). Dit alles vraagt om een bestuurlijk geoefende crisisorganisatie: ofwel 24/7 triage, duidelijke escalatielijnen, en vooraf afgestemde rollen voor de juridische afdeling, communicatie en zorgcontinuïteit.
Digitaal onafhankelijker worden
Het is evident dat er belangrijke juridische en veiligheidstechnische punten zijn die je als organisatie moet herkennen en onderzoeken. Zeker nu oude zekerheden niet meer vanzelfsprekend zijn en het misbruik van data en informatie over landsgrenzen heen door grote mogendheden geen theoretisch, maar een reëel gevaar is. Daarom neemt en stimuleert de Europese Unie verschillende initiatieven om digitaal onafhankelijker te worden. Een goed voorbeeld hiervan is de miljardeninvestering van Amazon om met Amazon Web Services een soevereine cloudomgeving in Duitsland en Nederland op te zetten, volledig gescheiden van de wereldwijde infrastructuur.
We zitten op een heleboel vlakken – of het nou defensie is of de zorg – in een soort tussenfase, waar we uiteindelijk toe moeten naar Europese systemen. Daar zijn wel voorbeelden van; je ziet dat bijvoorbeeld opensourcesystemen van large language modellen langzaam opkomen. Dus ik denk niet dat dit een onoverkomelijk probleem is. Maar het zal zeker tien jaar duren voordat we daar zijn. Ik denk dat we in deze tussenfase niet anders kunnen dan Amerikaanse systemen gebruiken en proberen de risico’s zo goed mogelijk af te dekken.
Prof. Dr. Eric Postma
“We zitten in een tussenfase van afhankelijkheid”
Vorige hoofdstuk
Volgende hoofdstuk
Inhoud
Handreiking voor bestuurders
3.4 Juridische aandachtspunten
Onacceptabel risico: dit zijn AI-systemen die een ernstige bedreiging vormen voor de veiligheid, gezondheid of de basisrechten van mensen, zoals systemen die sociale kredietscores toekennen. Deze systemen zijn verboden.
Hoog risico: AI-systemen die een groot risico vormen voor de veiligheid, gezondheid of de fundamentele rechten van mensen, denk aan biometrische identificatiesystemen. Voor deze systemen gelden strenge regels.
Beperkt risico: AI-systemen die een beperkt risico vormen, zoals chatbots. Deze moeten voldoen aan transparantie-eisen en duidelijke informatie geven.
Laag risico: AI-systemen die nauwelijks risico met zich meebrengen, zoals spamfilters. Op deze systemen zijn de regels uit de wet niet van toepassing.
Naast de inhoudelijke en organisatorische kant van AI is het tot slot ook goed om aandacht te besteden aan de juridische en veiligheidsaspecten van AI. Een helder aanknopingspunt daarvoor is de Europese AI Act. Deze wet onderscheidt vier risicogroepen.
AI-systemen worden door de Europese AI Act in vier risicogroepen ingedeeld:
Juridische aandachtspunten
Hoog risico in de primaire processen
Voor bestuurders is het vooral van belang dat veel AI-oplossingen voor de zorg, zoals systemen voor diagnose, triage, behandelkeuzes, alarmen of het verdelen van capaciteit, waarschijnlijk als ‘hoog risico’ worden gezien. ‘Hoog risico’ betekent dat je moet kunnen aantonen dat je risico’s goed beheert, dat alles transparant en goed te volgen is, dat mensen altijd kunnen ingrijpen, en dat de systemen veilig en stevig zijn.
Provider of deployer?
Verder is het voor de bestuurder goed om te weten dat de Europese AI Act onderscheid maakt tussen de aanbieder (provider) en de gebruiker of organisatie die AI inzet (deployer). Meestal is een zorgorganisatie een deployer: de zorgorganisatie gebruikt een AI-systeem van een leverancier in de eigen processen. De organisatie wordt (mede) provider als deze AI onder eigen naam aanbiedt, of als deze een systeem flink aanpast. Leg dus in contracten, projectplannen en keuzes voor architectuur vast welke rol je als organisatie hebt en wie waarvoor verantwoordelijk is.
Kwaliteit bewaken
Sinds 2 februari 2025 moeten organisaties die AI maken of gebruiken ervoor zorgen dat medewerkers genoeg van AI weten. Zie dit als een manier om de kwaliteit te bewaken: geef trainingen die passen bij iemands rol (zorgmedewerkers, staf, IT/security, inkoop), houd bij wie meedoet en herhaal de trainingen regelmatig. Het gaat niet om technische details, maar om veilig en verantwoord werken: weten wat AI wel en niet kan, goed interpreteren en weten wanneer je hulp moet inschakelen.
Nieuwe risico’s door AI
AI maakt daarnaast bestaande cyberrisico’s groter (zoals ransomware en datalekken) en brengt ook nieuwe risico’s met zich mee. Daarnaast worden de eisen voor cyberveiligheid strenger door NIS2 en de Nederlandse Cyberbeveiligingswet (Cbw). Voor veel zorgorganisaties betekent dit dat het risicobeheer, de reactie op incidenten en de omgang met leveranciers nog belangrijker en complexer worden. Overigens gelden onder NIS2/Cbw strakke termijnen voor melding van significante incidenten (vroege waarschuwing binnen 24 uur, vervolgmelding binnen 72 uur, en een eindrapportage binnen een maand). Dit alles vraagt om een bestuurlijk geoefende crisisorganisatie: ofwel 24/7 triage, duidelijke escalatielijnen, en vooraf afgestemde rollen voor de juridische afdeling, communicatie en zorgcontinuïteit.
Digitaal onafhankelijker worden
Het is evident dat er belangrijke juridische en veiligheidstechnische punten zijn die je als organisatie moet herkennen en onderzoeken. Zeker nu oude zekerheden niet meer vanzelfsprekend zijn en het misbruik van data en informatie over landsgrenzen heen door grote mogendheden geen theoretisch, maar een reëel gevaar is. Daarom neemt en stimuleert de Europese Unie verschillende initiatieven om digitaal onafhankelijker te worden. Een goed voorbeeld hiervan is de miljardeninvestering van Amazon om met Amazon Web Services een soevereine cloudomgeving in Duitsland en Nederland op te zetten, volledig gescheiden van de wereldwijde infrastructuur.
We zitten op een heleboel vlakken – of het nou defensie is of de zorg – in een soort tussenfase, waar we uiteindelijk toe moeten naar Europese systemen. Daar zijn wel voorbeelden van; je ziet dat bijvoorbeeld opensourcesystemen van large language modellen langzaam opkomen. Dus ik denk niet dat dit een onoverkomelijk probleem is. Maar het zal zeker tien jaar duren voordat we daar zijn. Ik denk dat we in deze tussenfase niet anders kunnen dan Amerikaanse systemen gebruiken en proberen de risico’s zo goed mogelijk af te dekken.
Prof. Dr. Eric Postma
“We zitten in een tussenfase van afhankelijkheid”
Vorige hoofdstuk
Volgende hoofdstuk