Toezicht op kunstmatige intelligentie: menselijke factor blijft van groot belang

Nieuwe technologie

Kunstmatige intelligentie lijkt ongrijpbaar, maar raakt desondanks steeds meer verweven in het primaire proces van organisaties. Daarmee komt er geleidelijk ook meer aandacht voor de risico’s die de toepassing van kunstmatige intelligentie in het bedrijfsleven met zich meebrengt. Ruben van der Wouden, Manager IT Risk Assurance bij BDO, over de vraag: Hoe blijf je in control in een speelveld waarin algoritmes vraagstukken op het gebied van ethiek, privacy en betrouwbare besluitvorming oproepen en wat is de rol van de commissaris daarbij?

Ruben van der Wouden heeft jarenlange ervaring met het uitvoeren van audits en assurance-onderzoeken bij financiële instellingen zoals banken en verzekeraars. Tijdens zijn werkzaamheden als Manager IT Risk Assurance bij BDO komt hij vaak in aanraking met het thema kunstmatige intelligentie. In dit artikel vertelt hij wat dit precies is, welke risico’s erbij komen kijken en waarom het voor een commissaris belangrijk is om inzicht te hebben in de mogelijkheden voor en gevolgen van dit onderwerp op een organisatie.

Kunstmatige intelligentie versus algoritmes: de terminologie

Wat wordt precies verstaan onder kunstmatige intelligentie? Een vaak gemaakte fout is volgens Van der Wouden om dit als synoniem voor algoritmen te beschouwen: “Een algoritme is in de basis een set met vooraf gedefinieerde stappen die zo zijn geschreven dat ze instructies en informatie kunnen verwerken om een bepaalde output te produceren. Kunstmatige intelligentie is van een hoger abstractieniveau en meer een overkoepelend systeem.”

In dit verband wordt de definitie van de wiskundige Alan Turing vaak gehanteerd. “Hij zei dat een systeem moet voldoen aan een aantal aspecten om als intelligent gezien te worden. Hieronder valt onder andere het automatisch kunnen redeneren en het lerend vermogen op basis van in- en output. Een algoritme is hier eigenlijk een onderdeel van: een set instructies die door het intelligente systeem aangepast kan worden om tot het automatisch redeneren te komen en uiteindelijk hetzelfde te handelen als de mens.”

Algoritmes an sich zijn niet nieuw, maar door de moderne technologie wel in een stroomversnelling gekomen. “De aanjagers zoals rekenkracht van computers en de hoeveelheid beschikbare data zijn flink toegenomen. Een algoritme doet een bepaalde voorspelling en daarvoor heb je een uitgangspunt nodig in de vorm van rekenkracht en (veel) data. Nu dit toegankelijker is dan voorheen, zie ik organisaties ook steeds meer gebruikmaken van algoritmes, met als belangrijkste doelstelling om processen functioneel handiger of efficiënter in te richten”, aldus Van der Wouden.

Omgaan met algoritmes blijft mensenwerk

Wat betekent de toename van het gebruik van algoritmes voor organisaties? Van der Wouden: “Ik denk dat veel organisaties nog te weinig weten over dit thema. Welke algoritmes draaien er in de eigen processen en wat voor risico’s brengen die met zich mee? Wat is de impact van die risico’s? Welke governance hebben we daarop ingericht? Dat soort vragen zijn essentieel. In de politiek en door financiële toezichthouders worden nu ook vragen gesteld over het toezicht op algoritmes in organisaties.”

Hoe breng je als organisatie het algoritmegebruik nu goed in kaart? “Het is belangrijk om heel goed te kijken naar de bedrijfsprocessen”, zo vertelt Van der Wouden. “Inventariseer waar algoritmes ingezet worden, wat ze precies doen en welke risico’s hieraan vastzitten. Zijn er technische risico’s aan verbonden? Zijn de data die gebruikt worden wel nauwkeurig? Zijn de juiste manieren van onderhoud gebruikt? Een algoritme train je met een dataset zodat het in staat is om op basis van nieuwe input een juiste voorspelling te doen. Maar zijn die (trainings)data dan wel juist? Hoe komt besluitvorming tot stand? Dat is complexe materie, organisaties lopen hier nu tegenaan.”

Technische risico’s zijn al lastig, dat geldt ook voor vraagstukken op het gebied van ethiek en privacy. De vraag is dan ook of de mens zomaar vervangen kan worden door de techniek. Nee, vindt Van der Wouden, mensenwerk blijft nodig. “De taak van een algoritme is meestal het automatiseren van een complexe handeling die voorheen door mensen werd gedaan. Algoritmes zijn heel rationeel en dwingen daardoor discipline en controle af. Bij het inzetten van algoritmes bij bepaalde besluitvorming is het de vraag of de totstandkoming van uitkomsten voor een organisatie nog inzichtelijk zijn. Hoe leg je uit dat je tot een bepaald resultaat bent gekomen? Maar ook vragen als vindt er geen discriminatie plaats en worden er geen privégegevens gedeeld zijn hierbij relevant. Vanuit de AVG (Algemene verordening gegevensbescherming) mag niet zomaar digitale besluitvorming plaatsvinden zonder menselijke betrokkenheid in het proces. Er zal dus bij besluitvorming menselijke tussenkomst moeten zijn.”

Principes voor verantwoord gebruik van kunstmatige intelligentie

Aan de hand van een praktijkvoorbeeld blijkt hoe belangrijk die menselijke tussenkomst en inzicht in de totstandkoming van uitkomsten is. Van der Wouden: “Recentelijk heeft de rechtbank uitspraak gedaan over het algoritme SyRI waarin het risico op fraude geautomatiseerd werd ingeschat, maar de wijze waarop niet transparant en controleerbaar was en daardoor in strijd met de rechten van de mens.”

Het zijn dit soort voorbeelden waardoor er steeds meer aandacht is voor kunstmatige intelligentie. De EU publiceerde onlangs een whitepaper en DNB kwam met een discussiestuk voor verantwoord gebruik van kunstmatige intelligentie in de financiële sector. In deze publicatie is aandacht voor een aantal principes rondom dit gebruik zoals: robuustheid, verantwoordelijkheid, rechtvaardigheid, ethiek, deskundigheid en transparantie. “Deze principes zijn in algemene zin goed om over na te denken als organisatie, mede ook omdat dit de verwachting reflecteert van de maatschappij. Inzicht geven in hoe een algoritme werkt en hoe resultaten tot stand komen, creëert al veel meer draagvlak en uiteindelijk vertrouwen bij eindgebruikers. De vervolgvraag is dan: hoe rechtvaardig en ethisch zijn de uitkomsten? Het toetsen van ethiek is vanuit auditperspectief erg lastig, daar zit ook een cultureel aspect aan vast. Historisch gezien heeft iedere cultuur en groep bepaalde ethische waarden. Het is belangrijk om transparant te zijn over hoe een organisatie omgaat met ethische dilemma’s.”

Bewustwording creëren en wijzen op risico’s

Ethiek, reputatie, compliance, techniek, betrouwbaarheid, er zijn nogal wat risico’s aan het gebruik van kunstmatige intelligentie verbonden. Hoe zorg je als commissaris van een bedrijf of financiële instelling dat de organisatie nog in control blijft op dit thema? Van der Wouden: “Ik denk dat het allereerst belangrijk is om als commissaris te begrijpen hoe kunstmatige intelligentie op hoofdlijnen werkt en wat de kansen en bedreigingen ervan zijn. De toepassing binnen een organisatie is onvermijdelijk om te kunnen concurreren. Het is relevant om het bestuur te vragen waar algoritmes zijn toegepast en welke risico’s worden onderkend. De vervolgvraag is dan op welke wijze deze beheerst worden en wat het van de organisatie vergt.”

“De commissaris moet daarom het bestuur echt durven te bevragen over dit thema. Vaak wordt het nog als ietwat lastig of te technisch gezien, maar het is wel van belang hoe het beleid hierop ingericht is. Hoe ga je om met verantwoording rondom wet- en regelgeving, is er aandacht voor reputatieschade? Een directie zal misschien sneller kijken naar efficiencyvoordelen van kunstmatige intelligentie, maar de commissaris moet de bewustwording creëren dat er ook goed gekeken wordt naar de risico’s en de impact die aanwezig zijn en medebepalend zijn voor de toekomst.”

Meer informatie

Heeft u naar aanleiding van dit artikel vragen of wenst u meer informatie? Neem dan contact op met Ruben van der Wouden, Manager IT Risk Assurance bij BDO via ruben.van.der.wouden@bdo.nl of 088 - 236 48 22.