Hoe houd je toezicht op AI, algoritmes en digital humans?

Best practice
Digitalisering voor ‘dummies’

Commissarissen hebben vaak onvoldoende kennis en inzicht om de impact van de digitale transformatie te kunnen inschatten en daarmee adequaat toezicht te houden. Marion Mulder, specialist in technologische innovatie en zelf aankomend commissaris, schetst wat er nodig is om daarin verandering te brengen. Inclusief handige begrippenlijst, plus de bijbehorende vragen voor de eerstkomende commissarissenvergadering.  

De afgelopen jaren is een flink aantal voorbeelden naar buiten gekomen van ‘ongelukken’ rondom artificial intelligence (AI). Dat roept ethische, maatschappelijke en reputatievragen op. Hoe ga je hier als commissaris (zowel in de toezichthoudende als adviserende rol) mee om? Waarvoor kun je verantwoordelijk worden gehouden, hoe houd je toezicht op een black box en wat als het misgaat? Met andere woorden: hoe kun je jezelf als commissaris weerbaar maken voor toezicht in een snel digitaliserende wereld?

Toezicht houden nieuwe stijl

Het korte antwoord is: zorg voor voldoende kennis van AI en andere digitale ontwikkelingen om de juiste vragen te kunnen stellen en risico’s en kansen te kunnen inschatten. Uit het rapport Nulmeting digitale transformatie in boardrooms in Nederland, andere literatuur en een aantal interviews voor dit artikel blijkt echter dat bestuurders en toezichthouders te weinig kennis en bewustzijn hebben van de impact van digitale transformatie, laat staan van de nog ingrijpender impact van AI en algoritmen. Terwijl basiskennis daarvan hoort bij toezicht houden ‘nieuwe stijl’. Als commissaris ben je immers verantwoordelijk voor de focus op langetermijnwaardecreatie. De wereld is in rap tempo aan het digitaliseren: het adequaat inspelen daarop gaat verder dan alleen bestaande processen automatiseren, het heeft impact op de gehele bedrijfsvoering en op alle businessmodellen. AI en algoritmen vormen daarin een steeds groter aandeel.

De digitale transformatie is niet meer iets wat bestuurders en toezichthouders er even bij kunnen doen, het is een integraal onderdeel van het nieuwe normaal: niet alleen in de IT-afdeling, maar in alle facetten van de organisatie, inclusief onderwerpen als ethiek en maatschappelijk verantwoord ondernemen. Als toezichthouder wil je de juiste vragen kunnen stellen en een goede sparringpartner zijn ten aanzien van de kansen, maar juist ook de risico’s van AI, algoritmes en digital humans, zowel binnen de eigen organisatie als in de sector. Hoe verhouden deze onderwerpen zich bijvoorbeeld tot ethiek, reputatie en aansprakelijkheid?

Zaken als AI, algoritmes en digital humans staan vaak al veel dichter bij de bedrijfsvoering dan velen zich realiseren. En je wilt als commissaris niet dat de toezichtorganisatie een Kodak wordt: het concern dat de revolutionaire omslag van analoge naar digitale fotografie onderschatte en daarmee de boot miste. Is er nog geen kennis op het gebied van digitalisering binnen de raad, trek dan iemand aan met voldoende kennis - als lid of eventueel een externe adviseur - zodat daarmee de kennis binnen de raad op het juiste niveau wordt gebracht.

Wat is voldoende digi-kennis?

Maar wat is dan ‘voldoende kennis’ van digitalisering? Om te beginnen is het handig als commissarissen in elk geval bekend zijn met de relevante termen op dit gebied. Hieronder volgt een lijstje definities, plus een aantal bijbehorende overwegingen en vragen voor commissarissen, gebaseerd op een aantal relevante bronnen (download hiervoor de pdf, onderaan deze pagina). Een goede basis voor commissarissen die zich in het onderwerp willen verdiepen is het boek De commissaris en het toezicht op IT: de eerste zeven vragen van Lineke Sneller. Deze bron is aangevuld met context-gerelateerde nuance, specifieke zaken en ethiek. Dit is zeker niet een uitputtende lijst, de toepassing hangt bovendien af van de sector en het stadium van digitalisering waarin de organisatie zich bevindt. De overwegingen en vragen zijn dan ook nadrukkelijk bedoeld als inspiratie en conversatiestarter, er zijn meer en andere vragen te stellen.

Toezicht op digitale transformatie: begrippen- en vragenlijst   

Digitalisering

Dit is het proces waarbij analoge processen en fysieke objecten digitaal worden gemaakt. Het is meestal een 1-op-1 overzetten van analoog naar digitaal. Denk hierbij bijvoorbeeld aan de overgang van papier naar digitaal papier (pdf). Er wordt dan meestal nog niet gekeken of het ook anders/beter kan.

De vragen die commissarissen daarover kunnen stellen:

  • Wat betekent digitalisering voor het verdienmodel?
  • Wat is de houding van het bestuur ten opzichte van IT?
  • Wat is de verhouding tussen vernieuwing en instandhouding in de IT-uitgaven?
  • Wat is de voortgang van de IT-projecten Portfolio?
  • Welke risicovolle go-lives zijn er gepland?
  • Hoe gaat de onderneming om met persoonsgegevens?
  • Hoe ziet het business continuity plan eruit?

Digitalisatie

Dit is volgens Gartner het gebruik van digitale technologieën om een bedrijfsmodel te veranderen, mogelijkheden voor waardecreatie te bieden en toekomstige inkomsten te genereren; het is het proces naar de omvorming tot een digitaal bedrijf.

Digitale transformatie

Dit is volgens digital-guru Brian Solis het evoluerende streven naar innovatieve en flexibele bedrijfs- en operationele modellen – gevoed door evoluerende technologieën, processen, analyses en talentencapaciteiten – om nieuwe waarde en ervaringen te creëren voor klanten, werknemers en belanghebbenden. Het heeft niet alleen impact op het bedrijf, het is een herstructurering van het bedrijfsleven, de economie en de samenleving, als gevolg van de digitale verspreiding. Het hele systeem verandert.

De bijbehorende vragen voor commissarissen:

  • Wat is de visie?
  • Wat zijn de argumenten voor deze visie?
  • Wat betekent deze voor het businessmodel en verdienmodel?
  • Is er funding/budget?
  • Is er steun van topmanagement?
  • Is er een volwassen digitale cultuur?
  • Is de security op orde?
  • Acht je het bestuur in staat de impact van digitalisering en transformatie goed in te schatten?

Lean, Agile, SAFe

Bij digitalisatie en digitale transformatie wordt ook vaak Lean Agile of SAFe (Scaled Agile Framework) geïntroduceerd. Dit heeft een behoorlijke impact op de organisatie en vraagt om een andere kijk op het organiseren van IT, maar ook op allerlei andere zaken, zoals procurement en leveranciersrelaties. Er worden ook diverse andere terminologieën geïntroduceerd. Zo spreekt men bijvoorbeeld niet meer van een ‘IT Projecten Portfolio’ bij SAFe, maar gaat er gewerkt worden in value streams: dat heeft impact op de besturing.

De vragen die commissarissen daarover kunnen stellen:

  • (Hoe) worden organisatie en medewerkers meegenomen in de verandering?
  • Wat zijn daarbij potentiele risico’s en zorgpunten?
  • Worden er learning experiments gedaan, met andere woorden: is er ruimte om te falen en te leren?

Robotisering

Een toenemend aantal taken, dat eerst door mensen werd uitgevoerd, wordt door robots (programmeerbare machines) uitgevoerd. Een robot verwerkt vaak niet alleen informatie, maar kan ook verschillende fysieke taken uitvoeren. Verder kan een robot zijn uitgerust met AI en zelflerend zijn - en daardoor meer autonoom opereren. Binnen digitalisering spreekt men vaak van RPA (Robotic Process Automation), heel platgeslagen is dat: het automatiseren van repetitieve handelingen door middel van software. Robotisering is dus het vervangen van menselijke taken.

Kunstmatige intelligentie

Dit is een concept waarbij computers taken uitvoeren waar normaal gesproken menselijke intelligentie voor nodig is. Er bestaan twee versies. De narrow-variant is al flink in ons dagelijks leven ingeburgerd, denk aan zoekmachines, spamfilters, robotstofzuigers of -grasmaaiers. Narrow AI heeft zich in rap tempo ontwikkeld en wordt nu ingezet bij gezichts- en stemherkenning, het signaleren van patronen en het doen van onderzoek. Daarnaast is er de general-variant. Dit is volledig ontwikkelde kunstmatige intelligentie, die in de toekomst los van de mens kan bestaan. Het is nu nog science fiction, maar zal in de nabije toekomst dichterbij komen.

Algoritmes

Dit zijn recepten om een wiskundig of informaticaprobleem op te lossen. Wiskundig geformuleerd is het een eindige reeks instructies, die vanuit een gegeven begintoestand naar een beoogd doel leidt. Algoritmes zijn alomtegenwoordig: of je een zoekterm intypt op Google, belastingaangifte doet of een recept kookt - je krijgt ermee te maken. Algoritmes nemen beslissingen of bereiden die voor. Dat kan heel efficiënt zijn, maar tegelijkertijd is het belangrijk om als commissaris een aantal vragen te stellen:

  • Nemen medewerkers de adviezen van algoritmes klakkeloos over, of is er voldoende ruimte voor interpretatie en nuance? Niet alles is binair in ja/nee te vatten en algoritmes discrimineren of benadelen geregeld onbedoeld, zoals recente cases bij onder meer de Belastingdienst aantonen.
  • Bij het inzetten van algoritmes bij bepaalde besluitvorming is het de vraag of de totstandkoming en de uitkomsten daarvan voor een organisatie nog inzichtelijk zijn. Hoe leg je uit dat je tot een bepaald resultaat bent gekomen?
  • Worden er geen privégegevens gedeeld? Vanuit de AVG (Algemene verordening gegevensbescherming) mag niet zomaar digitale besluitvorming plaatsvinden zonder menselijke betrokkenheid in het proces. Er zal dus bij besluitvorming menselijke tussenkomst moeten zijn.

Data

AI wordt ‘getraind’ en algoritmen werken met data. Getraind wil zeggen dat er grote hoeveelheden data opgeschoond en gelabeld moet worden en dat de technologie deze vervolgens clustert of classificeert op basis van veel voorbeelden. Let wel: veel bedrijven hebben (nog) helemaal niet de data die benodigd zijn om ook succesvol te trainen. Aan de andere kant zijn er steeds meer mogelijkheden om data te verzamelen, zoals via cookies, consent (een vinkje moeten zetten voordat men iets kan downloaden of gebruiken), camera’s, digitale conversaties, audio, video, en ga zo maar door. Bij deze dataverzamelingen komen ook allerlei nieuwe risico’s kijken, waaronder techniek, privacy, security, data bias, compliance, betrouwbaarheid, reputatie en ethiek. Het zijn risico’s die we enkele jaren geleden nog nauwelijks onderkenden of waarvan de impact veel groter is geworden. Daarmee kan er sprake zijn van een continuïteitsrisico.

Vragen voor commissarissen:

  • Waar worden algoritmes en AI toegepast of gemaakt door de organisatie?
  • Is het aansprakelijkheidsvraagstuk rond deze producten duidelijk en juist belegd?
  • Welke risico’s worden onderkend en zijn deze voldoende in kaart gebracht?
  • Op welke wijze worden de risico’s beheerst en wat vraagt dit van de organisatie?
  • Is het beleid hierop ingericht?
  • Hoe wordt omgegaan met verantwoording rondom wet- en regelgeving?
  • Hoe wordt aangekeken tegen en omgegaan met publieke belangen, zoals privacy, veiligheid en consumentenrechten?
  • Is er aandacht voor reputatieschade?
  • Is helder wat de impact is op HR? Weet de bestuurder of de juiste skills in huis zijn en wat betekent dit voor het huidige medewerkersbestand?  
  • Zijn er processen ingericht om de impact van techniek te verkennen en in goede banen te leiden?

Digital humans

Dit zijn producten die eruitzien als echte mensen in digitale omgevingen of als menselijk uitziende robots. Deze technologische producten zijn (bijna) niet meer van echte mensen te onderscheiden en worden onder andere al ingezet in de medische sector. Inmiddels zijn er ook diverse apps op de markt zoals face swap, waarmee consumenten zelf gezichten in video’s kunnen vervangen. Men kan zelf steeds makkelijker deep fakes maken. Naast technische kansen spelen technische uitdagingen en ethische vragen hier een rol. Als klanten niet meer weten of ze met echte mensen spreken of met ‘chatbots’, hoe wenselijk is dat dan en hoe zit dat bijvoorbeeld met aansprakelijkheid?

Ethiek en dilemma’s

De introductie van AI, algoritmes en digital humans leidt – zeker in de samenleving – tot nieuwe kritische blikken op de organisatie. Een mooi kompas om hierop als rvc te navigeren wordt gevormd door de volgende twee vragen:

  • Het kan, maar moeten we het ook willen?
  • (Hoe) helpt dit de mensheid verder, op een duurzame manier?

Wees voorbereid

Samengevat: AI, algoritmen en digital humans bieden organisaties de komende jaren veel mooie kansen, maar brengen ook veel verandering en nieuwe risico’s met zich mee. Wees daar als raad van commissarissen op voorbereid door tijdig voldoende kennis te ontwikkelen en/of deze aan boord te halen en via permanente educatie up-to-date te houden. Goed toezicht op AI, algoritmen en digital humans vraagt om digital supervisory board members van vlees en bloed. 

Marion Mulder is future maker & digital strategist van MuldiMedia en aankomend commissaris en toezichthouder. Dit artikel is een bewerkte versie van haar eindopdracht voor de Leergang Board Potentials van Nationaal Register. 

Klik hier voor contact met Marion Mulder.