A presentation at nvt by Maike Klip
Hallo, in deze presentatie vertellen we jullie over de LegitiMaat, een werkmethode om algoritmen te beoordelen. We vertellen met wie, waarom en hoe we deze methode ontwikkeld hebben. Wat we onderweg tegenkwamen en wat, volgens ons, de volgende stappen zijn.
Als eerste het doel. We wilden een werkmethode ontwerpen zodat derden de ontwikkeling en het gebruik van algoritmen door een overheidsorganisatie kunnen onderzoeken. Met de werkmethode kunnen derden zich een oordeel vormen over de algoritmische wetsuitvoering door de uitvoeringsinstellingen.
We richten ons hierbij specifiek op kennisgebaseerde algoritmen: als dit, dan dat.
Met deze werkmethode kunnen drie disciplines tegelijk een uitspraak doen passende bij hun discipline. En de werkmethode moet de betreffende organisatie de kans bieden om het algoritme transparant te maken terwijl het primaire proces gewoon door kan gaan.
Deze werkmethode maakten we met verschillende partijen. De teamleden kwamen allemaal uit verschillende organisaties: Marlies van Eck en Carlijn Oldeman (Hooghiemstra & Partners), Steven Gort (ICTU), Robert van Doesburg (TNO), Mariette Lokin (ministerie van Financiën), Abram Klop (UBR) en Maike Klip (Nationale ombudsman). Namens de opdrachtgever, het ministerie van Binnenlandse Zaken, nam Giulia Bossenecker deel aan het team.
We werkten samen met een klankbordgroep waarin vertegenwoordigers zaten van de Algemene Rekenkamer, de Autoriteit Persoonsgegevens, Agentschap Telecom, Stichting Advisering, Bestuursrechtspraak en de Kafkabrigade. Onze begeleidingscommissie bestond uit prof Mark Bovens, prof Stavros Zouridis en prof Lineke Sneller.
De Dienst Uitvoering Onderwijs en de Sociale Verzekeringsbank openden hun deuren en computers en ‘leenden’ hun algoritmen en algoritmemakers aan ons om de werkmethode op te oefenen. De Expertisegroep Regelbeheer van de Manifestgroep dacht met ons mee en bracht zeer welkome tips. Regelmatig deelden we updates met hen en in ons eigen netwerk. Hierdoor kregen we nog meer waardevolle bijdragen van de openbare communities rond dit onderwerp.
Hoe pakten we het aan? Ons uitgangspunt was dat alles resultaat is. We praten heel vaak over toezicht op algoritmen, maar heeft iemand al werkelijk een algoritme van de overheid bekeken? Kunnen zien, eens goed onder de loep genomen? Laat staan een generieke werkmethode erop kunnen ontwerpen? Wat zouden we tegenkomen? Alles was winst. En we leerden door te doen: een algoritme bekijken en expliciet maken hoe we te werk gaan.
We gingen bottom up te werk. In gesprek met de experts zelf: de makers van de algoritmen. Wat we leerden, deelden we zo open mogelijk.
We gingen iteratief te werk. We planden een aantal maakdagen op locatie: 2 bij DUO, 1 bij de SVB en 1 bij Hooghiemstra op kantoor. Na elke maakdag evalueerden we over de koers van het onderzoek. Na de derde maakdag hadden lasten we een extra online maakdag in. Wat we tot nu toe af hadden - de methode in de steigers -, zetten we in een blog, online, en deelden we met de wereld. Hierdoor kregen we aanvullingen, feedback, moeilijke vragen en inzicht in het toekomstig gebruik van de methode. Deze feedback verwerkten we op maakdag 4 tot wat nu de methode is.
We bakenden af. We kozen zo simpel (lijkend) mogelijke algoritmen om te bestuderen als oefenmateriaal. Het werden de leeftijd- en de partnertoets van beide organisaties. Bij de studiefinanciering geldt dat je jonger dan 30 moet zijn voor recht op stufi. En ook de AOW heeft natuurlijk de bekende AOW-grens.
We dachten dat we het ons daarmee makkelijk maakten. Maar zoals een collega van de SVB zei: “jullie maken het jezelf wel moeilijk. Bij AI is het zo overzichtelijk en afgebakend, maar jullie hebben het eigenlijk gewoon over onze totale core business en dat zit verspreid in onze hele organisatie.”
We trokken de algoritmen uit elkaar. Hoe komen ze tot stand? Wat zijn de processen en wat zijn de tussenproducten? We zetten alle stappen uit de estafette van wet naar loket op een rij. En we zoomen in bij de beslisregels, dat is ons vertrekpunt.
Deze estafette had Maike Klip eerder uitgewerkt bij DUO en de Wet Studiefinanciering in haar onderzoeksproject De begripvolle ambtenaar. Al voor de eerste maakdag vertaalden we dit naar 3 zogenaamde lagen.
Om inzicht te krijgen in de ontwikkeling en de toepassing van algoritmen bij de overheid moeten we sowieso het algoritme zelf onder de loep nemen. Dat doen we door het besluit te volgen. Hoe komt die tot stand, waar is het op gebaseerd en is dit helemaal te volgen van wet naar loket?
De toegang om dit te volgen is de tweede laag: de makers van het algoritme. Zij leggen hun werkprocessen vast (of niet), leveren tussenproducten op (of niet) en kunnen verantwoording afleggen (of niet).
De derde laag zijn wij zelf. Het is belangrijk dat we ook onze bias onder de loep nemen en een methode ontwerpen die onafhankelijk is van ons en dus herhaald kan worden door anderen.
Terug naar de eerste laag, het algoritme zelf. We definieerden elke tussenfase van het algoritme: stappen om tot het eindproduct te komen. De wet, de analyse, de beslisregels, het functioneel ontwerp, de code, de interactie met de burger, de werkinstructie voor medewerkers en de brief met de beschikking.
Tussen al deze stappen definieerden we vertalingen. Hoe word het estafettestokje doorgegeven? Is daar documentatie van? Kun je ook terugredeneren? En als je dat kunt zien, welke vragen stellen de drie disciplines dan bij elke stap?
Bij elke tussenstap stelden we vanuit de drie disciplines, jurist, accountant en ontwikkelaar, onze vragen. In een tussenfase zag het canvas dat we hiervoor gebruikten er zo uit.
Dit canvas kwam tijdens de eerste maakdagen tot stand en probeerden we direct voor zover dat lukte in te vullen. Wat leerden we hiervan en tot welke ontwerp keuzes leidde het vervolgens in de methode?
We gaan ze eerst per stuk langs, en laten vervolgens in de methode zien hoe we het verwerkt hebben.
Van DUO leerden we dat het maakproces lastig te volgen kan zijn. Processen zijn organisch gegroeid omdat teams organisch gegroeid zijn. Het is zonder basale kennis van het werkproces en de organisatie niet mogelijk om de methode uit te voeren. Daarom namen we in de visitatiehandleiding hier vragen over op.
Documentatie is verspreid over afdelingen en niet makkelijk beschikbaar. Ook voor medewerkers zelf is het een zoektocht. Het kan helpen om processen mogelijk meer te standaardiseren zodat documenten helder en makkelijk te vinden zijn. In de werkmethode nemen we een overzicht op van documentatie die er moet zijn om te kunnen beoordelen. Dit kan in de toekomst helpen om deze manier van documenteren te standaardiseren.
Van de SVB leerden we dat vertrouwen essentieel is. Documentatie is gevoelig en het is spannend om dat ‘zomaar’ met derden te delen. Soms is het niet mogelijk om te delen vanuit allerlei ingebouwde beveiligingsmaatregelen. Daarom is het belangrijk dat de werkmethode bouwt aan vertrouwen door samen te werken met bestaande netwerken. Bijvoorbeeld de Expertisegroep Regelbeheer van de Manifestgroep. Het gebruiken van de methode en delen van de inzichten willen we daarom koppelen aan het toekomstige algoritmeregister.
In het inrichten van de governance van het gebruik van de methode moet hiermee ook rekening worden gehouden, en idealiter krijgen de uitvoeringsorganisaties hier zelf een rol in. Hier komen we aan het eind van deze presentatie op terug.
Bij beide organisaties zagen we dat regels niet altijd gekoppeld zijn aan code. Of dat sommige stappen in onze estafette overgeslagen worden, of niet aan elkaar gekoppeld zijn. Bij DUO bleek bijvoorbeeld dat de estafette stopte bij de werkinstructie, en dat de interactie met burgers op de website en het digitale portaal niet gekoppeld is aan hetzelfde maakproces (want twee aparte afdelingen). Bij de SVB zagen we dat er voor een algoritme geen beslisregels waren maar de wet ‘hard geprogrammeerd’ was.
Om een goed oordeel over een algoritme te kunnen vaststellen is de herleidbaarheid belangrijk. We besloten dit op te nemen in de methode. Het kan dat organisaties die de methode toepassen soms een stap overslaan, maar dan is het duidelijk welke stap dat is, waarom en kunnen ze in de toekomst werken aan de herleidbaarheid. In de methode vragen we hen te werken in de denkstructuur van de herleidbare stappen van het algoritme.
Dan de methode zelf. Hoe ziet hij eruit? Kunnen we hem vastpakken en uitproberen? Zeker.
Op het Githubaccount van het ministerie van Binnenlandse Zaken is het product De Legitimaat gepubliceerd. Op deze manier is er direct een open proces om hem steeds beter te maken. Dit versiebeheer en redactieproces hebben we ook ingericht.
Het is de bedoeling dat de Legitimaat onderdeel wordt van het toekomstige algoritmeregister. Naast deze manier van werken bestaat de methode uit 3 onderdelen:
de denkstructuur met de verschillende estafettestappen van het algoritme. Deze denkstructuur helpt een organisatie en derden om overzicht te krijgen hoe een algoritme tot stand komt. Het hoeft geen mal te worden waarin je per se moet vallen, maar biedt een richtsnoer.
3 vragensets per discipline: jurist, ontwikkelaar en accountant. De vragen zijn gerangschikt per estafettestap. Niet elke discipline staat even lang stil bij elke estafettestap maar in z’n geheel komt alles terug.
Wij zien een aantal stappen voor ons.
De methode is een work in progress. Het is nodig dat meer organisaties hem gaan toepassen zodat hij steeds beter wordt. De methode staat op GitHub en we richten een proces in zodat hij al doende beter kan worden: de community van uitvoeringsorganisaties kan wijzigingen aandragen en met elkaar ontwikkelen we hem door. De LegitiMaat als product is open. Iedereen kan hem toepassen en verbeteren. Het lijkt ons waardevol wanneer de (leden van de) Manifestgroep deze methode adopteert zodat het vanuit de praktijk verder ontwikkeld kan worden.
We stellen voor dat de methode onderdeel wordt van het toekomstige algoritmeregister zodat ook de uitkomsten wanneer een organisatie de methode toepast daar een plek kunnen krijgen. Daarnaast kan op de Pleio-omgeving van de Expertisegroep Regelbeheer kennis en ervaringen uitgewisseld worden (zowel openbaar als gesloten).
Het komend half jaar is het belangrijk dat dit wordt ingericht en hiermee ook de governance rond de Legitimaat. Het ministerie van Binnenlandse Zaken en de leden van de Manifestgroep moeten hier afspraken over maken. Wie is ervan, wie heeft budget en waar gaat het landen? Wie wordt eigenaar van de releases bij verbetervoorstellen vanuit de community? Wie ‘trekt’ dit proces?
Daarnaast stellen we een onderzoeksagenda voor om de komende tijd verder mee aan de slag te gaan. Zaken die deel kunnen zijn van deze agenda zijn bijvoorbeeld:
Dat was ‘m. Deze presentatie kan nog beter, feedback wordt dan ook gewaardeerd. Stuur een mailtje naar maike @ klipklaar.nl of schiet een van de andere projectleden aan.
De Legitimaat is een werkmethode om een overheidsalgoritme te onderzoeken vanuit drie disciplines: een jurist, ontwikkelaar en accountant. In deze presentatie lees je over ons doel, onze aanpak, welke bevindingen tot welke ontwerpkeuzes leiden voor de methode en hoe wij denken dat het verder moet.
