search

MinBZK / Algoritmeregister

Samen werken aan verantwoorde en transparante inzet van algoritmische toepassingen door overheden.
European Union Public License 1.2
17 stars 6 forks source link

Hoe registratie actueel en up to date te houden? #7

Open sgort opened 1 year ago

sgort commented 1 year ago

Bij het onderzoeken van een mogelijke koppeling Berekenen huurtoeslag in het Algoritmeregister aan de onderliggende regels (zie issue #127 regels.overheid.nl elders), zie ik dat de verwijzing naar wettelijke grondslag niet (meer) klopt.

Met de recente jaarwisseling achter de rug is dat geen onverwacht issue. Lijkt me goed om in de oplossingsarchitectuur en/of anderszins op zoek te gaan naar waarborgen hieromtrent.

jaspervanderheide commented 1 year ago

Sommige wetswijzigingen zijn periodiek, dus zou een notificatie op basis van het veld "Herzieningsdatum" wellicht een optie zijn. We kunnen ook een notificatie geven zodra vanuit Linked Data Overheid blijkt dat een bepaalde regel of wet vervangen of vervallen is.

floort commented 1 year ago

Volgens mij is dit onderdeel van een breder vraagstuk van kwaliteitsmanagement. Het huidige datamodel bevat een herzieningsdatum wat kan worden gebruikt om te monitoren. Maar dat voorziet eigenlijk alleen in vooraf voorziene vernieuwingen in meldingen en niet in onvoorziene wijzigingen waardoor het register bijgewerkt zou moeten worden, het onterecht niet toevoegen van nieuwe algoritmen die eigenlijk wel in het register zouden moeten staan of het bijwerken van kwalitatief gebrekkige registraties. Het register staat momenteel vol met opvallende afwezige algoritmes en gebrekkige kwaliteit van registraties. Misschien is dat een mooie aanleiding om dergelijke waarborgen te testen.

jaspervanderheide commented 1 year ago

Beste @floort! Dank voor het meedenken, dat is zeer welkom!

Op dit moment is er geen wettelijke verplichting, deze volgt op z'n vroegst in 2024. We kunnen dus niet overheidsorganisaties dwingen bepaalde algoritmes te publiceren. We zijn heel blij op dit moment dat er al overheidsorganisaties aangeleverd hebben, en veel overheidsorganisaties bereiden dat voor nu. De kwaliteit van de registraties wisselt inderdaad, daar heb je gelijk in. Die verantwoordelijkheid ligt uiteindelijk bij de organisatie, maar wij als projectteam gaan wel handvatten bieden om dat niveau omhoog te krijgen. Ik zag dat je al suggesties had gedaan hoe we dat in de standaard kunnen verbeteren.

Wat betreft het herzien. De herzieningsdatum werkt inderdaad alleen voor voorziene en periodieke herzieningen. Dat is al wel beter dan helemaal niet herzien, denk ik. Verder is het van belang dat het actualiseren van de registratie deel uit gaat maken van het ontwikkelen en beheren van een algoritme bij een organisatie. Dat is niet een proces dat wij technisch kunnen afdwingen op de website. Dit wordt (mogelijk) meegenomen in het 'implementatiekader algoritmes'.

Het doel is dus wel om dit vraagstuk zowel op korte als op lange termijn te adresseren. Meedenken is daarbij zeer welkom!

floort commented 1 year ago

Volledig terechte kanttekeningen. Wat ik bedoelde is dat ik niet denk dat het zin heeft om het herzien van achterhaalde registraties als een issue te zien dat los staat van andere kwaliteitsmanagement-vragen. Maar inderdaad: oefenen met kwaliteitsmanagement zonder dat dat kan worden afgedwongen maakt het oefenen een stuk lastiger.

De twee pull requests zijn voorzichtige suggesties, maar onderdeel van een breder risico dat ik herken uit de AVG verwerkingenregisters. Best veel registers zijn geoptimaliseerd op registraties die botweg niet stroken met de werkelijkheid. Ook hier zie ik een risico dat de structuur van het register wordt afgestemd op een selectieve en onjuiste weergave van algoritmes. Ik zou graag een registratie zien van bijvoorbeeld het gebruik van een sociaal netwerk of een spamfilter bij een cloud-mailprovider om te toetsen of die complexiteit ook in het register past.

jaspervanderheide commented 1 year ago

De inzet van algoritmes is inderdaad complex en niet makkelijk te vatten in een register en een uniforme standaard. Het register maakt daarom ook deel uit van bredere set aan maatregelen waaronder versterken van toezicht. Neemt natuurlijk niet weg dat de structuur zo passend mogelijk moet zijn. Zou je kunnen toelichten op welke manier de huidige structuur selectief of onjuist is? Dan nemen we dat mee. Dat kan ook aanstaande dinsdag bij de sessie over de standaard.

De twee voorbeelden die je geeft, neem ik even mee. Er volgt nog waarschijnlijk een sessie over de scope van algoritmes die wel en niet in Algoritmeregister moeten.

-------- Oorspronkelijk bericht -------- Op 26 jan. 2023 10:05, schreef Floor Terra : Volledig terechte kanttekeningen. Wat ik bedoelde is dat ik niet denk dat het zin heeft om het herzien van achterhaalde registraties als een issue te zien dat los staat van andere kwaliteitsmanagement-vragen. Maar inderdaad: oefenen met kwaliteitsmanagement zonder dat dat kan worden afgedwongen maakt het oefenen een stuk lastiger. De twee pull requests zijn voorzichtige suggesties, maar onderdeel van een breder risico dat ik herken uit de AVG verwerkingenregisters. Best veel registers zijn geoptimaliseerd op registraties die botweg niet stroken met de werkelijkheid. Ook hier zie ik een risico dat de structuur van het register wordt afgestemd op een selectieve en onjuiste weergave van algoritmes. Ik zou graag een registratie zien van bijvoorbeeld het gebruik van een sociaal netwerk of een spamfilter bij een cloud-mailprovider om te toetsen of die complexiteit ook in het register past. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> [ { @.": "http://schema.org", @.": "EmailMessage", "potentialAction": { @.": "ViewAction", "target": "[https://github.com](<a href=)/MinBZK/Algoritmeregister/issues/7#issuecomment-1404717997">https://github.com/MinBZK/Algoritmeregister/issues/7#issuecomment-1404717997", "url": "[https://github.com](<a href=)/MinBZK/Algoritmeregister/issues/7#issuecomment-1404717997">https://github.com/MinBZK/Algoritmeregister/issues/7#issuecomment-1404717997", "name": "View Issue" }, "description": "View this Issue on GitHub", "publisher": { @.***": "Organization", "name": "GitHub", "url": "https://github.com" } } ]

floort commented 1 year ago

De inhoud van het register is momenteel selectief en voor een deel onjuist. Met andere woorden: er zit een bias in de test-data. Daardoor is het lastig om te evalueren of de structuur past bij wat er geregistreerd zou moeten worden. Ik zou voorstellen om juist een paar echte lastige voorbeelden correct en met voldoende detail te verwerken in het register. Of dat de twee voorbeelden zijn die ik noemde is minder belangrijk. Maar leer in ieder geval van vergelijkbare issues die met verwerkingenregisters onder de AVG ook al voorkomen.

jaspervanderheide commented 1 year ago

Helder, dan begreep ik je verkeerd! Mee eens, het is in ieder geval ook een continu lerend proces, zeker in 2023. We hebben desalniettemin al wat ideeën opgedaan op basis van de eerste versie. Zie hier op pleio. Daar komt ook veel ruimte om daar feedback op te geven, niks staat nog vast.

floort commented 8 months ago

Is dit issue "completed"? De twee commits die dit issue zouden moeten oplossen ( #db28ed3 en #5a5fe82) zijn geen onderdeel van een branch van de repository en het is me ook niet helemaal helder hoe deze commits dit issue zouden moeten oplossen. Misschien is het beter voor de transparantie om het issue open te laten totdat er een specifieke commit is in main die dit oplost?

sgort commented 8 months ago

Point taken. Ik heropen.

PS ik kom nog via mail bij je op de lijn over regels.overheid.nl