Digital Economy - Ethical Artificial Intelligence


EN vlag rond Read introduction in English

Laatst bijgewerkt op 7 mei 2020

Over Ethical Artificial Intelligence

Deze pagina gaat over de juridische implicaties van algoritmische besluitvorming, Er is nagenoeg geen onderneming of instelling over die geen gebruik maakt van automatisering of algoritmen. De Europese Commissie noemt kunstmatige intelligentie, een verzamelnaam voor specifieke toepassingen van bepaalde typen algoritmen, één van de meest strategische technologieën van de 21ste eeuw. Deze nieuwe technologieën roepen dan ook allerlei juridische vragen op. Wat betekent het bijvoorbeeld dat algoritmische besluitvormingsprocessen niet altijd even transparant zijn. Of: wat is de rol van het gelijkebehandelingsrecht bij algoritmische besluitvorming? Om deze en andere vragen te kunnen beantwoorden, helpen wij u op weg met de meest relevante informatie. Via onderstaande iconen komt u direct bij de hoofdcategorieën van ons informatieoverzicht over dit belangrijke onderwerp.

Nieuws Literatuur Rapporten 4 Rechtspraak

Wat is de grens tussen een legitiem voorspellend model en een discriminatoir model?

Stel: je bouwt een systeem dat sollicitanten moet beoordelen. Het kan hierbij van grote waarde zijn nauwkeurig te voorspellen hoe lang iemand in dienst zal blijven. Voor bepaalde functies wil je liever mensen die lang zullen blijven, terwijl bij andere functies juist een hoger natuurlijk verloop wenselijk is. Wat nu als leeftijd hiervan de sterkste voorspeller blijkt te zijn? Is dat een ongeoorloofd verschil in behandeling, of is hier objectieve rechtvaardiging mogelijk? Wordt dit anders als leeftijd in combinatie met drie andere variabelen de sterkste voorspeller blijkt te zijn? Met andere woorden: hoe werkt de objectieve rechtvaardigingstoets in de praktijk bij algoritmische besluitvorming?

Is regelgeving wenselijk en, zo ja, welke?

Inmiddels wordt wereldwijd nagedacht over de vraag of kunstmatige intelligentie en andere vormen van geautomatiseerde besluitvorming moeten worden gereguleerd. De Amerikaanse democraten willen ondernemingen met meer dan $ 50 mln. omzet per jaar of toegang tot veel gegevens, verplichten hun 'high-risk' geautomatiseerde systemen door te lichten op bias en discriminatie door middel van een 'automated decision impact assessment'. Het Europarlement spreekt over verschillende modaliteiten van regulering, de Australische overheid is een publieke consultatie begonnen en in Nederland heeft de VVD heeft een initiatiefnota ingediend met een verzoek om wetgeving. Tegelijkertijd is veel discriminatie door algoritmes naar huidig recht al verboden. Moet hieraan nieuwe regelgeving worden toegevoegd? Zo ja, wat moet deze regelgeving inhouden? Zijn transparantieverplichtingen de aangewezen route, of kunnen meer inhoudelijke eisen worden gesteld aan de technologie? En wat doet dat met het innovatie- en concurrentievermogen van Nederlandse en Europese ondernemingen?

De black box en de omkering van de bewijslast

In procedures die discriminatie betreffen, kan degene die meent te zijn gediscrimineerd, volstaan met het stellen en bewijzen van feiten en omstandigheden waaruit aannemelijk wordt dat discriminatie heeft plaatsgevonden. Daarna verschuift de bewijslast, zodat degene wie discriminatie wordt verweten, moet bewijzen dat hij niet heeft gediscrimineerd. Verschuift de bewijslast sneller als een systeem een black box is? En zo ja, hoe moet degene die de black box hanteert, bewijzen dat hij niet heeft gediscrimineerd? Ook hij zal immers niet makkelijk door de black box heen kunnen kijken.

BlackBox

Collectieve acties tegen gebruikers van algoritmen?

Benadeling door algoritmen is vaak beperkt in omvang. Een iets hogere prijs voor een product of een iets lagere positie in de ranking. Kunnen benadeelde partijen hun claims bundelen?

Waarom is dit onderwerp relevant?

Zoals uit bovenstaande blijkt, kunnen kunstmatige intelligentie en andere vormen van geautomatiseerde besluitvorming een grote maatschappelijke en juridische impact hebben. Op dit moment wordt er meer en meer nagedacht over de regulering daarvan. De eerste procedures over geautomatiseerde systemen en hun maatschappelijke implicaties beginnen inmiddels op gang te komen. Zo is in de Verenigde Staten Facebook gedagvaard door de HUD omdat zij het mogelijk maakt gericht te adverteren (of dat niet te doen) bij mensen op basis van etniciteit, geslacht, ras etc. In Nederland is inmiddels een procedure aanhangig tegen het door het ministerie van SZW ontwikkelde systeem SyRI dat uitkeringsfraude moet tegengaan.

NieuwsNieuws- en blogberichten

Stibbe

2020

2019

  • 08.07.2019 Podcast: Arbeidsrecht en kunstmatige intelligentie (S. Akel, M. Jovović & J.M. van Slooten, bron: Stibbe)
    Deze aflevering van Stibbe Legal Insights gaat over arbeidsrecht en kunstmatige intelligentie. Je hoort van HR-techexpert Siert Akel van VIE People en Wonderkind hoe AI in de praktijk wordt gebruikt en van de advocaten Marko Jovović en Jaap van Slooten (beiden Stibbe) wat de uitdagingen zijn in het recht.
  • 31.05.2019 Er moet snel wetgeving komen tegen algoritmische discriminatie (M. Jovović, Stibbe, bron: FD) [zichtbaar na inlog / registratie]
    Het algoritme wikt en het algoritme beschikt, steeds vaker. Het wikken is echter vaak ondoorgrondelijk en de beschikkingen kunnen discriminatoir zijn. Het Europees Parlement verkent daarom wetgevingsstrategieën en de VVD wil, net als de Amerikaanse democratische partij, toezicht op algoritmen. Is wetgeving echter wenselijk?
  • 08.01.2019 Algoritmische discriminatie (M. Jovović, bron: Stibbe)
    'Slimme algoritmes' nemen steeds meer arbeidsrechtelijk relevante beslissingen. Zo kunnen zelflerende systemen onder meer worden ingezet om te bepalen wie promotie krijgt of welk cv wordt geselecteerd in een sollicitatieprocedure. Ook in de opkomende platformeconomie worden veel arbeidsrechtelijk relevante beslissingen genomen door geautomatiseerde systemen: wie doet welke klus en tegen welke belonging?

Nederland

2020

  • 23.04.2020 Staat niet in hoger beroep tegen vonnis rechter inzake SyRI (bron: Rijksoverheid.nl)
    Na bestudering van de uitspaak heeft de staat besloten niet in hoger beroep te gaan tegen dit vonnis. Op 5 februari 2020 oordeelde de rechter in de zaak tegen het Systeem Risico Indicatie (SyRI) dat het instrument onvoldoende waarborgen biedt om de privacy van burgers te beschermen. SyRI mocht niet meer als handhavingsinstrument worden ingezet.
  • 17.04.2020 Kansen en risico’s algoritmen in balans houden (bron: Rijksoverheid.nl)
    Het kabinet wil de economische en maatschappelijke kansen van algoritmen benutten, zonder daarbij de risico’s voor bijvoorbeeld privacy uit het oog te verliezen. Dit gebeurt door maatschappelijke organisaties, bedrijven en mensen goed te blijven betrekken en door te zorgen dat iedereen zich bewust is van de kansen en risico’s. Daarnaast wil het kabinet mensen online weerbaarder maken en het toezicht op algoritmen goed regelen bij de bestaande toezichthouders. Dat schrijven minister Dekker voor Rechtsbescherming, staatssecretaris Knops van BZK en staatssecretaris Keijzer van EZKen en Klimaat in een brief aan de Tweede Kamer in reactie op de initiatiefnota 'Menselijke grip op algoritmen' van het Tweede Kamerlid Middendorp en het onderzoek ‘Toezicht op gebruik van algoritmen door de overheid’.
  • 02.04.2020 Algoritmes en de AVG: waar moet je op letten? (M. Schimmel, bron: Solv)
    Het gebruik van algoritmes door het bedrijfsleven is de laatste jaren sterk toegenomen. Steeds meer bedrijven zien hoe algoritmes hun bedrijfsprocessen een stuk efficiënter en goedkoper maken. Wanneer algoritmes persoonsgegevens verwerken, moeten bedrijven zich ervan bewust zijn dat ook de AVG van toepassing is. Uit de praktijk blijkt dat het vaak een lastige opgave is om te bepalen of deze algoritmes voldoen aan privacyregels. Dit blog beschrijft de risico’s die bestaan bij het gebruik van algoritmes en welke regels hiervoor gelden.
  • 14.03.2020 De zoektocht naar het eerlijke algoritme (bron: FD) [zichtbaar na inlog / registratie]
    Het gebruik van algoritmes bij bedrijven en overheden is populair. Maar hoe zorgen we dat een samenleving waar veel wordt besloten door machines menselijk blijft? ‘Dat is geen technologisch probleem, het is een politieke vraag.
  • 06.03.2020 Schimmige algoritmes bij UWV en SyRI zijn topje van de ijsberg (bron: NRC)
    Bij het UWV krijgen aanvragers van een uitkering een ‘risicoscore’ toegekend door een computersysteem. Met die risicoscore in de hand nemen medewerkers vervolgens beslissingen over het al dan niet toekennen van een uitkering. Maar op basis van welke criteria en data neemt het systeem eigenlijk de beslissingen die tot de code leiden? Is dat überhaupt wel na te gaan? Het klinkt als vragen die de uitkeringsinstantie uitvoerig beantwoord zou moeten hebben vóór de invoering van zo’n systeem. Maar daarover twijfelt het UWV blijkbaar. De organisatie maakte donderdag bekend dat het de algoritmes tegen het licht gaat houden om te onderzoeken of die niet discrimineren.
  • 05.03.2020 UWV neemt fraudeopsporing onder de loep na privacyrechtszaak (bron: NOS.nl)
    Het UWV onderzoekt of de systemen die het gebruikt voor fraudeopsporing juridisch houdbaar zijn. Dat bevestigt de organisatie aan de NOS. Aanleiding voor het onderzoek is een besluit van de rechter om een ander fraudesysteem van de overheid te verbieden. "We toetsen momenteel of de uitspraak juridische consequenties heeft voor de werkwijze van het UWV", laat een woordvoerder weten. Het UWV stelt dat zijn fraudebestrijding minder vergaand is dan SyRI, omdat het om data van het UWV zelf gaat. Bij SyRI werden data van meerdere organisaties gecombineerd.
  • 04.03.2020 Bij Unilever is de helft van alle managers vrouw dankzij kunstmatige intelligentie (M. de Ruiter, bron: de Volkskrant)
    Wilt u manager worden bij Unilever? Stuur dan vooral niet uw cv in. Want het voedingsmiddelenconcern kijkt niet langer naar wie een sollicitant is of kent, maar wat hij of zij kan. Om dat te meten, maakt het in de sollicitatieprocedures gebruik van Artificial Intelligence (AI). Het heeft geleid tot een bijzonder succes: 50 procent van de managers is nu vrouw. Sindsdien wordt de sollicitant beoordeeld door een computer. Wie zich opgeeft voor een management-traineeship moet nu eerst twaalf videogames spelen. In een daarvan valt geld te verdienen door een ballon steeds verder op te blazen. De sollicitant die het risico durft te nemen dat de ballon knapt, zou zomaar een goede marketingmanager zijn. Wie op safe speelt, zit wellicht goed bij finance.
  • 26.02.2020 Amsterdam komt met algoritme tegen illegale vakantieadressen (A. le Clercq, bron: De Volkskrant)
    De gemeente Amsterdam gaat de komende zes maanden experimenteren met een nieuw wapen tegen illegale vakantieverhuur. Met behulp van een algoritme moet het makkelijker worden woningen te vinden waar grote kans op woonfraude is. Het algoritme zal onder meer kijken naar de geschiedenis van eerdere woonfraudezaken en de basisregistratie van de gemeente. ‘Die data gebruiken we al en ze worden nu geanalyseerd door mensen. Zij kunnen daar patronen in ontwaren, maar algoritmes kunnen dat beter en vooral sneller. Net als het leggen van dwarsverbanden.’ Het analyseren van data duurt soms weken, vertelt Bolkestein. ‘Een algoritme doet dat in minder dan een seconde.’ Wat het algoritme niet gaat doen, is beslissen. ‘Dat is een taak voor mensen.’

→ Klik hier voor alle nieuws- en blogberichten.

Europese Unie

2020

  • 16.04.2020 Why a proposed HUD rule could worsen algorithm-driven housing discrimination (J. Villasenor & V. Foggo, source: Brookings)
    In 1968 Congress passed and President Lyndon B. Johnson then signed into law the Fair Housing Act (FHA), which prohibits housing-related discrimination on the basis of race, color, religion, sex, disability, familial status, and national origin. Administrative rulemaking and court cases in the decades since the FHA’s enactment have helped shape a framework that, for all of its shortcomings, has nonetheless been a vital tool for combating housing discrimination. But a proposed rule published in August 2019 by the Department of Housing and Urban Development (HUD) threatens to undermine attempts to combat algorithm-driven housing discrimination.
  • 19.02.2020 Shaping Europe's digital future: Commission presents strategies for data and Artificial Intelligence (source: press release European Commission)
    Today, the Commission unveils its ideas and actions for a digital transformation that works for all, reflecting the best of Europe: open, fair, diverse, democratic and confident. It presents a European society powered by digital solutions that put people first, opens up new opportunities for businesses, and boosts the development of trustworthy technology to foster an open and democratic society and a vibrant and sustainable economy. Digital is a key enabler to fighting climate change and achieving the green transition. The European data strategy and the policy options to ensure the human-centric development of Artificial Intelligence (AI) presented today are the first steps towards achieving these goals.

2019

  • 14.11.2019 Τhe EESC proposes introducing EU certification for "trusted AI" products (source: European Economic and Social Committee (EESC))
    The European Economic and Social Committee (EESC) suggests that the EU should develop a certification for trustworthy AI applications, to be delivered by an independent body after testing the products for key requirements such as resilience, safety, and absence of prejudice, discrimination or bias. The proposal has been put forward in two recent EESC opinions assessing the European Commission's ethical guidelines on AI. Both EESC opinions – one covering the communication on Building trust in human-centric artificial intelligence as a whole and the other on its specific implications for the automotive sector – stress that such a certification would go a long way towards increasing public trust in artificial intelligence (AI) in Europe. The EESC proposes entrusting the testing to an independent body – an agency, a consortium or some other entity to be determined – which would test the systems for prejudice, discrimination, bias, resilience, robustness and particularly safety. Companies could use the certificate to prove that they are developing AI systems that are safe, reliable and in line with European values and standards.
  • 30.10.2019 Building Trust in Human-Centric Artificial Intelligence (source: European Economic and Social Committee (EESC))
    AI systems must comply with existing legislation. It is important to identify which challenges can be met by means of codes of ethics, self-regulation and voluntary commitments and which need to be tackled by regulation and legislation supported by oversight and, in the event of non-compliance, penalties. The EESC:
    • reiterates the need to consult and inform workers when AI systems are introduced that are likely to alter the way work is organised, supervised and overseen. The Commission must promote social dialogue with a view to involving workers in the uses of AI systems;
    • calls for the development of a robust certification system based on test procedures that enable companies to state that their AI systems are reliable and safe. It proposes developing a European trusted-AI Business Certificate based partly on the assessment list put forward by the high-level experts' group on AI;
    • recommends that clear rules be drawn up assigning responsibility to natural persons or legal entities in the event of non-compliance;
    • also urges the Commission to review the General Data Protection Regulation (GDPR) and related legislation on a frequent basis in light of developments in technology.
  • 30.09.2019 European Parliamentary Research Service issues a briefing paper on implementing EU’s ethical guidelines on AI (M. Hansen, S. Jungyun Choi, G. Nash & L. Richardson, source: Inside privacy - Covington)
    On 19 September 2019, the European Parliamentary Research Service (“EPRS”) – the European Parliament’s in-house research service – released a briefing paper that summarizes the current status of the EU’s approach to developing a regulatory framework for ethical AI.  Although not a policymaking body, the EPRS can provide useful insights into the direction of EU policy on an issue.  The paper summarizes recent calls in the EU for adopting legally binding instruments to regulate AI, in particular to set common rules on AI transparency, set common requirements for fundamental rights impact assessments, and provide an adequate legal framework for facial recognition technology.
  • 19.01.2019 EU guidelines on ethics in artificial intelligence: Context and implementation (T. Madiega, source: European Parliamentary Research Service Blog)
    The discussion around artificial intelligence (AI) technologies and their impact on society is increasingly focused on the question of whether AI should be regulated. Following the call from the European Parliament to update and complement the existing Union legal framework with guiding ethical principles, the EU has carved out a ‘human-centric’ approach to AI that is respectful of European values and principles. As part of this approach, the EU published its guidelines on ethics in AI in April 2019, and European Commission President-elect, Ursula von der Leyen, has announced that the Commission will soon put forward further legislative proposals for a coordinated European approach to the human and ethical implications of AI. Against this background, this paper aims to shed some light on the ethical rules that are now recommended when designing, developing, deploying, implementing or using AI products and services in the EU.
  • 26.06.2019 EU artificial intelligence ethics checklist ready for testing as new policy recommendations are published (source: European Commission)
    The European Commission has launched the pilot phase of the ethics guidelines for trustworthy AI, as the High-Level Expert Group on Artificial Intelligence released its policy recommendations.
  • 08.04.2019 Kunstmatige intelligentie: Commissie werkt verder aan ethische richtsnoeren (bron: persbericht Europese Commissie)
    De Commissie presenteert de volgende stappen voor het scheppen van vertrouwen in kunstmatige intelligentie. Daarbij maakt zij gebruik van het werk van de deskundigengroep op hoog niveau. Voortbouwend op de werkzaamheden van de in juni 2018 benoemde groep onafhankelijke deskundigen start de Commissie vandaag een proeffase om ervoor te zorgen dat de ethische richtsnoeren voor de ontwikkeling en het gebruik van kunstmatige intelligentie in de praktijk kunnen worden toegepast. De Commissie vraagt de industrie, onderzoeksinstellingen en overheidsinstanties om de gedetailleerde evaluatielijst te testen die de deskundigengroep als aanvulling op de richtsnoeren heeft opgesteld. De vandaag gepresenteerde plannen vloeien voort uit de KI-strategie die de Commissie in april 2018 heeft gepresenteerd en die bedoeld is om de publieke en private investeringen in de komende tien jaar op te voeren tot ten minste 20 miljard euro per jaar, meer gegevens beschikbaar te maken, talent te stimuleren en vertrouwen te wekken.

Buitenland

2020

  • 19.02.2020 The EU just released weakened guidelines for regulating artificial intelligence (A. Chen, source: MIT Technology Review)
    The European Union’s newly released white paper containing guidelines for regulating AI acknowledges the potential for artificial intelligence to “lead to breaches of fundamental rights,” such as bias, suppression of dissent, and lack of privacy. It suggests legal requirements such as: making sure AI is trained on representative data, requiring companies to keep detailed documentation of how the AI was developed, telling citizens when they are interacting with an AI and requiring human oversight for AI systems.
  • 16.02.2020 AI systems claiming to 'read' emotions pose discrimination risks (H. Devlin, source: The Guardian)
    Artificial Intelligence (AI) systems that companies claim can “read” facial expressions is based on outdated science and risks being unreliable and discriminatory, one of the world’s leading experts on the psychology of emotion has warned. Lisa Feldman Barrett, professor of psychology at Northeastern University, said that such technologies appear to disregard a growing body of evidence undermining the notion that the basic facial expressions are universal across cultures. As a result, such technologies – some of which are already being deployed in real-world settings – run the risk of being unreliable or discriminatory, she said.
  • 24.01.2020 Vrouw? Computer says no (S. El Kaouakibi, source: De Morgen)
    Artificial Intelligence (AI) valt niet meer weg te denken uit ons dagelijks leven. De personal assistant op je smartphone, talloze vertaalprogramma’s, je Netflix-account die tv-series suggereert op basis van je kijkgedrag of applicaties die hartritmestoornissen opsporen. AI vereenvoudigt niet alleen ons leven, maar zorgt er zelfs voor dat levens worden gered. Tijd is kostbaar en technologie helpt ons om onze tijd efficiënter te benutten. Een manier om meer ruimte te creëren voor jezelf, je werk, of je familie en vrienden. Helaas brengt deze technologische vooruitgang ook uitdagingen met zich mee. Zelfs de techgiganten zijn zich daarvan bewust. Zowel IBM als Google trokken naar Davos met de vraag om meer regels rond AI. De reden? AI kan discriminatie op basis van leeftijd, etniciteit of geslacht in de hand werken.
  • 23.01.2020 Artificiële intelligentie ‘discrimineert’ op de arbeidsmarkt (F. Evers, bron: De Morgen)
    Een job zoeken of een lening afsluiten anno 2020. De kans is groot dat een algoritme dat mee bepaalt. Techbedrijven IBM en Google maken zich daar steeds meer zorgen over. Ze vragen meer overheidsregulering om minderheden en vrouwen beter te beschermen tegen vooroordelen.
  • 22.01.2020 Pitt Cyber Announces Task Force to Prevent Bias in Allegheny County’s Decision-Making Algorithms (D.M. Todd, source: Cyber Pitt)
    In communities across the country, public decisions surrounding parole, health and human services, and hiring are no longer made solely by human beings, but are instead driven by algorithms. In Allegheny County, algorithms help to determine risk assessments for child welfare services and where to deploy police officers, and are expected to become more prevalent in decision making in the years ahead. The algorithms are created to make swift and neutral decisions that are more informed and consistent than those of humans. However, if an algorithms’ code reflects the biases of its human creator, or it was built using data from biased practices, it can exacerbate the same problems it was designed to solve. The University of Pittsburgh Institute for Cyber Law, Policy, and Security announced the creation of the Pittsburgh Task Force on Public Algorithms. The task force, which was convened with support from The Heinz Endowments, is a coalition from Pitt and beyond of researchers, educators, advocates, and public and private sector stakeholders that seeks to establish best practices and practical guidelines for the use of municipal algorithms.
  • 20.01.2020 When innovation brings the risk of bias (source: Ius Laboris)
    Employers who automate recruitment need to guard against unexpected bias. HR professionals are in the front line in the battle against discrimination, working to ensure that their organizations treat employees and job applicants without bias. This battle has a long way to go. The average white job hunter in France gets 83 per cent more callbacks after interviews than a non-white applicant, according to a study led by Northwestern University that was published over the summer. Even in the US – where hiring by large employers is subject to strict racial monitoring in an attempt to eradicate bias – white applicants get 33 per cent more callbacks, the study said. Historically, legislation was seen as the answer. Most developed countries make discrimination illegal around protected characteristics like gender, disability, age, ethnicity and sexual orientation. However, technology is now often heralded as the savior, particularly in relation to unfairness in recruiting. A plethora of solutions exist, each aiming to root out unfairness in its own way. They aim to make rational, fact-based decisions more scientifically than humans, some through gamification or better psychometrics, others by using artificial intelligence (AI) to sift candidates. Some even deploy facial recognition technology that they say can discern characteristics but is blind to ethnicity.
  • 18.01.2020 European Union mulls new tougher rules for artificial intelligence (N. Drozdiak (Bloomberg), source: Daily Herald)
    The European Union is considering new legally binding requirements for developers of artificial intelligence in an effort to ensure modern technology is developed and used in an ethical way. The EU's executive arm is set to propose the new rules apply to "high-risk sectors," such as health care and transport, and suggest the bloc updates safety and liability laws, according to a draft of a so-called "white paper" on artificial intelligence obtained by Bloomberg. The European Commission is due to unveil the paper in mid-February and the final version is likely to change.
  • 15.01.2020 Employers Beware: The Illinois Artificial Intelligence Video Interview Act Is Now in Effect (A. Burnstein & K. DiPrima, source: AD Law Access)
    On January 1, 2020, the Artificial Intelligence Video Interview Act went into effect in Illinois.  This is the first state law regulating the use of AI for employee interviews. Illinois’ law reflects increasing scrutiny in the United States and globally of biometrics practices. The law is consistent with U.S. policymakers’ focus on addressing significant concrete harm (e.g., employment decisions) in connection with the use of AI and data analytics.

→ Klik hier voor alle nieuws- en blogberichten.

^ Back to top

LiteratuurLiteratuur

Nederland

Boeken

2019

  • L.R. van den Berg, S. Geldermans, A.A. Heeres, N.W. Noort, J.T.J. van de Riet, S.E.C. Vonk & H.J. Weijers (red.), Recht en technologie. Vraagstukken van de digitale revolutie, Den Haag: Bju 2019
    In het boek worden veel verschillende onderwerpen belicht. Het boek bestaat uit vijf delen: algemene beschouwingen, recht en algoritmen, regulering en digitalisering, het contractenrecht in 2025 en aansprakelijkheid en rechtssubjectiviteit. Elk deel bestaat uit een tot drie hoofdstukken waarin verschillende onderwerpen die vallen onder deze thema’s, worden besproken

2016

  • L.A.W. Janssens (ed.), The Art of Ethics in the Information Society, Amsterdam University Press B.V. 2016
    New technologies are often implemented before their ethical consequences have been fully understood. In this volume, experts working in the sciences, arts, and philosophy of technology share novel perspectives on how we can best identify and navigate the new ethical crossroads emerging in our information society. With an eye toward the future, the contributors present an essential and unique view on the interplay between ethics and modern technology.

Tijdschriften

2020

  • S. van Schendel, ‘Inzet SyRI onvoldoende inzichtelijk en controleerbaar en strijdig met fundamentele rechten’, P&I 2020/2, p. 69-72
  • W.L. Roozendaal, ‘Systeem Risico Indicatie in strijd met artikel 8 EVRM’, TRA 2020/49
  • R. van den Hoven van Genderen, Algoritmen en AI: distopische black box of glazen bol? Is een wettelijk kader voor transparantie van algoritmen mogelijk en wenselijk?, Computerrecht 2020/5
    Algoritmen besturen en bepalen meer en meer de besluitvorming van overheid, bedrijfsleven en personen over personen. Besluitvorming met rechtsgevolgen voor de betrokkenen moet volgens de AVG transparant en verklaarbaar zijn. Wat betekenen die eisen voor de ontwikkeling en toepassing van algoritmen? Is regulering realistisch, zijn algemene beginselen een beter idee of worden we “slaves to the Algorithm”? Dit artikel is als volgt opgebouwd: de werking van algoritmen wordt kort verklaard, vervolgens wordt aangegeven wat met transparantie en verklaarbaarheid wordt bedoeld, in algemene zin en ten aanzien van algoritmen.
  • E.J. van Praag & W.E. Slooff, ‘Ondernemingsrecht, Differentiatie of discriminatie van klanten van (financiële) ondernemingen. En hoe werkt dat bij algoritmen?’, Ondernemingsrecht 2020/14
    Financiële ondernemingen kunnen, met het voortschrijden van de techniek, in toenemende mate klanten verschillend behandelen. Er zijn nauwelijks bepalingen opgenomen in financiële toezichtregelgeving, algemeen privaatrecht of privacyregelgeving die ongelijke behandeling verbieden. Het juridische kader omtrent het verschillend behandelen van klanten bestaat dan ook vooral uit de AWGB en de WGB/CZ. De auteurs passen dit kader toe op de geïdentificeerde drie redenen waarom financiële ondernemingen klanten verschillend zouden willen behandelen. Voor de toelaatbaarheid van het maken van onderscheid is het van belang of er sprake is van direct of indirect onderscheid. Van direct onderscheid is sprake wanneer een persoon op een andere wijze wordt behandeld dan een ander in een vergelijkbare situatie vanwege een verboden grond, bijvoorbeeld ras of religie. Direct onderscheid is altijd verboden. Bij indirect onderscheid gaat het erom dat een ogenschijnlijke neutrale handelswijze bepaalde groepen bijzonder treft. Indirect onderscheid kan gerechtvaardigd worden. De auteurs bespreken aan de hand van de jurisprudentie de mogelijkheden hiertoe. Wat een goede rechtvaardiging is voor indirect onderscheid is uiteindelijk echter een maatschappelijke afweging. Met betrekking tot zelflerende algoritmen is het relevant dat deze algoritmen ook (impliciet) discriminerende conclusies kunnen trekken zonder dat de eigenaren van de algoritmen dit weten. De auteurs pleiten er dan ook voor om proactief te zoeken naar groepen die mogelijk benadeeld worden door beleid (en of algoritmen) van een onderneming, zodat de onderneming zich een (actueel) oordeel over de maatschappelijke acceptatie kan vormen. Zo zal een verstandige financiële onderneming de risico’s van de inzet van algoritmen meenemen in de SIRA of in het product approval proces (PARP).

2019

  • M. Vetzo & J.H. Gerards, Algoritme-gedreven technologieën en grondrechten, Computerrecht 2019/3
    De opkomst van algoritme-gedreven technologieën als Big Data-analyse, Internet of Things en Kunstmatige Intelligentie levert een breed scala aan nieuwe grondrechtelijke uitdagingen op. Deze technologieën hebben bijvoorbeeld effect op de keuzes die we maken en daarmee op onze persoonlijke autonomie, en ingebouwde vooroordelen in algoritmes kunnen leiden tot ongelijke behandeling. Nadere identificatie en analyse van de diverse grondrechtelijke uitdagingen is nodig om een gerichte aanpak van de problemen mogelijk te maken. In dit artikel wordt daarom in kaart gebracht wat de (potentiële) knelpunten zijn waar het gaat om de impact van algoritme-gedreven technologieën op vrijheidsrechten, gelijkheidsrechten, privacyrechten en procedurele rechten.
  • M. Galic, ‘Surveillance, privacy and public space in the Stratumseind Living Lab’, AA 2019/7, p. 570-579
    In deze bijdrage aan het bijzonder nummer van Ars Aequi over privacy bekijkt de auteur het fenomeen ‘smart cities’ met behulp van het project ‘Stratumseind Living Lab’. Deze Eindhovense uitgaansstraat heeft allerlei snufjes om de publieke ruimte in de gaten te houden en waar nodig bij te sturen. Wat betekent dit voor de privacy en de autonomie van het publiek?
  • W. Sauter, ‘Toezicht en toezichthouders op Big Tech: nog geen algoritme in zicht’, M&M 2019, nr. 4, p. 133-135
    Dit redactioneel bevat een bespiegeling over de inrichting van het toezicht op Big Tech in de Verenigde Staten, ontwikkelingen binnen de EU, en nationale suggesties tot het instellen van een Algoritmeautoriteit.
  • M. Kullmann, ‘Discriminating job applicants through algorithmic decision-making’, ArsAequi 2019, 1, p. 46-53
    As an increasing number of hiring(-related) decisions have been delegated to algorithms, the author explores the question to what extent EU non-discrimination laws, in combination with the General Data Protection Regulation (EU) 2016/679, provide (unsuccessful) job applicants with sufficient legal means to address any discriminatory or biased automated decision taken by an employer.
  • M. Kullmann, ‘Platformwerk, besluitvorming door algoritmen en bewijs van algoritmische discriminatie’, Ondernemingsrecht 2019/8
    In deze bijdrage wordt stilgestaan bij de vraag in hoeverre het huidige EU non-discriminatierecht nog wel geschikt is in tijden van algoritmische besluitvorming. Deze bijdrage begint met een korte analyse van werken in de platformeconomie en de uitdagingen die het meebrengt, om daarna de rol van algoritmen en hun vermogen om discriminerende beslissingen te nemen te analyseren. Vervolgens wordt gekeken naar het EU non-discriminatierecht en, om de mogelijke knelpunten rondom algoritmische discriminatie te kunnen concretiseren, in het bijzonder naar het beginsel van gelijke beloning voor mannen en vrouwen (art. 157 VWEU). Met name wordt gekeken wat het betekent indien bedrijven hun algoritmen als bedrijfsgeheim kwalificeren en dus toegang tot het beslissingsmodel en de gegevensbronnen (willen) weigeren alsmede de rol van de Algemene Verordening Gegevensbescherming.

2018

  • H. Lammerant, P. Blok & P. de Hert, ‘Big data besluitvormingsprocessen en sluipwegen van discriminatie’, NTM | NJCM-Bull. jrg. 43 [2018], nr. 1, p. 3-24 (bron: www.NJCM.nl)
    Het gebruik van big data heeft een grote vlucht genomen in zowel de private als de publieke sector. In dit artikel wordt de verhouding tussen big-datatoepassingen en discriminatie onderzocht. Het inzetten van big-datatoepassingen kan discriminatie tegengaan, maar kan ook via verschillende sluipwegen discriminatie veroorzaken. Het artikel laat zien hoe de gelijke-behandelingswetgeving en het fundamentele non-discriminatierecht de problematische kanten van op big data gebaseerde besluitvorming kan opvangen.
  • M. Jovović, ‘Ter Visie – Algoritmische discriminatie’, TAO 2018, nr. 4, p. 141-145
    'Slimme algoritmes' nemen steeds meer arbeidsrechtelijk relevante beslissingen. Zo kunnen zelflerende systemen onder meer worden ingezet om te bepalen wie promotie krijgt of welk cv wordt geselecteerd in een sollicitatieprocedure. Ook in de opkomende platformeconomie worden veel arbeidsrechtelijk relevante beslissingen genomen door geautomatiseerde systemen: wie doet welke klus en tegen welke beloning? Het is de vraag of dit soort beslissingen ook eerlijk(er) zijn wanneer zij geautomatiseerd zijn. Zelflerende algoritmes kunnen namelijk tot niet objectief te rechtvaardigen resultaten komen, zowel doordat het algoritme de vooroordelen van de programmeurs of hun opdrachtgevers weerspiegelt, als doordat het is getraind met historische oefendata die is voortgekomen uit een ongelijke historische situatie. In deze 'Ter Visie' verkent Marko Jovović twee arbeidsrechtelijk relevante, hiermee samenhangende, eigenaardigheden van zelflerende systemen.
  • S.D. Burri & S. Heeger-Hertter, ‘Discriminatie in de platformeconomie juridisch bestrijden: geen eenvoudige zaak’, AA 2018/12, p. 1000-1008
    Onderzoek wijst uit dat ook in de platformeconomie discriminatie voorkomt. Dit artikel biedt een verkenning van de juridische (on)mogelijkheden om discriminatie in de relaties tussen platform, platformwerkers en klanten te bestrijden. De Nederlandse gelijkebehandelingswetgeving biedt daartoe beslist mogelijkheden, maar deze zijn niet onbeperkt. 

Buitenland

Boeken

2019

2016

2015

  • F. Pasquale, The Black Box Society. The Secret Algorithms That Control Money and Information, Harvard University Press 2015 (source: Rita Raley)
    Every day, corporations are connecting the dots about our personal behavior—silently scrutinizing clues left behind by our work habits and Internet use. The data compiled and portraits created are incredibly detailed, to the point of being invasive. But who connects the dots about what firms are doing with this information? The Black Box Society argues that we all need to be able to do so – and to set limits on how big data affects our lives. Hidden algorithms can make (or ruin) reputations, decide the destiny of entrepreneurs, or even devastate an entire economy. Shrouded in secrecy and complexity, decisions at major Silicon Valley and Wall Street firms were long assumed to be neutral and technical. But leaks, whistleblowers, and legal disputes have shed new light on automated judgment. Self-serving and reckless behavior is surprisingly common, and easy to hide in code protected by legal and real secrecy. Even after billions of dollars of fines have been levied, underfunded regulators may have only scratched the surface of this troubling behavior.

Tijdschriften

2019

  • 26.06.2019 M. Raghavan, S. Barocas, J. Kleinberg & K. Levy, Mitigating Bias in Algorithmic Hiring: Evaluating Claims and Practices (source: Cornel University - Arxiv.org)
    There has been rapidly growing interest in the use of algorithms for employment assessment, especially as a means to address or mitigate bias in hiring. Yet, to date, little is known about how these methods are being used in practice. How are algorithmic assessments built, validated, and examined for bias? In this work, we document and assess the claims and practices of companies offering algorithms for employment assessment, using a methodology that can be applied to evaluate similar applications and issues of bias in other domains. In particular, we identify vendors of algorithmic pre-employment assessments (i.e., algorithms to screen candidates), document what they have disclosed about their development and validation procedures, and evaluate their techniques for detecting and mitigating bias. We find that companies' formulation of "bias" varies, as do their approaches to dealing with it. We also discuss the various choices vendors make regarding data collection and prediction targets, in light of the risks and trade-offs that these choices pose. We consider the implications of these choices and we raise a number of technical and legal considerations. 
  • 09.06.2019 S. Kozuka, A governance framework for the development and use of artificial intelligence: lessons from the comparison of Japanese and European initiatives, Uniform Law Review (source: Oxford Academic) [zichtbaar na inlog / registratie]
    When a new type of technology emerges, law and lawyers often face two, contradictory demands. On the one hand, some rules of the existing law are found to be an impediment to the development and application of the technology. In such cases, changes to the relevant law are demanded. On the other hand, developers of the technology often claim that the absence of an established rule, often a rule on the liability, creates a lack of predictability and deters further development of the technology. The result will be the demand for clear guidance about what may be done and what should not be done.
  • 07.06.2019 J. Silberg & J. Manyika, Notes from the AI frontier: Tackling bias in AI (and in humans) (source: McKinsey Global Institute)
    The growing use of artificial intelligence in sensitive areas, including for hiring, criminal justice, and healthcare, has stirred a debate about bias and fairness. Yet human decision making in these and other domains can also be flawed, shaped by individual and societal biases that are often unconscious. Will AI’s decisions be less biased than human ones? Or will AI make these problems worse? In, Notes from the AI frontier: Tackling bias in AI (and in humans), we provide an overview of where algorithms can help reduce disparities caused by human biases, and of where more human vigilance is needed to critically analyze the unfair biases that can become baked in and scaled by AI systems. This article, a shorter version of that piece, also highlights some of the research underway to address the challenges of bias in AI and suggests six pragmatic ways forward.
  • 13.05.2019 C. Rudin, 'Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead', Nature Machine Intelligence, 2019 vol. 1, p. 206–215 (source: Nature Machine Intelligence)
    Black box machine learning models are currently being used for high-stakes decision making throughout society, causing problems in healthcare, criminal justice and other domains. Some people hope that creating methods for explaining these black box models will alleviate some of the problems, but trying to explain black box models, rather than creating models that are interpretable in the first place, is likely to perpetuate bad practice and can potentially cause great harm to society. The way forward is to design models that are inherently interpretable. This Perspective clarifies the chasm between explaining black boxes and using inherently interpretable models, outlines several key reasons why explainable black boxes should be avoided in high-stakes decisions, identifies challenges to interpretable machine learning, and provides several example applications where interpretable models could potentially replace black box models in criminal justice, healthcare and computer vision.
  • 22.04.2019 J. Kleinberg, J. Ludwig, S. Mullainathan & C.R. Sunstein, 'Discrimination In The Age Of Algorithms', Journal of Legal Analysis 2018 vol. 10, p. 113-174 (source: Oxford Academic)
    The law forbids discrimination. But the ambiguity of human decision-making often makes it hard for the legal system to know whether anyone has discriminated. To understand how algorithms affect discrimination, we must understand how they affect the detection of discrimination. With the appropriate requirements in place, algorithms create the potential for new forms of transparency and hence opportunities to detect discrimination that are otherwise unavailable. The specificity of algorithms also makes transparent tradeoffs among competing values. This implies algorithms are not only a threat to be regulated; with the right safeguards, they can be a potential positive force for equity.

2018

  • 31.12.2018 P. Eckersley, Impossibility and Uncertainty Theorems in AI Value Alignment (or why your AGI should not have a utility function) (source: CEUR Workshop Proceedings)
    Utility functions or their equivalents (value functions, objective functions, loss functions, reward functions, preference orderings) are a central tool in most current machine learning systems. These mechanisms for defining goals and guiding optimization run into practical and conceptual difficulty when there are independent, multi-dimensional objectives that need to be pursued simultaneously and cannot be reduced to each other. Ethicists have proved several impossibility theorems that stem from this origin; those results appear to show that there is no way of formally specifying what it means for an outcome to be good for a population without violating strong human ethical intuitions (in such cases, the objective function is a social welfare function). We argue that this is a practical problem for any machine learning system (such as medical decision support systems or autonomous weapons) or rigidly rule-based bureaucracy that will make high stakes decisions about human lives: such systems should not use objective functions in the strict mathematical sense. We explore the alternative of using uncertain objectives, represented for instance as partially ordered preferences, or as probability distributions over total orders. We show that previously known impossibility theorems can be transformed into uncertainty theorems in both of those settings, and prove lower bounds on how much uncertainty is implied by the impossibility results. We close by proposing two conjectures about the relationship between uncertainty in objectives and severe unintended consequences from AI systems.
  • 12.12.2018 C.R. Sunstein, ‘Algorithms, Correcting Biases’ (source: SSRN)
    A great deal of theoretical work explores the possibility that algorithms may be biased in one or another respect. But for purposes of law and policy, some of the most important empirical research finds exactly the opposite. In the context of bail decisions, an algorithm designed to predict flight risk does much better than human judges, in large part because the latter place an excessive emphasis on the current offense. Current Offense Bias, as we might call it, is best seen as a cousin of “availability bias,” a well-known source of mistaken probability judgments. The broader lesson is that well-designed algorithms should be able to avoid cognitive biases of many kinds. Existing research on bail decisions also casts a new light on how to think about the risk that algorithms will discriminate on the basis of race (or other factors). Algorithms can easily be designed so as to avoid taking account of race (or other factors). They can also be constrained so as to produce whatever kind of racial balance is sought, and thus to reveal tradeoffs among various social values.
  • 22.08.2018 R. Guidotti, A. Monreale, S. Ruggieri & F. Turini, 'A survey of methods for explaining black box models', ACM Computer Surveys, Vol. 51, No. 5, Article 93 (source: ACM Digital Library)
    In recent years, many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness, sometimes at the cost of sacrificing accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, it explicitly or implicitly delineates its own definition of interpretability and explanation. The aim of this article is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation, this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.
  • 15.08.2018 B.A. Williams, C.F. Brooks & Y. Schmargad, How Algorithms Discriminate Based on Data They Lack: Challenges, Solutions, and Policy Implications, Journal of Information Policy, Vol. 8 (2018), p. 78-115, Penn State University Press (source: JSTOR)
    Organizations often employ data-driven models to inform decisions that can have a significant impact on people's lives (e.g., university admissions, hiring). In order to protect people's privacy and prevent discrimination, these decision-makers may choose to delete or avoid collecting social category data, like sex and race. In this article, we argue that such censoring can exacerbate discrimination by making biases more difficult to detect. We begin by detailing how computerized decisions can lead to biases in the absence of social category data and in some contexts, may even sustain biases that arise by random chance. We then show how proactively using social category data can help illuminate and combat discriminatory practices, using cases from education and employment that lead to strategies for detecting and preventing discrimination. We conclude that discrimination can occur in any sociotechnical system in which someone decides to use an algorithmic process to inform decision-making, and we offer a set of broader implications for researchers and policymakers.
  • 08.08.2018 A.J. Wood, M. Graham & V. Lehdonvirta, ‘Good Gig, Bad Big: Autonomy and Algorithmic Control in the Global Gig Economy’ (source: sagepub.com) [zichtbaar na inlog / registratie]
  • 29.07.2018 T.B. Gillis & J.L Spiess, 'Big Data and Discrimination', University of Chicago Law Review nr. 86.2. (source: The University of Chicago Law Review)
    The ability to distinguish between people in setting the price of credit is often constrained by legal rules that aim to prevent discrimination. These legal requirements have developed focusing on human decision-making contexts, and so their effectiveness is challenged as pricing increasingly relies on intelligent algorithms that extract information from big data. In this Essay, we bring together existing legal requirements with the structure of machine-learning decision-making in order to identify tensions between old law and new methods and lay the ground for legal solutions. We argue that, while automated pricing rules provide increased transparency, their complexity also limits the application of existing law. Using a simulation exercise based on real-world mortgage data to illustrate our arguments, we note that restricting the characteristics that the algorithm is allowed to use can have a limited effect on disparity and can in fact increase pricing gaps. Furthermore, we argue that there are limits to interpreting the pricing rules set by machine learning that hinders the application of existing discrimination laws. We end by discussing a framework for testing discrimination that evaluates algorithmic pricing rules in a controlled environment. Unlike the human decision-making context, this framework allows for ex ante testing of price rules, facilitating comparisons between lenders.
  • 01.07.2018 M. Kullmann, ‘Platform Work, Algorithmic Decision-Making, and EU Gender Equality Law’, International Journal of Comparative Labour Law and Industrial Relations, Vol. 34 (2018), No. 1, p. 1-21 (source: Kluwer Law Online) [zichtbaar na inlog / registratie]
  • 22.06.2018 N. Turner Lee, Detecting racial bias in algorithms and machine learning, Journal of Information, Communication and Ethics in Society 2018, Vol. 16 Issue 3, p. 252-260 (source: Emerald Insight) [zichtbaar na inlog / registratie]
    The online economy has not resolved the issue of racial bias in its applications. While algorithms are procedures that facilitate automated decision-making, or a sequence of unambiguous instructions, bias is a byproduct of these computations, bringing harm to historically disadvantaged populations. This paper argues that algorithmic biases explicitly and implicitly harm racial groups and lead to forms of discrimination. Relying upon sociological and technical research, the paper offers commentary on the need for more workplace diversity within high-tech industries and public policies that can detect or reduce the likelihood of racial bias in algorithmic design and execution.
  • 01.06.2018 D.J. Dalenberg, Preventing discrimination in the automated targeting of job advertisements, Computer Law & Security Review, Volume 34, Issue 3, June 2018, p. 615-627 (source: ScienceDirect) [zichtbaar na inlog / registratie]
    On the background of the increasing amount of discriminatory challenges facing artificial intelligence applications, this paper examines the requirements that are needed to comply with European non-discrimination law to prevent discrimination in the automated online job advertising business. This paper explains under which circumstance the automated targeting of job advertisements can amount to direct or indirect discrimination. The paper concludes with technical recommendations to dismantle the dangers of automated job advertising. Various options like influencing the pre-processing of big data and altering the algorithmic models are evaluated. This paper also examines the possibilities of using techniques like data mining and machine learning to actively battle direct and indirect discrimination. The European non-discrimination directives 2000/43/EC, 2000/78/EC, and 2006/54/EC which prohibit direct and indirect discrimination in the field of employment on the grounds of race or ethnic origin, sex, sexual orientation, religious belief, age and disability are used as a legal framework.
  • 29.05.2018 A. Ingrao, Assessment by Feedback in the On-demand Era, in: E. Ales e.a. (red.), Working in Digital and Smart Organizations Legal, Economic and Organizational Perspectives on the Digitalization of Labour Relations, Palgrave Macmillan, London 2018 (source: SpringerLink) [zichtbaar na inlog / registratie]
  • 25.05.2018 E. Harmon & M.S. Silberman, ‘Rating Working Conditions on Digital Labor Platforms’, Journal of Collaborative Computing and Work Practices, 2018/32 (source: Six Silberman
  • 15.05.2018 J. Kleinberg, J. Ludwig. S. Mullainathan & A. Rambachan, 'Algorithmic Fairness', AEA Papers and Proceedings vol. 108, p. 22-27 (source: American Economic Association)
    Concerns that algorithms may discriminate against certain groups have led to numerous efforts to 'blind' the algorithm to race. We argue that this intuitive perspective is misleading and may do harm. Our primary result is exceedingly simple, yet often overlooked. A preference for fairness should not change the choice of estimator. Equity preferences can change how the estimated prediction function is used (e.g., different threshold for different groups) but the function itself should not change. We show in an empirical example for college admissions that the inclusion of variables such as race can increase both equity and efficiency.
  • 18.04.2018 P. Hacker, Teaching Fairness to Artificial Intelligence: Existing and Novel Strategies Against Algorithmic Discrimination Under EU Law (April 18, 2018), 55 Common Market Law Review 1143-1186 (source: www.ssrn.com) [zichtbaar na inlog / registratie]
    Empirical evidence is mounting that artificial intelligence applications driven by machine learning threaten to discriminate against legally protected groups. As ever more decisions are subjected to algorithmic processes, discrimination by algorithms is rightly recognized by policymakers around the world as a key challenge for contemporary societies. This article suggests that algorithmic bias raises intricate questions for EU law. The existing categories of EU anti-discrimination law do not provide an easy fit for algorithmic decision making, and the statistical basis of machine learning generally offers companies a fast-track to justification. Furthermore, victims won’t be able to prove their case without access to the data and the algorithms, which they generally lack. To remedy these problems, this article suggests an integrated vision of anti-discrimination and data protection law to enforce fairness in the digital age. More precisely, it shows how the concepts of anti-discrimination law may be combined with the enforcement tools of the GDPR to unlock the algorithmic black box. In doing so, the law should harness a growing literature in computer science on algorithmic fairness that seeks to ensure equal protection at the data and code level. The interplay of anti-discrimination law, data protection law and algorithmic fairness therefore facilitates “equal protection by design”. In the end, however, recourse to technology does not prevent the law from making hard normative choices about the implementation of formal or substantive concepts of equality. Understood in this way, the deployment of artificial intelligence not only raises novel risks, but also harbors novel opportunities for consciously designing fair market exchange.
  • 20.03.2018 R. Ducato, M. Kullmann & M. Rocca, ‘Customer ratings as a vector for discrimination in employment relations? Pathways and pitfalls for legal remedies’, Marco Biagi Conference “Assessing Worker performance in a Changing Technological and Societal Environment”, 19-21 March 2018 (source: www.ssrn.com) [zichtbaar na inlog / registratie]

2017

  • 08.06.2017 N. Kilbertus, M. Rojas-Carulla, G. Parascandolo, M. Hardt, D. Janzing & B. Schölkopf, 'Avoiding Discrimination through Causal Reasoning', paper NIPS 2017 (source: NIPS)
    Recent work on fairness in machine learning has focused on various statistical discrimination criteria and how they trade off. Most of these criteria are observational: They depend only on the joint distribution of predictor, protected attribute, features, and outcome. While convenient to work with, observational criteria have severe inherent limitations that prevent them from resolving matters of fairness conclusively. Going beyond observational criteria, we frame the problem of discrimination based on protected attributes in the language of causal reasoning. This viewpoint shifts attention from "What is the right fairness criterion?" to "What do we want to assume about the causal data generating process?" Through the lens of causality, we make several contributions. First, we crisply articulate why and when observational criteria fail, thus formalizing what was before a matter of opinion. Second, our approach exposes previously ignored subtleties and why they are fundamental to the problem. Finally, we put forward natural causal non-discrimination criteria and develop algorithms that satisfy them.
  • 23.05.2017 L. Edwards & M. Veale, Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For (May 23, 2017). 16 Duke Law & Technology Review 18 (source: www.ssrn.com) [zichtbaar na inlog / registratie]
    Algorithms, particularly machine learning (ML) algorithms, are increasingly important to individuals’ lives, but have caused a range of concerns revolving mainly around unfairness, discrimination and opacity. Transparency in the form of a “right to an explanation” has emerged as a compellingly attractive remedy since it intuitively promises to open the algorithmic “black box” to promote challenge, redress, and hopefully heightened accountability. Amidst the general furore over algorithmic bias we describe, any remedy in a storm has looked attractive. However, we argue that a right to an explanation in the EU General Data Protection Regulation (GDPR) is unlikely to present a complete remedy to algorithmic harms, particularly in some of the core “algorithmic war stories” that have shaped recent attitudes in this domain. Firstly, the law is restrictive, unclear, or even paradoxical concerning when any explanation-related right can be triggered. Secondly, even navigating this, the legal conception of explanations as “meaningful information about the logic of processing” may not be provided by the kind of ML “explanations” computer scientists have developed, partially in response. ML explanations are restricted both by the type of explanation sought, the dimensionality of the domain and the type of user seeking an explanation. However, “subject-centric" explanations (SCEs) focusing on particular regions of a model around a query show promise for interactive exploration, as do explanation systems based on learning a model from outside rather than taking it apart (pedagogical versus decompositional explanations) in dodging developers' worries of intellectual property or trade secrets disclosure. Based on our analysis, we fear that the search for a “right to an explanation” in the GDPR may be at best distracting, and at worst nurture a new kind of “transparency fallacy.” But all is not lost. We argue that other parts of the GDPR related (i) to the right to erasure ("right to be forgotten") and the right to data portability; and (ii) to privacy by design, Data Protection Impact Assessments and certification and privacy seals, may have the seeds we can use to make algorithms more responsible, explicable, and human-centered.
  • 27.04.2017 D.R. Desai & J.A. Kroll, ‘Trust But Verify: A Guide To Algorithms And The Law’, Harvard Journal of Law & Technology Vol. 31, no. 1 (source: Harvard Journal of Law & Technology)
    This article begins with a discussion of the law and policy concerns over software systems that have been raised so far and some of the proposed approaches to addressing these concerns. This discussion shows that there are many different issues at play, and many of those issues are proxies for concerns about power and inequality in general, not software specifically. After setting out an understanding of the claimed problems, the Article turns to some fundamental questions about computer science, such as what an algorithm is and whether policy can be general enough to cover all software in the same way. Having set out a brief primer on the underlying computer science, the Article addresses the question of determining what a piece of software will do when it is run. It turns out that it is impossible to determine this reliably and for all programs. With that in mind, the Article reviews the way in which computer scientists have addressed this problem. Using that foundation, we offer recommendations on how to regulate public and private sector uses of software, and propose a legislative change to protect whistleblowers and allow a public interest cause of action as a way to aid in increasing detection of overt misdeeds in designing software. In short, a better understanding of how programs work and how computer scientists address the limits of their field creates tools to manage the evolving world of algorithms and the law. This, in turn, allows society to address justice and safety interests while also enabling many actors to use these new techniques to innovate and improve the world in which we live.
  • 19.04.2017 P. Kim, Data-Driven Discrimination at Work, William & Mary Law Review, Vol. 48, pp. 857-936 (2017), Washington University in St. Louis Legal Studies Research Paper No. 16-12-01 (source: www.ssrn.com) [zichtbaar na inlog / registratie]
    A data revolution is transforming the workplace. Employers are increasingly relying on algorithms to decide who gets interviewed, hired, or promoted. Although data algorithms can help to avoid biased human decision-making, they also risk introducing new sources of bias. Algorithms built on inaccurate, biased, or unrepresentative data can produce outcomes biased along lines of race, sex, or other protected characteristics. Data mining techniques may cause employment decisions to be based on correlations rather than causal relationships; they may obscure the basis on which employment decisions are made; and they may further exacerbate inequality because error detection is limited and feedback effects compound the bias. Given these risks, I argue for a legal response to classification bias — a term that describes the use of classification schemes, like data algorithms, to sort or score workers in ways that worsen inequality or disadvantage along the lines or race, sex, or other protected characteristics. Addressing classification bias requires fundamentally rethinking antidiscrimination doctrine. When decision-making algorithms produce biased outcomes, they may seem to resemble familiar disparate impact cases; however, mechanical application of existing doctrine will fail to address the real sources of bias when discrimination is data-driven. A close reading of the statutory text suggests that Title VII directly prohibits classification bias. Framing the problem in terms of classification bias leads to some quite different conclusions about how to apply the antidiscrimination norm to algorithms, suggesting both the possibilities and limits of Title VII’s liability-focused model.
  • 10.03.2017 State v. Loomis - Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing, 130 Harv. L. Rev. 1530 (source: Harvard Law Review)
    In State v. Loomis, the Wisconsin Supreme Court held that a trial court’s use of an algorithmic risk assessment in sentencing did not violate the defendant’s due process rights even though the methodology used to produce the assessment was disclosed neither to the court nor to the defendant. While the Loomis court provided a procedural safeguard to alert judges to the dangers of these assessments –  a “written advisement” to accompany PSIs – this prescription is an ineffective means of altering judges’ evaluations of risk assessments. The court’s “advisement” is unlikely to create meaningful judicial skepticism because it is silent on the strength of the criticisms of these assessments, it ignores judges’ inability to evaluate risk assessment tools, and it fails to consider the internal and external pressures on judges to use such assessments.
  • 01.03.2017 A. Hannák, C. Wagner, D. Garcia, A. Mislove, M. Strohmaier, C. Wilson, Bias in Online Freelance Marketplaces: Evidence from TaskRabbit and Fiverr, CSCW 2017, p. 1914-1933 (source: Claudia Wagner)
    Online freelancing marketplaces have grown quickly in recent years. In theory, these sites offer workers the ability to earn money without the obligations and potential social biases associated with traditional employment frameworks. In this paper, we study whether two prominent online freelance marketplaces - TaskRabbit and Fiverr - are impacted by racial and gender bias. From these two platforms, we collect 13,500 worker profiles and gather information about workers' gender, race, customer reviews, ratings, and positions in search rankings. In both marketplaces, we find evidence of bias: we find that gender and race are significantly correlated with worker evaluations, which could harm the employment opportunities afforded to the workers. We hope that our study fuels more research on the presence and implications of discrimination in online environments.
  • 10.02.2017 B. Goodman & S. Flaxman, European Union regulations on algorithmic decision-making and a "right to explanation", AI Magazine Vol. 38, No 3, Fall 2017 (source: AI Magazine)
    We summarize the potential impact that the European Union’s new General Data Protection Regulation will have on the routine use of machine learning algorithms. Slated to take effect as law across the EU in 2018, it will restrict automated individual decision-making (that is, algorithms that make decisions based on user-level predictors) which “significantly affect” users. The law will also effectively create a “right to explanation,” whereby a user can ask for an explanation of an algorithmic decision that was made about them. We argue that while this law will pose large challenges for industry, it highlights opportunities for computer scientists to take the lead in designing algorithms and evaluation frameworks which avoid discrimination and enable explanation.

2016

  • B. D. Mittelstadt, P, Allo, M. Taddeo, S. Wachter & L. Floridi, The ethics of algorithms: Mapping the debate, Big Data & Society (source: Sagepub)
    In information societies, operations, decisions and choices previously left to humans are increasingly delegated to algorithms, which may advise, if not decide, about how data should be interpreted and what actions should be taken as a result. More and more often, algorithms mediate social processes, business transactions, governmental decisions, and how we perceive, understand, and interact among ourselves and with the environment. Gaps between the design and operation of algorithms and our understanding of their ethical implications can have severe consequences affecting individuals as well as groups and whole societies. This paper makes three contributions to clarify the ethical importance of algorithmic mediation. It provides a prescriptive map to organise the debate. It reviews the current discussion of ethical aspects of algorithms. And it assesses the available literature in order to identify areas requiring further work to develop the ethics of algorithms.
  • 19.10.2016 A. Rosenblat, K. Levy, S. Barocas & T. Hwang, Discriminating Tastes: Customer Ratings as Vehicles for Bias (www.ssrn.com) [zichtbaar na inlog / registratie]
  • 01.06.2016 I. Zliobaite & B. Custers, Using sensitive personal data may be necessary for avoiding discrimination in data-driven decision models, Artificial Intelligence and Law (24): 183-201 (source: www.ssrn.com) [zichtbaar na inlog / registratie]
    Increasing numbers of decisions about everyday life are made using algorithms. By algorithms we mean predictive models (decision rules) captured from historical data using data mining. Such models often decide prices we pay, select ads we see and news we read online, match job descriptions and candidate CVs, decide who gets a loan, who goes through an extra airport security check, or who gets released on parole. Yet growing evidence suggests that decision making by algorithms may discriminate people, even if the computing process is fair and wellintentioned. This happens due to biased or non-representative learning data in combination with inadvertent modeling procedures. From the regulatory perspective there are two tendencies in relation to this issue: (1) to ensure that data-driven decision making is not discriminatory, and (2) to restrict overall collecting and storing of private data to a necessary minimum. This paper shows that from the computing perspective these two goals are contradictory. We demonstrate empirically and theoretically with standard regression models that in order to make sure that decision models are non-discriminatory, for instance, with respect to race, the sensitive racial information needs to be used in the model building process. Of course, after the model is ready, race should not be required as an input variable for decision making. From the regulatory perspective this has an important implication: collecting sensitive personal data is necessary in order to guarantee fairness of algorithms, and law making needs to find sensible ways to allow using such data in the modelling process.
  • 01.01.2016 B. Goodman, A Step Towards Accountable Algorithms?: Algorithmic Discrimination and the European Union General Data Protection (source: Semantic Scholar)
    Algorithms, and the data they process, play an increasingly important role in decisions with significant consequences for human welfare. This trend has given rise to calls for greater accountability in algorithm design and implementation, and concern over the emergence of algorithmic discrimination. In that spirit, this paper asks whether and to what extent the European Union’s recently adopted General Data Protection Regulation (GDPR) successfully addresses algorithmic discrimination.

2015

2014

  • 08.10.2014 A. Rosenblat, T. Kneese & D. Boyd, Networked Employment Discrimination, Open Society Foundations, Future of Work Commissioned Research Papers 2014 (source: Data&Society Research Institute)
    Employers often struggle to assess qualified applicants, particularly in contexts where they receive hundreds of applications for job openings. In an effort to increase efficiency and improve the process, many have begun employing new tools to sift through these applications, looking for signals that a candidate is “the best fit.” Some companies use tools that offer algorithmic assessments of workforce data to identify the variables that lead to stronger employee performance, or to high employee attrition rates, while others turn to third party ranking services to identify the top applicants in a labor pool. Still others eschew automated systems, but rely heavily on publicly available data to assess candidates beyond their applications. For example, some HR managers turn to LinkedIn to determine if a candidate knows other employees or to identify additional information about them or their networks. Although most companies do not intentionally engage in discriminatory hiring practices (particularly on the basis of protected classes), their reliance on automated systems, algorithms, and existing networks systematically benefits some at the expense of others, often without employers even recognizing the biases of such mechanisms. The intersection of hiring practices and the Big Data phenomenon has not produced inherently new challenges. However, our current regulatory regimes may be ill-equipped to identify and address inequalities in data-centric hiring systems, amplifying existing issues.
  • 01.09.2014 T. Gillespie, P.J. Boczkowski, & K.A. Foot, The Relevance of Algorithms, Media Technologies: Essays on Communication, Materiality, and Society (source: MIT Press Scholarship Online) [zichtbaar na inlog / registratie]
    Algorithms (particularly those embedded in search engines, social media platforms, recommendation systems, and information databases) play an increasingly important role in selecting what information is considered most relevant to us, a crucial feature of our participation in public life. As we have embraced computational tools as our primary media of expression, we are subjecting human discourse and knowledge to the procedural logics that undergird computation. What we need is an interrogation of algorithms as a key feature of our information ecosystem, and of the cultural forms emerging in their shadows, with a close attention to where and in what ways the introduction of algorithms into human knowledge practices may have political ramifications. This essay is a conceptual map to do just that. It proposes a sociological analysis that does not conceive of algorithms as abstract, technical achievements, but suggests how to unpack the warm human and institutional choices that lie behind them, to see how algorithms are called into being by, enlisted as part of, and negotiated around collective efforts to know and be known.

2013

  • 01.09.2013 E. Bozdag, Bias in algorithmic filtering and personalization, Ethics and Information Technology, September 2013, Volume 15, Issue 3, pp 209–227 (source: SpringerLink) [zichtbaar na inlog / registratie]
    Online information intermediaries such as Facebook and Google are slowly replacing traditional media channels thereby partly becoming the gatekeepers of our society. To deal with the growing amount of information on the social web and the burden it brings on the average user, these gatekeepers recently started to introduce personalization features, algorithms that filter information per individual. In this paper we show that these online services that filter information are not merely algorithms. Humans not only affect the design of the algorithms, but they also can manually influence the filtering process even when the algorithm is operational. We further analyze filtering processes in detail, show how personalization connects to other filtering techniques, and show that both human and technical biases are present in today’s emergent gatekeepers. We use the existing literature on gatekeeping and search engine bias and provide a model of algorithmic gatekeeping.

2011

  • 03.08.2011 D.G. Pope & J.R. Sydnor, 'Implementing Anti-Discrimination Policies in Statistical Profiling Models', American Economic Journal: Economic Policy 2011-3, p. 206–231 (source: American Economic Association)
    How should statistical models used for assigning prices or eligibility be implemented when there is concern about discrimination? In many settings, factors such as race, gender, and age are prohibited. However, the use of variables that correlate with these omitted characteristics (e.g., zip codes, credit scores) is often contentious. We provide a framework to address these issues and propose a method that can eliminate proxy effects while maintaining predictive accuracy relative to an approach that restricts the use of contentious variables outright. We illustrate the value of our proposed method using data from the Worker Profiling and Reemployment Services system.

^ Back to top

Rapporten / onderzoeken / studiesRapporten

Nederland

2020

  • 08.04.2020 D. Das, R. de Jong & L. Kool, m.m.v. J. Gerritsen, Rapport Werken op waarde geschat -'Grenzen aan digitale monitoring op de werkvloer door middel van data, algoritmen en AI' (bron: Rathenau Intituut)
    Door data uit verschillende bronnen te combineren kunnen bedrijven werknemers in de gaten houden. Zo kunnen digitale analyse-instrumenten twijfelachtige verbanden leggen om tot conclusies te komen over complexe zaken als geschiktheid, motivatie en productiviteit. De instrumenten kunnen werknemers benadelen, bijvoorbeeld als het gaat om een beoordeling voor een baan, promotie of contractverlenging. Het Rathenau Instituut vraagt werkgevers, werkenden en de overheid grenzen te stellen.

2019

  • 25.09.2019 Why addressing ethical questions in AI will benefit organizations en de bijbehorende infographic (bron: Capgemini Research Institute)
  • 19.08.2019 B. van der Sloot & S. van Schendel, De Modernisering van het Nederlands Procesrecht in het licht van Big Data. Procedurele waarborgen en een goede toegang tot het recht als randvoorwaarden voor een data-gedreven samenleving, Universiteit van Tilburg - Tilburg Institute for Law, Technology and Society (TILT) (bron: WODC)
    Big Data en data-gedreven toepassingen vormen een steeds structureler onderdeel van zowel de publieke als de private sector. Als steeds meer processen binnen de overheid data-gedreven worden, dan is het belangrijk een aantal aanpassingen te doen in recht en beleid. In deze studie is bekeken welke aanpassingen voor een betere en stevigere inbedding van Big Data in de Nederlandse publieke sector kunnen zorgen, waarbij algemene en maatschappelijke belangen zijn gewaarborgd, belanghebbenden op een effectieve wijze hun recht kunnen halen en de principes van procedurele rechtvaardigheid en procesrechtelijke randvoorwaarden een volwassen positie innemen.  De kernvraag die beantwoord moest worden is: Hoe zouden de mogelijkheden voor burgers en belangenorganisaties om besluitvorming op basis van Big Data-toepassingen te laten toetsen door de rechter desgewenst kunnen worden uitgebreid? De kernopdracht was dus het verkennen van diverse mogelijke rechtsvormen die in het Nederlandse rechtsstelsel zouden kunnen worden geïntroduceerd, niet of dit wenselijk of noodzakelijk is. Daarbij is gekozen voor nadruk op een analyse van de rechtsvormen die in de Nederland omringende landen beschikbaar zijn.
  • 25.07.2019 Artificiële intelligentie in de verzekeringssector: een verkenning (bron: AFM en DNB)
    De Autoriteit Financiële Markten (AFM) en De Nederlandsche Bank (DNB) voorzien een snel toenemende inzet van artificiële intelligentie (AI) in de Nederlandse verzekeringssector. Het is daarbij van belang dat AI wordt ingezet op een manier die verantwoord en in lijn is met de eisen rondom integere en beheerste bedrijfsvoering, productontwikkeling en zorgplicht. De AFM en DNB presenteren daarom een verkenning met tien aandachtspunten waarop verdere verdieping noodzakelijk is, waaronder het aandachtspunt hoe kan het gebruik van verbanden die leiden tot onwettig onderscheid (discriminatie) vermeden worden.
  • 26.06.2019 Onderzoeksrapport FNV ‘Riders verdienen beter – De maaltijdbezorgsector in Nederland’ (bron: FNV)
    Om een socialer Nederland te bereiken in de maaltijdbezorgingswereld doet FNV in dit rapport aantal aanbevelingen. (1) Gezien de groei van de subsector en het risico op verdere cao-ondermijning vindt FNV het belangrijk dat er nader onderzoek wordt gedaan naar de omvang, groei en toekomstplannen van alle bedrijven in deze subsector. (2) De overheid moet gaan naleven. De maaltijdbezorgsector laat zien hoe snel de arbeidsmarkt zich in de verkeerde richting ontwikkelt. En vooral hoe lucratief het is. De overheid kan niet langer op zijn handen blijven zitten. Daarom is het noodzakelijk dat het moratorium op de uitvoering van de Wet DBA opgeheven wordt en dat de Belastingdienst met spoed gaat vaststellen dat het om werknemers gaat in deze sector. De uitspraak van de rechter, de heel lage tarieven en de wijze van aansturing zijn duidelijke aanwijzingen dat de riders niet echt zelfstandig zijn. (3) De rider is een werknemer. Hij werkt onder het gezag en leiding en toezicht van het platform. Het platform bepaalt de tarieven. Werkgevers werpen een technisch rookgordijnen op door te zeggen dat er geen gezag wordt uitgeoefend en de app en het algoritme alleen maar digitale instrumenten en werktuigen zijn. Dit is bezijden de waarheid. Alle signalen, zoals screenshots, documenten en gesprekken wijzen op een gezagsverhouding bij Deliveroo en UberEATS. Daarom wil de FNV dat er automatisch sprake is van een arbeidsovereenkomst als je aangestuurd wordt door een ‘blackbox’ algoritme. (4) Het is van belang dat deze groeiende sector gereguleerd wordt. De FNV roept de minister op om de partijen bij elkaar te brengen en aan te spreken op hun verantwoordelijkheid. Organiseer een centraal overleg, zodat de excessen uit deze sector tot het verleden gaan behoren. (5) De basis voor de tarieven en lonen voor de maaltijdbezorgers moet de TLN-cao zijn. Dat betekent dat ook de uitzendkrachten meer moeten verdienen dan nu het geval is. Ook de inlenersbeloning moet immers bepaald worden aan de hand van de TLN-cao.
  • 05.06.2019 Onderzoek Vertrouwen van de Nederlandse burger in Algoritmes (bron: KPMG)
    KPMG heeft in april een onderzoek uitgevoerd naar de bekendheid van algoritmes bij de gemiddelde Nederlandse burger, en het vertrouwen die zij hierin stelt te hebben. Het onderzoek is in samenwerking met Motivaction tot stand gekomen en uitgevoerd in de periode april-mei 2019 onder 1113 Nederlanders.
  • 08.04.2019 A.F. van Veenstra, S. Djafari, F. Grommé, B. Kotterink & R. Baartmans, Quick scan AI in de publieke dienstverlening, TNO (bron: Rijksoverheid.nl
    Verkenning en categorisering van toepassingen van het gebruik van Artificial Intelligence (AI) in de publieke sector.

2018

  • 22.08.2018 M.J. Vetzo, J.H. Gerards & R. Nehmelman, Algoritmes en grondrechten, Montaigne Centrum voor Rechtstaat en Rechtspleging, Universiteit van Utrecht (i.o.v. de Minister van Binnenlandse Zaken) (bron: Universiteit van Utrecht)
    Onderzoek van de Universiteit Utrecht naar de (mogelijke) aantasting van grondrechten in Nederland als gevolg van het gebruik van big data, het Internet of Things en kunstmatige intelligentie.
  • 01.03.2018 B. ter Weel, S. van der Werff, J.H. Bennaars, R. Scholte, J. Fijnje, M. Westerveld & T. Mertens, De opkomst en groei van de kluseconomie in Nederland en The rise and growth of the gig economy in the Netherlands (SEO economisch onderzoek (in opdracht van het ministerie van SZW)) (bron: SEO economisch onderzoek)
    Deze studie definieert en inventariseert de stand van zaken met betrekking tot de omvang en potentie van de kluseconomie in Nederland, de werkpraktijk en de gevolgen in arbeidsrechtelijke, sociaalzekerheidsrechtelijke en fiscaalrechtelijke zin. Het onderzoek is een nulmeting waarin wordt beschreven hoe bestaande en nieuwe platforms worden geduid en wat de implicaties zijn voor beleid. Uitgegaan wordt van een relatief smalle definitie van de kluseconomie, waarbij het gaat om werkenden die fysieke arbeid verrichten in Nederland en die primair via een internetplatform (een app of website) aan opdrachten komen.

2017

  • 06.02.2017 L. Kool, J. Timmer, L. Royakkers & R. van Est, Opwaarderen - Borgen van publieke waarden in de digitale samenleving, Den Haag, Rathenau Instituut 2017 (bron: Rathenau Instituut)
    Dit rapport laat zien dat de overheid, de toezichthouders, het bedrijfsleven en de samenleving nog niet voldoende zijn toegerust om met de vragen van deze tijd om te gaan. We hebben onze apps, onze software en onze technologie wel regelmatig opgewaardeerd, maar we zijn vergeten om de maatschappij te updaten. Om digitaal koploper te worden, zijn vijf acties nodig.

2016

  • 28.04.2016 P. Olsthoorn, Big Data voor fraudebestrijding, Working paper nr. 21 (bron: WRR)
    In deze studie wordt beschreven wat zich in Nederland afspeelt op het terrein van dataverzameling, bestandskoppeling en gegevensanalyse om fraude te voorkomen en/of detecteren. De studie omvat verschillende overheidsdomeinen als gemeentelijke uitkeringen, sociale verzekeringen, belastingen en toeslagen, en criminaliteitsbestrijding. De in deze studie beschreven vormen van data-analyses zijn onder meer het product van de politieke en maatschappelijke wens om door bestandskoppeling effectiever tegen fraude te kunnen optreden. Veel van deze praktijken zijn tot op heden niet of nauwelijks gedocumenteerd. De studie Big Data en fraudebestrijding brengt hierin verandering met een uniek en gedetailleerd overzicht van de data-analyses die verschillende overheidsorganisaties en samenwerkingsverbanden van overheidsorganisaties voor fraudebestrijding uitvoeren.
  • 28.04.2016 B. van der Sloot & S. van Schendel, International and comparative legal study on Big Data, Working paper nr. 20 (bron: WRR)
    WRR Working Paper nr. 20 is geschreven in het kader van het project ‘Big Data, privacy en veiligheid’. In dit project onderzoekt de WRR de wijze waarop Australië, Brazilië, China, Frankrijk, Duitsland, India, Israël, Japan, Zuid-Afrika, het VK en de VS omgaan met big data en de juridische en ethische complicaties die erbij komen kijken.
  • 28.04.2016 B. van der Sloot, D. Broeders & Erik Schrijvers (red.), Exploring the Boundaries of Big Data, WRR-Verkenningen nr. 31, 2016 (bron: WRR)
    Het fenomeen Big Data heeft een groot effect op de wereld waarin we leven. Positief doordat Big Data efficiëntie, recht, dienstverlening en veiligheid bevorderen. Negatief doordat ze kunnen leiden tot discriminatie en privacyschending. Met deze bundel wil de WRR bijdragen aan een kader dat het gebruik van Big Data bevordert en de negatieve effecten ervan voorkomt.
  • 28.04.2016 Big Data in een vrije en veilige samenleving, Rapport nr. 95, 2016, (bron: WRR)
    Het gebruik van Big Data in het veiligheidsdomein vraagt om nieuwe kaders. Dat is nodig om de mogelijkheden van Big Data te benutten en tegelijkertijd de fundamentele rechten en vrijheden van burgers te waarborgen. Dat schrijft de WRR in zijn rapport Big Data in een vrije en veilige samenleving.

Europese Unie

2019

  • 30.10.2019 EESC opinion: Building Trust in Human-Centric Artificial Intelligence (source: European Economic and Social Committee (EESC)) [NED vertaling: Vertrouwen kweken in mensgerichte kunstmatige intelligentie]
    AI systems must comply with existing legislation. It is important to identify which challenges can be met by means of codes of ethics, self-regulation and voluntary commitments and which need to be tackled by regulation and legislation supported by oversight and, in the event of non-compliance, penalties. The EESC:
    • reiterates the need to consult and inform workers when AI systems are introduced that are likely to alter the way work is organised, supervised and overseen. The Commission must promote social dialogue with a view to involving workers in the uses of AI systems;
    • calls for the development of a robust certification system based on test procedures that enable companies to state that their AI systems are reliable and safe. It proposes developing a European trusted-AI Business Certificate based partly on the assessment list put forward by the high-level experts' group on AI;
    • recommends that clear rules be drawn up assigning responsibility to natural persons or legal entities in the event of non-compliance;
    • also urges the Commission to review the General Data Protection Regulation (GDPR) and related legislation on a frequent basis in light of developments in technology.
  • 15.06.2019 Data quality and artificial intelligence – mitigating bias and error to protect fundamental rights (source: European Union Agency for Fundamental Rights (FRA))
    Since there are several sources of error in all data collections, users of AI-related technology need to know where the data come from and the potential shortcomings of the data. AI systems based on incomplete or biased data can lead to inaccurate outcomes that infringe on people’s fundamental rights, including discrimination. Being transparent about which data are used in AI systems helps to prevent possible rights violations. This is especially important in times of big data, where the volume of data is sometimes valued over quality. AI and big data continues to be a topic of high priority for policy, science, business and media throughout the world. Developments in the area are of high relevance, as new technologies impact on all spheres of life and hence also impact on fundamental rights. Ethical implications of AI are the topic of many discussions. At the same time, these discussions need to acknowledge that there is a human rights framework setting binding legal obligations around AI, which should be seen as a starting point for any evaluation of the opportunities and challenges brought by new technologies. The European Union’s strong fundamental rights framework, as enshrined in the Charter of Fundamental Rights and related case law, provides guidance for the development of guidelines and recommendations for the use of AI.

2018

  • 15.09.2018 In Brief - Big data, algorithms and discrimination (source: European Union Agency for Fundamental Rights (FRA))
    Put simply, algorithms are sequences of commands that allow a computer to take inputs and produce outputs. Using them can speed up processes and produce more consistent results. But risks abound. Making algorithms fair and non-discriminatory is a daunting exercise. But several steps can help move us in the right direction. These include: (1) checking the quality of the data being used to build algorithms to avoid faulty algorithm ‘training’; (2) promoting transparency – being open about the data and code used to build the algorithm, as well as the logic underlying the algorithm, and providing meaningful explanations of how it is being used. Among others, this will help individuals looking to challenge data-based decisions pursue their claims; (3) carrying out impact assessments that focus on the implications for fundamental rights, including whether they may discriminate based on protected grounds, and seeing how proxy information can produce biased results; (4) involving experts in oversight: to be effective, reviews need to involve statisticians, lawyers, social scientists, computer scientists, mathematicians and experts in the subject at issue.
  • 15.05.2018 Focus paper #BigData: Discrimination in data-supported decisionmaking (source: European Union Agency for Fundamental Rights (FRA))
    This focus paper specifically deals with discrimination, a fundamental rights area particularly affected by technological developments. When algorithms are used for decision making, there is potential for discrimination against individuals. The principle of non-discrimination, as enshrined in Article 21 of the Charter of Fundamental Rights of the European Union (EU), needs to be taken into account when applying algorithms to everyday life. This paper explains how such discrimination can occur, suggesting possible solutions. The overall aim is to contribute to our understanding of the challenges encountered in this increasingly important field.

Buitenland

2019

  • 06.11.2019 D. Slack, S. Hilgard, E. Jia, S. Singh & H. Lakkaraju, ‘How can we fool LIME and SHAP? Adversarial Attacks on Post hoc Explanation Methods’ (source: Cornel University)
    As machine learning black boxes are increasingly being deployed in domains such as healthcare and criminal justice, there is growing emphasis on building tools and techniques for explaining these black boxes in an interpretable manner. Such explanations are being leveraged by domain experts to diagnose systematic errors and underlying biases of black boxes. In this paper, we demonstrate that post hoc explanations techniques that rely on input perturbations, such as LIME and SHAP, are not reliable. Specifically, we propose a novel scaffolding technique that effectively hides the biases of any given classifier by allowing an adversarial entity to craft an arbitrary desired explanation. Our approach can be used to scaffold any biased classifier in such a way that its predictions on the input data distribution still remain biased, but the post hoc explanations of the scaffolded classifier look innocuous. Using extensive evaluation with multiple real-world datasets (including COMPAS), we demonstrate how extremely biased (racist) classifiers crafted by our framework can easily fool popular explanation techniques such as LIME and SHAP into generating innocuous explanations which do not reflect the underlying biases.
  • 25.10.2019 Z. Obermeyer, B. Powers, C. Vogeli & S. Mullainathan, Dissecting racial bias in an algorithm used to manage the health of populations (source: Science)
    Health systems rely on commercial prediction algorithms to identify and help patients with complex health needs. We show that a widely used algorithm, typical of this industry-wide approach and affecting millions of patients, exhibits significant racial bias: At a given risk score, Black patients are considerably sicker than White patients, as evidenced by signs of uncontrolled illnesses. Remedying this disparity would increase the percentage of Black patients receiving additional help from 17.7 to 46.5%. The bias arises because the algorithm predicts health care costs rather than illness, but unequal access to care means that we spend less money caring for Black patients than for White patients. Thus, despite health care cost appearing to be an effective proxy for health by some measures of predictive accuracy, large racial biases arise. We suggest that the choice of convenient, seemingly effective proxies for ground truth can be an important source of algorithmic bias in many contexts.
  • 11.10.2019 Digital welfare states, Report of the Special rapporteur on extreme poverty and human rights (Philip Alston) (source: United Nations – office of the High Commissioner)
    De VN bespreekt digitale technologieën voor (i) identificatie; (ii) de beoordeling of iemand uitkeringsgerechtigd is; (iii) de berekening van de hoogte van de aanspraak; (iv) fraudebestrijding en –opsporing; (v) risicoclassificatie; en (vi) communicatie tussen autoriteiten en uitkeringsgerechtigden. Het rapport bespreekt onder meer hoe mensenrechten serieus kunnen worden genomen in een digitale verzorgingsstaat, hoe transparantie en rechtmatigheid te borgen, het bevorderen van digitale gelijkheid, het beschermen van economisch-sociale en politieke mensenrechten, het weerstaan van de lokroep van een uitsluitend digitale toekomst, het bewaken van de rol van de private sector en verscheidene mechanismes die overheden ertoe dwingen verantwoording af te leggen. Zie ook het bijbehorende persbericht: World stumbling zombie-like into a digital welfare dystopia, warns UN human rights expert
  • 27.09.2019 United Nations Activities on Artificial Intelligence (AI) 2019 (source: ITU)
    Very few topics have captured the imagination of the public and promised to transform humanity more than artificial intelligence. In this publication, more than 30 UN agencies and bodies describe how they are increasingly using AI to meet many of the world’s most urgent challenges, from responding to humanitarian crises to tackling climate change. Although it is still early days for AI, the agencies highlight the need to improve data literacy skills across their organizations and warn against the capability gap between developed and less-developed countries. They call for responsible innovation and a better understanding of the implications and potential benefits.
  • 30.07.2019 A. Korinek, Integrating Ethical Values and Economic Value to Steer Progress in Artificial Intelligence, NBER Working Paper No. 26130 (source: The National Bureau of Economic Research) (prepared for the Oxford Handbook of Ethics of AI)
    Economics and ethics both offer important perspectives on our society, but they do so from two different viewpoints – the central focus of economics is how the price system in our economy values resources; the central focus of ethics is the moral evaluation of actions in our society. The rise of Artificial Intelligence (AI) forces humanity to confront new areas in which ethical values and economic value conflict, raising the question of what direction of technological progress is ultimately desirable for society. One crucial area are the effects of AI and related forms of automation on labor markets, which may lead to substantial increases in inequality unless mitigating policy actions are taken or progress is actively steered in a direction that complements human labor. Additional areas of conflict arise when AI systems optimize narrow market value but disregard broader ethical values and thus impose externalities on society, for example when AI systems engage in bias and discrimination, hack the human brain, and increasingly reduce human autonomy. Market incentives to create ever more intelligent systems lead to the ultimate ethical question: whether we should aim to create AI systems that surpass humans in general intelligence, and how to ensure that humanity is not left behind.
  • 05.07.2019 Why addressing ethical questions in AI will benefit organizations (source: Capgemini Research Instititute)
    In the new report from the Capgemini Research Institute, Why addressing ethical questions in AI will benefit organizations, the Institute surveyed 1,580 executives in 510 organizations and over 4,400 consumers internationally, to find out how consumers view ethics and the transparency of their AI-enabled interactions and what organizations are doing to allay their concerns.
  • 01.07.2019 S. Picard, M. Watkins, M. Rempel & A.G. Kerodal, Beyond the Algorithm: Pretrial Reform, Risk Assessment, and Racial Fairness (source: Center for Court Innovation)
    Risk assessments – automated formulas that measure the “risk” a defendant will be rearrested or fail to appear in court – are among the most controversial issues in criminal justice reform. To proponents, they offer a corrective to potentially biased decisions made by individual judges. To opponents, far from disrupting biases, risk assessments are unintentionally amplifying them, only this time under the guise of science. Drawing on a case study of more than 175,000 defendants in New York City, ‘Beyond the Algorithm: Pretrial Reform, Risk Assessment, and Racial Fairness,’ produced with the support of Arnold Ventures, examines the impact of risk assessment on racial disparities in pretrial decisions.
  • 22.05.2019 OECD Council Recommendation on Artificial Intelligence, OECD/LEGAL/0448 (source: OECD Legal Instruments)
    The OECD Principles on Artificial Intelligence promote artificial intelligence (AI) that is innovative and trustworthy and that respects human rights and democratic values. They were adopted on 22 May 2019 by OECD member countries when they approved the OECD Council Recommendation on Artificial Intelligence. The OECD AI Principles are the first such principles signed up to by governments. Beyond OECD members, other countries including Argentina, Brazil, Colombia, Costa Rica, Peru and Romania have already adhered to the AI Principles, with further adherents welcomed. The OECD AI Principles set standards for AI that are practical and flexible enough to stand the test of time in a rapidly evolving field. They complement existing OECD standards in areas such as privacy, digital security risk management and responsible business conduct.
  • 01.04.2019 S.M. West, M. Whittaker & K. Crawford, Discriminating Systems: Gender, Race and Power in AI, AI Now Institute, New York University (source: AI Now Institute)
    Gender, Race, and Power in AI is the product of a year-long survey of literature at the nexus of gender, race, and power in the field of artificial intelligence. This study surfaced some astonishing gaps, but it also made clear that scholars of diverse gender and racial backgrounds have been sounding the alarm about inequity and discrimination in artificial intelligence for decades.
  • 28.02.2019 T. Hagendorf, The Ethics of AI Ethics. An Evaluation of Guidelines, University of Tuebingen, International Center for Ethics in the Sciences and Humanities (source: Cornell University
    Current advances in research, development and application of artificial intelligence (AI) systems have yielded a far-reaching discourse on AI ethics. In consequence, a number of ethics guidelines have been released in recent years. These guidelines comprise normative principles and recommendations aimed to harness the “disruptive” potentials of new AI technologies. Designed as a comprehensive evaluation, this paper analyses and compares these guidelines highlighting overlaps but also omissions. As a result, I give a detailed overview of the field of AI ethics. Finally, I also examine to what extent the respective ethical principles and values are implemented in the practice of research, development and application of AI systems – and how the effectiveness in the demands of AI ethics can be improved.
  • 07.02.2019 F. Zuiderveen Borgesius, Discrimination, artificial intelligence, and algorithmic decision-making, Anti-discrimination Department of the Council of Europe (source: Council of Europe)
    This report, written for the Anti-discrimination department of the Council of Europe, concerns discrimination caused by algorithmic decision-making and other types of artificial intelligence (AI). AI advances important goals, such as efficiency, health and economic growth but it can also have discriminatory effects, for instance when AI systems learn from biased human decisions.
  • 29.01.2019 Automating Society Taking Stock of Automated Decision-Making in the EU, AlgorithmWatch in cooperation with Bertelsmann Stiftung (source: Algorithmwatch.org)

2018

  • 13.07.2018 S. Milli, L. Schmidt,  A.D. Dragan & M. Hardt, ‘Model Reconstruction from Model Explanations’ (source: Cornel University)
    We show through theory and experiment that gradient-based explanations of a model quickly reveal the model itself. Our results speak to a tension between the desire to keep a proprietary model secret and the ability to offer model explanations. On the theoretical side, we give an algorithm that provably learns a two-layer ReLU network in a setting where the algorithm may query the gradient of the model with respect to chosen inputs. The number of queries is independent of the dimension and nearly optimal in its dependence on the model size. Of interest not only from a learning-theoretic perspective, this result highlights the power of gradients rather than labels as a learning primitive. Complementing our theory, we give effective heuristics for reconstructing models from gradient explanations that are orders of magnitude more query-efficient than reconstruction attacks relying on prediction interfaces.
  • 07.06.2018 C. Cook, R. Diamond, J. Hall, J.A. List & P. Oyer, The Gender Earnings Gap in the Gig Economy: Evidence from over a Million Rideshare Drivers | Working Paper 2018 No. 3637 (source: Graduate School of Stanford Business)
  • 01.04.2018 D. Reisman, J. Schultz, K. Crawford & M. Whittaker, Algorithmic Impact Assessments: A Practical Framework for Public Agency Accountability, AI Now Institute, New York University (source: AI Now Institute)
  • 01.01.2018 R.P. Bartlett, A. Morse, R. Stanton & N. Wallace, Consumer-Lending Discrimination in the Era of FinTech, UC Berkeley Public Law Research Paper (source: UC Berkeley)
    Ethnic discrimination in lending can materialize in face-to-face decisions or in algorithmic scoring. The GSE’s model for pricing credit risk provides us with an identified setting to estimate the incidence of discrimination for FinTech and face-to-face lenders, as well as to offer a workable enforcement interpretation of U.S. fair lending laws using the court’s justification of legitimate business necessity. We find that face-to-face and FinTech lenders charge Latin/African-American borrowers 6-9 basis points higher interest rates, consistent with the extraction of monopoly rents in weaker competitive environments and from profiling borrowers on shopping behavior. In aggregate, Latin/African-American pay $250-$500M per year in extra mortgage interest. FinTech algorithms have not removed discrimination, but may have shifted the mode. However, two silver linings emerge. Algorithmic lending seems to have increased competition or encouraged more shopping with the ease of applications. Also, whereas face-to-face lenders act in negative welfare manner toward minorities in application accepts/rejects, FinTechs do not discriminate in application rejections. 

2014

  • 22.05.2014 C. Sandvig, K. Hamilton, K. Karahaliaos & C. Langbort, Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms (source: University of Michigan)
    Algorithmic manipulation can be illegal or socially problematic or worthy of scrutiny. Outlines research methods for algorithmic scrutiny, in particular to detect discrimination. Describes how "audit study" used in non-computer scrutiny, eg by researchers or activists sending fake communications or in person "testers" to employers or real estate agents. This paper describes ethical challenges of audit design.

^ Back to top

Publicaties overheden4

Nederland

2020

2019

  • 20.12.2019 Brief regering inzak het onderzoek "Toezicht op gebruik van algoritmen door de overheid" (Kamerstukken II 2019/20, 26643, 657) (bron: www.overheid.nl)
    In deze brief melden de ministers Knops en Dekker de resultaten van het onderzoek ‘Toezicht op gebruik van algoritmen door de overheid’. Dit onderzoek, uitgevoerd door strategisch en juridisch adviesbureau Hooghiemstra & Partners, gaat in op de volgende hoofdvragen: (1) in welke mate is er op dit moment een juridische basis voor toezicht op overheidsalgoritmen?, (2) in welke mate wordt op dit moment in de praktijk uitvoering gegeven aan toezicht op overheidsalgoritmen?, en (3) welke beleidsadviezen zijn te geven op basis van de resultaten van het onderzoek? Uit de uitgevoerde analyse van wet- en regelgeving volgt dat de onderzoekers geen juridische lacune hebben geconstateerd in de toezichtstaken. Dit hangt nauw samen met het feit dat het gebruik van algoritmen een middel is en daarmee integraal onderdeel is van de taakuitoefening door de overheid. De onderzoekers bevelen aan voorlopig geen afzonderlijke toezichthouder te introduceren en geen meldplicht te introduceren voor ingrijpende algoritmen, maar in plaats daarvan een algoritme impact assessment in te voeren.
  • 20.11.2019 Motie over onderzoek naar vergroting van kennis en toepasbaarheid van artificial intelligence (Kamerstukken II 2019/20, 35300-XIII, 20) (bron: www.overheid.nl)
  • 19.11.2019 Pamflet Digitale Revolutie (K. Verhoeven, bron: D66)
    Dit pamflet is tijdens de plenaire behandeling van de Begroting Economische Zaken en Klimaat (EZK) 2020 op 20 november 2019 aangeboden aan de Tweede Kamer en de minister en staatssecretaris van EZK.
  • 08.10.2019 Brief regering over AI, publieke waarden en mensenrechten (Kamerstukken II 2019/20, 26643, 642) (bron: www.overheid.nl)
    Minister Ollongren stuurt de Tweede Kamer een beleidsbrief over AI, publieke waarden en mensenrechten. De brief geeft een overzicht van de kansen en risico’s van AI voor publieke waarden die gestoeld zijn op mensenrechten. Het beschrijft tevens bestaande en toekomstige beleidsmaatregelen om risico’-s voor deze fundamentele publieke waarden te adresseren.
  • 08.10.2019 Brief regering met Strategisch Actieplan voor Artificiële Intelligentie (Kamerstukken II 2019/20, 26643, 640) (bron: www.overheid.nl)
    Staatssecretaris Keijzer informeert de Tweede Kamer over het Strategisch Actieplan voor Artificiële Intelligentie.
    • Strategisch Actieplan voor Artificiële Intelligentie (SAPAI)
      Dit actieplan beschrijft de voornemens van het kabinet om de ontwikkeling van artificiële intelligentie (AI) in Nederland te versnellen en internationaal te profileren. Het gaat in op de AI-ontwikkelingen in Nederland, op de elementen die nodig zijn om AI-innovatie verder te stimuleren, en op het borgen van de publieke belangen bij AI-ontwikkelingen.
  • 17.09.2019 Verslag van een schriftelijk overleg over de initiatiefnota van het lid Verhoeven over mededinging in de digitale economie (Kamerstukken II 2019/20, 35134, 4) (bron: www.overheid.nl)
    In dit verslag beantwoord Tweede Kamerlid Verhoeven (initiatiefnemer van de nota over mededinging in de digitale economie) de vragen en opmerkingen van de vaste commissie voor Economische Zaken en Klimaat over deze initiatienota. De leden van de CDA-fractie stellen vast dat de initiatiefnemer ingaat op algoritmes .Hoe kijkt de initiatiefnemer aan tegen algoritmes? Waar kunnen algoritmes volgens hem een positieve bijdrage leveren aan economische groei? Is er wat de initiatiefnemer betreft een grens? Wanneer leidt het zelflerende en zelf ontwikkelende karakter van algoritmes volgens de initiatiefnemer tot ongewenste situaties? De leden van de CDA-fractiemerken op dat verplichte datadeling economische kansen biedt en tot een gelijker speel veld leidt, maar ook risico’s kent. Bijvoorbeeld ten aanzien van innovatie, privacy en vertrouwelijke bedrijfsinformatie. Zou de initiatiefnemer op elk van deze punten kunnen reflecteren? Hoe wil de initiatiefnemer deze borgen in het licht van vrije concurrentie en consumentenbescherming? Heeft de initiatiefnemer daartoe concrete voorstellen?
    De initiatiefnemer heeft een positieve grondhouding ten aanzien van de opbrengst die algoritmes voor de samenleving kan hebben. Algoritmes kunnen de productieverhogen, de kwaliteit van de dienstverlening aan consumenten verbeteren en tot nieuwe, innovatieve producten en diensten leiden. De ontwikkeling van algoritmes draagt daarmee bij aan economische groei. Er zijn belangrijke maatschappelijke en ethische vraagstukken die bij de ontwikkeling van algoritmes en technologie een rol spelen. Zo kunnen burgerrechten bijvoorbeeld in het geding komen of kan het algoritme onbedoeld en ongemerkt discrimineren.
  • 10.09.2019 Motie over een meldplicht voor ingrijpende algoritmes bij de overheid (Kamerstukken II 2018/19, 26643, 632) (bron: www.overheid.nl). Aangenomen
  • 11.07.2019 Brief regering inzake de voortgangsrapportage Actieplan Arbeidsmarktdiscriminatie 2018-2021 (Kamerstukken II 2018/19, 29544, 923) (bron: www.overheid.nl)
    In deze brief kondigt staatssecretaris Van Ark van SZW dat zij na de zomer van 2019 een (concept) wetsvoorstel aan de Raad van State wil aanbieden om arbeidsmarktdiscriminatie tegen te gaan. Dit voorstel heeft gevolgen voor het wervings- en selectieproces van werkgevers én voor partijen zoals wervings- en selectiebureaus en online platforms die dergelijke diensten verlenen aan werkgevers. Daartoe zullen de Arbeidsomstandighedenwet en de Wet allocatie arbeidskrachten door intermediairs (Waadi) naar verwachting worden gewijzigd. Onder meer wordt voorgesteld om in de Waadi op te nemen om bemiddelende partijen in hun dienstverlening, net als werkgevers, te verplichten een werkwijze te hanteren die gericht is op voorkoming van discriminatie in het werving en selectieproces. Door middel van een door TNO nog uit te voeren verdiepende marktverkenning, probeert de Inspectie SZW meer zicht te krijgen op de rol van online platforms bij werving en selectie, de betrokkenheid van assessmentbureaus aan de voorkant van het proces van werving en selectie en het gebruik van geautomatiseerde systemen en algoritmen bij werving en selectie. Daarnaast zal de Inspectie SZW de komende tijd haar inspanningen richten op deze nieuwe ontwikkelingen door verkennende inspecties te doen bij online platforms, assessmentbureaus en bij werkgevers.
  • 05.07.2019 Brief regering inzake voortgangsrapportage en actualisatie Nederlandse Digitaliseringsstrategie (Kamerstukken II 2018/19, 26643, 623) (bron: www.overheid.nl)
    Staatssecretaris Keijzer presenteert mede namens minister Grapperhaus en staatssecretaris Knops de voortgangsrapportage en actualisatie Nederlandse Digitaliseringsstrategie.
    • Bijlage: Resultaten en opbrengsten van de Conferentie Nederland Digitaal 2019
    • Bijlage: Nederlandse Digitaliseringsstrategie 2.0
      “Van alle nieuwe digitale technologieën wordt van Artificiële intelligentie (AI) de komende tien jaar de grootste impact verwacht op de economie en maatschappij. AI ontwikkelt zich snel en wordt toegepast in vrijwel alle denkbare sectoren en domeinen. AI kan echter ook belangrijke grondrechten en publieke waarden onder druk zetten, zoals verbod van discriminatie, menselijke waardigheid en autonomie. Tijdens de Conferentie Nederland Digitaal was AI daarom het centrale thema. Met mensgerichte AI by design willen we als Nederland internationaal het verschil maken en AI oplossingen benutten voor maatschappelijke uitdagingen. Om onze ambities waar te maken en internationaal mee te blijven doen, wil het kabinet de krachten bundelen en AI-ontwikkeling versnellen. Belangrijke uitgangspunten hierbij zijn transparantie of uitlegbaarheid van algoritmen en inclusiviteit. Het kabinet steunt en onderschrijft daarom ook de richtlijnen die de Europese Commissie onlangs heeft gedeeld in haar mededeling over ’Ethische richt­snoeren voor vertrouwen in mensgerichte AI’. Op initiatief van Nederland ICT is er een gedragscode ontwikkeld die ondernemers helpt bij het ontwikkelen van verantwoorde AI-toepassingen. Deze gedragscode is samengesteld op basis van ethische principes van de Europese Commissie, o.a. over transparantie in de gebruikte technologie. De gedragscode is tijdens de Conferentie Nederland Digitaal gepresenteerd. In een Transparantielab algoritmen wordt door de overheid, in samenwerking met bedrijfsleven en toezichthouders, onderzocht op welke manieren algoritmen en het gebruik van algoritmen uitlegbaar en controleerbaar kunnen worden gemaakt. Na de zomer 2019 komt het kabinet met een strategisch actieplan AI. Ook komt het kabinet na de zomer 2019 met een beleidsplan voor AI, publieke waarden en mensenrechten. In voorbeeldprojecten in verschillende sectoren worden de principes voor mensgerichte AI uitgewerkt. Met deze projecten wordt een gemeenschappelijke kennisbasis ontwikkeld. De overheid wil hiermee een voorbeeldrol vervullen in de samenleving.”
  • 26.06.2019 Kamerbrief met de initiatiefnota van het lid Gijs van Dijk (PvdA) “De herovering van de platformeconomie” (Kamerstukken II 2018/19, 35230, nrs. 1-2) (bron: www.overheid.nl)
    Deze nota richt zich primair op bescherming van werkenden in de platformeconomie. De nota bestaat uit twee delen. In het eerste deel wordt de huidige situatie geschetst. In het tweede deel wordt een alternatief gegeven en worden concrete voorstellen gedaan. De initiatiefnemer doet, kort gezegd, de onderstaande voorstellen. (1) Keer de bewijslast om: een platform is per definitie een werkgever, tenzij het platformbedrijf aantoont dat het platform slechts als bemiddelaar werkt. (2) Verduidelijk de arbeidsrelatie: platformwerkers dienen de rechten van werknemers te krijgen als de arbeidsrelatie aan een aantal criteria voldoet. Om de relatie tussen platformwerkers en het platform te verduidelijken, kunnen ten eerste criteria, zoals voorgeteld door de Commissie Boot, worden gehanteerd. Deze criteria kunnen worden opgenomen in de Wet op de loonbelasting 1964 en de Wet financiering sociale verzekeringen. Indien niet aan die criteria wordt voldaan, is altijd sprake van een arbeidsovereenkomst, met overeenkomstige rechten en plichten voor platform en platformwerker. (3) Platformwerkers moeten zeker kunnen zijn van een eerlijk loon, een goed pensioen en bescherming bij ziekte en arbeidsongeschiktheid. (4) Pas de wetgeving over arbeidsomstandigheden en arbeidstijden ook toe op zzp’ers. Waar mogelijk wordt deze wetgeving direct geïntegreerd in het algoritme dat platformwerkers werk toewijst. (5) Versterk de onderhandelingspositie van platformwerkers: geef zzp’ers, waaronder platformwerkers, de mogelijkheid om collectief te kunnen onderhandelen over tarieven door aanpassing van de mededingingswet. (6) Dataportabiliteit: de overheid dient het meenemen van de opgebouwde reputatiedata van platformwerkers te bevorderen en op te treden tegen platforms die dit verhinderen. (7) Inspraak: verplicht inspraak en/of instemming van platformwerkers bij wijziging van de werking van algoritmes die werk toewijzen. (8) Naleving: handhaaf wet- en regelgeving die zelfstandigen en werknemers bescherming bieden.
  • 26.06.2019 Besluit tot openbaarmaking van documenten die zien op projecten waarbij gebruik is gemaakt van het Systeem Risico Indicatie (ministerie SZW, bron: Rijksoverheid.nl)
  • 20.06.2019 Motie over voorwaarden voor het ontwikkelen van een richtlijn voor het gebruik van algoritmes door overheden (Kamerstukken II 2018/19, 35200-VII, 14) (bron: www.overheid.nl)
  • 07.06.2019 Kamervragen met antwoorden over het bericht “Amsterdam wil “eerlijke” computers in de stad” (Aanhangsel Handelingen II 2018/19, 2946) (bron: www.overheid.nl)
    Staatssecretaris Knops merkt onder meer op dat de gemeente Amsterdam in eerste instantie kaders wil ontwikkelen om de algoritmen die de gemeente zelf heeft gemaakt of ingekocht, te toetsen Als het gaat om controle van algoritmen van niet-gemeentelijke instellingen wijst hij op de autonome bevoegdheid van de gemeente om verordeningen uit te vaardigen en beleid te maken op basis van de Gemeentewet en de Grondwet. Gemeenten hebben bevoegdheden voor kaderstelling en handhavingen daar zullen ook nationaal opererende bedrijven aan moeten voldoen. Op beleidsterreinen zoals vakantieverhuur en vervoersmarkt zijn landelijk opererende bedrijven werkzaam die beschikken over een vergunning of concessie die is verleend door het gemeentebestuur van Amsterdam. Binnen de territoriale grenzen heeft de gemeente hier een eigen rol op het gebied van kaderstelling en handhaving. Het is ook aan de gemeente Amsterdam om te onderzoeken hoe betrekkelijk nieuwe ontwikkelingen, zoals algoritmen en de wettelijke grondslagen die daarvoor gelden, zich verhouden tot de huidige kaderstelling en handhaving op beleidsterreinen als vervoer en verhuur waar niet-gemeentelijke instellingen actief zijn met algoritmen die ook tot ongewenste effecten leiden voor de stad. Dit zou kunnen leiden tot aanscherping van kaders en handhaving. Op de vraag of er een wettelijke grondslag voor gemeenten, bedrijven en instellingen is om algoritmen te controleren antwoordt de staatssecretaris dat er wettelijke grondslagen zijn die controle op specifieke aspecten van een algoritme mogelijk maken. Zo kan de Autoriteit Consumenten & Markt bij het handhaven van de Mededingingswet in een specifieke zaak controleren of een algoritme zo is ingericht dat het de mededinging op een ongeoorloofde wijze beperkt en kan de Autoriteit Persoonsgegevens controleren of de werking van een algoritme waarmee persoonsgegevens worden verwerkt, aan de Algemene Verordening Gegevensbescherming en aan Nederlandse wettelijke voorschriften inzake gegevensbescherming voldoet.
  • 29.05.2019 Motie over het instellen van een (tijdelijke) onderzoekscommissie digitalisering (Kamerstukken II 2018/19, 26643, 611) (bron: www.overheid.nl). Aangenomen
  • 29.05.2019 Motie over toezicht op het gebruik van algoritmes door de overheid (Kamerstukken II 2018/19, 26643, 610) (bron: www.overheid.nl). Aangenomen 
  • 29.05.2019 Initiatiefnota van het lid Middendorp: Menselijke grip op algoritmen (Kamerstukken II 2018/19, 35212, 2) (bron: www.overheid.nl)
    Gebruik van algoritmen kunnen onze grondrechten aantasten en bijvoorbeeld (1) dehumanisering, (2) discriminatie, (3) beperking keuzevrijheid, (4) kansenongelijkheid en (5) het aantasten van onze privacy veroorzaken. De snelle opkomst van algoritmen vereist daarom een maatschappelijk debat over normen en waarden in de digitale toekomst. Immers onze grondrechten moeten ook in de digitale wereld geborgd zijn. Het startpunt van de indiener is dat onze, door de eeuwen heen opgebouwde normen en waarden, ook in onze digitale toekomst van toepassing moeten blijven. Oftewel dat grondrechten online dezelfde moeten zijn als offline. Maar, daar waar algoritmen worden ingezet kunnen de grenzen van onze bestaande wetten, normen en waarden geraakt of overschreden worden. Dan is aanpassing of nieuwe wet- en regelgeving nodig. De voorstellen in deze initiatiefnota gaan het proces waarmee we wetten en beleidsregelingen aanpassen aan de digitale tijd stimuleren. Om te beoordelen of nieuwe regels nodig zijn en deze dan te maken is veel meer kennis en kunde nodig over de toepassingen en werking van algoritmen. De voorstellen hier zijn daarom gericht op meer inzicht in wat algoritmen precies doen, welke kansen zij bieden en welke de samenleving kunnen schaden.
  • 28.03.2019 Brief regering inzake de kabinetsreactie op het juridische onderzoeksrapport ‘Algoritmes en grondrechten’ van de Universiteit Utrecht (Kamerstukken II 2018/19, 26643, 601) (bron: www.overheid.nl)
    In 2018 is verschenen het juridische onderzoeksrapport “Algoritmes en grondrechten” van de Universiteit Utrecht. Het onderzoek is verricht in opdracht van het ministerie van BZK en biedt een quick scan waarin de (potentiële) gevolgen zijn geanalyseerd van het gebruik van de algoritme-gedreven technologieën Big Data, Internet of Things en Kunstmatige Intelligentie voor vier clusters van grondrechten: privacyrechten, gelijkheidsrechten, vrijheidsrechten en procedurele rechten. Het onderzoeksrapport geeft een belangrijke aanzet voor de beantwoording van de vraag waar zich serieuze grondrechtelijke knelpunten (kunnen) voordoen als gevolg van voornoemde technologieën. De minister van BZK heeft met veel waardering kennis genomen van het zorgvuldige en gedegen rapport. In reactie erop deelt zij het volgende mee. Kern van het navolgende is de onderkenning dat nieuwe technologieën relevantie hebben voor vele grondrechten en dat het belang van de effectieve realisering daarvan door wetgever, bestuur en rechter ook in het digitale tijdperk voorop staat. Dat betekent onder andere dat wetgeving waar nodig nieuwe knelpunten moet adresseren en dat het van de overheid bijzondere inspanning vergt ook ten aanzien van het gebruik van algoritmes de zorgvuldige afweging tussen de bescherming van grondrechten en andere belangen te blijven bewaken.
  • 13.02.2019 Verslag van een schriftelijk overleg met de minister voor Rechtsbescherming over de toepassing en het gebruik van algoritmen en artificiële intelligentie in het domein van de rechtspleging (Kamerstukken I 2018/19, 34 775 VI AI) (bron: www.overheid.nl)
    In zijn brief zegt minister Dekker dat voordat we algoritmen in de rechtspleging kunnen inzetten moet eerst een brede wetenschappelijke en maatschappelijke discussie hebben plaatsgevonden.

2010

  • 21.01.2010 I. Andriessen, E. Nievers, L. Faulk & J. Dagevos, Liever Mark dan Mohammed? Onderzoek naar arbeidsmarktdiscriminatie van niet-westerse migranten via praktijktests, Den Haag: Sociaal en Cultureel Planbureau 2010 (bron: Sociaal en Cultureel Planbureau)
    Deze studie neemt het selectiegedrag van werkgevers onder de loep. Er is gebruik gemaakt van zogenoemde praktijktests: twee vergelijkbare - maar fictieve - kandidaten solliciteren per brief of telefonisch op bestaande vacatures. Op basis van ruim 1300 tests wordt vastgesteld of kandidaten met een niet-westerse achtergrond minder kans hebben om een uitnodiging te krijgen en of zij anders bejegend worden. Omdat alleen de etnische herkomst van de beide kandidaten verschillend is, kan goed worden vastgesteld of etniciteit een rol speelt in selectiegedrag van werkgevers.

Europese Unie

2020

  • 15.04.2020 DRAFT OPINION with recommendations to the Commission on the framework of ethical aspects of artificial intelligence, robotics and related technologies (source: European Parliament)
    This draft opinion of the Committee on the Internal Market and Consumer Protection contains recommendations to the Committee on Legal Affairs on the framework of ethical aspects of artificial intelligence, robotics and related technologies. The Committee on the Internal Market and Consumer Protection calls on the Committee on Legal Affairs to incorporate the following suggestions into its motion for a resolution: (1) Scope, (2) Data Management, (3) Consumer protection: transparency and explainability of algorithms, (4) Internal market: consumer information and awareness and (5) Market surveillance.
  • 02.03.2020 Gender Equality Strategy: Striving for a Union of equality (source: press release European Commission)
    The European Commission presents its strategy for equality between women and men in Europe. Artificial Intelligence (AI) has become an area of strategic importance and a key driver of economic progress, hence women have to be part of its development as researchers, programmers and users. While AI can bring solutions to many societal challenges, it risks intensifying gender inequalities. Algorithms and related machine-learning, if not transparent and robust enough, risk repeating, amplifying or contributing to gender biases that programmers may not be aware of or that are the result of specific data selection. The new Commission White Paper on AI sets out the European approach grounded in EU values and fundamental rights, including non-discrimination and gender equality. The next framework program for research and innovation, Horizon Europe, will also provide insights and solutions on addressing potential gender biases in AI, as well as on debunking gender stereotypes in all social, economic and cultural domains, supporting the development of unbiased evidence-based policies.
  • 19.02.2020 Shaping Europe's digital future – Questions and Answers (source: European Commission)
    The EU is pursuing a digital strategy that builds on our successful history of technology, innovation and ingenuity, vested in European values, and projecting them onto the international stage. The White Paper on Artificial Intelligence (AI) and the European data strategy presented today show that Europe can set global standards on technological development while putting people first.
  • 19.02.2020 A Europe Fit for the Digital Age / Een Europa dat klaar is voor het digitale tijdperk (source: European Commission)
    Digital technology is changing people’s lives. The EU’s digital strategy aims to make this transformation work for people and businesses, while helping to achieve its target of a climate-neutral Europe by 2050. Therefore, the EU’s strategies for Artificial Intelligence (AI) and data aim to encourage businesses to work with, and develop, these new technologies, while at the same time making sure that they earn citizens’ trust.
  • 19.02.2020 White paper On Artificial Intelligence - A European approach to excellence and trust (COM(2020) 65 final) (source: European Commission)
    The Commission supports a regulatory and investment oriented approach with the twin objective of promoting the uptake of AI and of addressing the risks associated with certain uses of this new technology. The purpose of this White Paper is to set out policy options on how to achieve these objectives. It does not address, the development and use of AI for military purposes. The White Paper proposes: measures that will streamline research, foster collaboration between Member States and increase investment into AI development and deployment; and policy options for a future EU regulatory framework that would determine the types of legal requirements that would apply to relevant actors, with a particular focus on high-risk applications. The Commission invites Member States, other European institutions, and all stakeholders, including industry, social partners, civil society organisations, researchers, the public in general and any interested party, to react to the options below and to contribute to the Commission’s future decision-making in this domain.
  • 10.01.2020 I. Sanchez, H. Junklewitz & R. Hamon, ‘Robustness and explainability of Artificial Intelligence: From technical to policy solutions (source: Joint Research Centre (European Commission))
    In the light of the recent advances in artificial intelligence (AI), the serious negative consequences of its use for EU citizens and organisations have led to multiple initiatives from the European Commission to set up the principles of a trustworthy and secure AI. Among the identified requirements, the concepts of robustness and explainability of AI systems have emerged as key elements for a future regulation of this technology. This Technical Report by the European Commission Joint Research Centre (JRC) aims to contribute to this movement for the establishment of a sound regulatory framework for AI, by making the connection between the principles embodied in current regulations regarding to the cybersecurity of digital systems and the protection of data, the policy activities concerning AI, and the technical discussions within the scientific community of AI, in particular in the field of machine learning, that is largely at the origin of the recent advancements of this technology. The individual objectives of this report are to provide a policy-oriented description of the current perspectives of AI and its implications in society, an objective view on the current landscape of AI, focusing of the aspects of robustness and explainability. This also include a technical discussion of the current risks associated with AI in terms of security, safety, and data protection, and a presentation of the scientific solutions that are currently under active development in the AI community to mitigate these risks. This report puts forward several policy-related considerations for the attention of policy makers to establish a set of standardisation and certification tools for AI. First, the development of methodologies to evaluate the impacts of AI on society, built on the model of the Data Protection Impact Assessments (DPIA) introduced in the General Data Protection Regulation (GDPR), is discussed. Secondly, a focus is made on the establishment of methodologies to assess the robustness of systems that would be adapted to the context of use. This would come along with the identification of known vulnerabilities of AI systems, and the technical solutions that have been proposed in the scientific community to address them. Finally, the aspects of transparency and explainability of AI are discussed, including the explainability-by-design approaches for AI models.

2019

  • 27.11.2019 Facial recognition technology: fundamental rights considerations in law enforcement (source: European Union Agency for Fundamental Rights
    Private companies and public authorities worldwide increasingly use facial recognition technology. Several EU Member States are now considering, testing or planning to use it for law enforcement purposes as well. While this technology potentially supports fighting terrorism and solving crimes, it also affects people’s fundamental rights. A new Fundamental Rights Agency’s (FRA) paper looks at the fundamental rights implications of relying on live facial recognition technology, focusing on its use for law enforcement and border management purposes. FRA’s paper ‘Facial recognition technology: fundamental rights considerations in the context of law enforcement’ outlines and analyses fundamental rights challenges that are triggered when public authorities deploy live facial recognition technology for law enforcement purposes. See also: Facial recognition technology: fundamental rights considerations in law enforcement
  • 19.09.2019 EU guidelines on ethics in artificial intelligence: Context and implementation (source: European Parliament – Think Tank)
    The discussion around artificial intelligence (AI) technologies and their impact on society is increasingly focused on the question of whether AI should be regulated. Following the call from the European Parliament to update and complement the existing Union legal framework with guiding ethical principles, the EU has carved out a 'human-centric' approach to AI that is respectful of European values and principles. As part of this approach, the EU published its guidelines on ethics in AI in April 2019, and European Commission President-elect, Ursula von der Leyen, has announced that the Commission will soon put forward further legislative proposals for a coordinated European approach to the human and ethical implications of AI. Against this background, this paper aims to shed some light on the ethical rules that are now recommended when designing, developing, deploying, implementing or using AI products and services in the EU. Moreover, it identifies some implementation challenges and presents possible further EU action ranging from soft law guidance to standardisation to legislation in the field of ethics and AI. There are calls for clarifying the EU guidelines, fostering the adoption of ethical standards and adopting legally binding instruments to, inter alia, set common rules on transparency and common requirements for fundamental rights impact assessments, and to provide an adequate legal framework for face recognition technology. Finally, the paper gives an overview of the main ethical frameworks for AI under development in countries such as the United States and China.
  • 01.07.2019 Briefing European Parliament - Economic impacts of artificial intelligence (AI) (source: European Parliament – Think Tank)
    Artificial intelligence plays an increasingly important role in our lives and economy and is already having an impact on our world in many different ways. Worldwide competition to reap its benefits is fierce, and global leaders – the US and Asia – have emerged on the scene. AI is seen by many as an engine of productivity and economic growth. It can increase the efficiency with which things are done and vastly improve the decision-making process by analysing large amounts of data. It can also spawn the creation of new products and services, markets and industries, thereby boosting consumer demand and generating new revenue streams. However, AI may also have a highly disruptive effect on the economy and society. Some warn that it could lead to the creation of super firms – hubs of wealth and knowledge – that could have detrimental effects on the wider economy. It may also widen the gap between developed and developing countries, and boost the need for workers with certain skills while rendering others redundant; this latter trend could have far-reaching consequences for the labour market. Experts also warn of its potential to increase inequality, push down wages and shrink the tax base. While these concerns remain valid, there is no consensus on whether and to what extent the related risks will materialise. They are not a given, and carefully designed policy would be able to foster the development of AI while keeping the negative effects in check. The EU has a potential to improve its standing in global competition and direct AI onto a path that benefits its economy and citizens. In order to achieve this, it first needs to agree a common strategy that would utilise its strengths and enable the pooling of Member States' resources in the most effective way.
  • 26.06.2019 High-Level Expert Group on AI, Policy and investment recommendations for trustworthy Artificial Intelligence (source: European Commission – reports and studies)
    This document was written by the High-Level Expert Group on AI (AI HLEG). It is the second deliverable of the AI HLEG and follows the publication of the group's first deliverable, Ethics Guidelines for Trustworthy AI, published on 8 April 2019. Europe has set its overarching ambition on a human-centric approach to Artificial Intelligence. In our first deliverable, this concept was captured in the notion of Trustworthy AI, which we characterised in terms of three components – being lawful, ethical and robust – and in line with the core tenets of the European Union: fundamental rights, democracy and the rule of law. Our Ethics Guidelines for Trustworthy AI hence constituted a crucial first step in delineating the type of AI that we want and do not want for Europe. The AI HLEG formulated 33 concrete recommendations addressed to the European Institutions and Member States. These focus on four main areas where we believe Trustworthy AI can help achieving a beneficial impact, starting with humans and society at large, and continuing then to focus on the private sector, the public sector and Europe’s research and academia.
  • 08.04.2019 Ethics Guidelines for Trustworthy Artificial Intelligence (AI), High-level Expert Group on Artificial Intelligence (source: European Commission)
    The High-Level Expert Group on AI presents their ethics guidelines for trustworthy artificial intelligence. According to the guidelines, trustworthy AI should be: (1) lawful - respecting all applicable laws and regulations, (2) ethical - respecting ethical principles and values, and (3) robust - both from a technical perspective while taking into account its social environment.
  • 05.04.2019 Factsheet: Artificial Intelligence for Europe (source: European Commission)
    A European approach on AI will boost the European Union’s competitiveness and ensure trust based on European values. The European Commission has already invested significant amounts to bring benefits to our society and economy. This factsheet provides an overview of AI in Europe.
  • 04.04.2019 A governance framework for algorithmic accountability and transparency, Panel for the Future of Science and Technology (STOA), (source: European Parliament)
    Transparency and accountability are both tools to promote fair algorithmic decisions by providing the foundations for obtaining recourse to meaningful explanation, correction, or ways to ascertain faults that could bring about compensatory processes. The study develops policy options for the governance of algorithmic transparency and accountability, based on an analysis of the social, technical and regulatory challenges posed by algorithmic systems. Based on an extensive review and analysis of existing proposals for governance of algorithmic systems, the authors propose a set of four policy options each of which addresses a different aspect of algorithmic transparency and accountability. 1. Awareness raising: education, watchdogs and whistleblowers. 2. Accountability in public sector use of algorithmic decision-making. 3. Regulatory oversight and Legal liability. 4. Global coordination for algorithmic governance.
  • 15.01.2019 Briefing requested by de IMCO committee - Artificial Intelligence: challenges for EU citizens and consumers (source: European Parliament)
    This briefing addresses the regulation of artificial intelligence (AI), namely, how to ensure that AI benefits citizens and communities, according to European values and principles. Focusing on data and consumer protection, it presents risks and prospects of the applications of AI, it identifies the main legal regimes that are applicable, and examines a set of key legal issues.

2018

Australië

2019

  • 15.12.2019 Human Rights and Technology Discussion Paper (source: Australian Human Rights Commission)
    The Australian Human Rights Commission has launched the Human Rights and Technology Discussion Paper, which makes wide-ranging proposals for safeguarding human rights and encouraging accessible, equal and accountable use of new technology in Australia. Drawing on extensive community and expert consultation, the discussion paper sets out a template for change on how artificial intelligence (AI) and emerging technologies are developed and used in Australia.
  • 05.04.2019 – 31.05.2019 Consultation Hub - Artificial Intelligence: Australia's Ethics Framework (source: Australian Government – Department of Industry, Innovation and Science)
    Artificial Intelligence (AI) has the potential to provide social, economic, and environmental benefits. For Australia to realise these benefits, it’s important for citizens to have trust in how AI is being designed, developed and used by business and government. The Government is seeking views on a discussion paper to inform the Government’s approach to AI ethics in Australia. The discussion paper was developed by CSIRO’s Data61 and designed to encourage conversations about AI ethics in Australia.

Duitsland

2018

  • 15.11.2018 Artificial Intelligence Strategy | AI - a brand for Germany (source: Bundesregierung)
    "AI made in Germany" is to become an international brand, synonymous with modern, secure AI applications for the common good that are based on European values. To ensure that this is achieved, the Cabinet has adopted the Artificial Intelligence Strategy presented jointed by the Federal Minister for Economic Affairs, the Federal Ministry of Education and Research and the Federal Ministry of Labour and Social Affairs.

Nieuw-Zeeland

2019

2018

  • 25.10.2018 Algorithm assessment report (source: New Zealand Government)
    A cross-government review of how government uses algorithms to improve the lives of New Zealanders was undertaken in 2018. The review aimed to ensure New Zealanders are informed, and have confidence in how the government uses algorithms. A report has been produced which presents the initial findings of the review.

Verenigde Staten

2020

  • 07.01.2020 (draft) Memorandum Guidance for Regulation of Artificial Intelligence Applications (source: Whithouse.gov)
    This draft Memorandum sets out policy considerations that should guide, to the extent permitted by law, regulatory and non-regulatory oversight of AI applications developed and deployed outside of the Federal government. Although Federal agencies currently use AI in many ways to perform their missions, government use of AI is outside the scope of this Memorandum. While this Memorandum uses the definition of AI recently codified in statute, it focuses on “narrow” (also known as “weak”) AI, which goes beyond advanced conventional computing to learn and perform domain-specific or specialized tasks by extracting information of the potential regulation on AI innovation and growth. Agencies must avoid a precautionary approach that holds AI systems to such an impossibly high standard that society cannot enjoy their benefits. Where AI entails risk, agencies should consider the potential benefits and costs of employing AI, when compared to the systems AI has been designed to complement or replace. Furthermore, in the context of AI, as in other settings, agencies must consider the effect of Federal regulation on existing or potential actions by State and local governments. In some circumstances, agencies may use their authority to address inconsistent, burdensome, and from data sets, or other structured or unstructured sources of information. More theoretical applications of “strong” or “general” AI—AI that may exhibit sentience or consciousness, can be applied to a wide variety of cross-domain activities and perform at the level of, or better than a human agent, or has the capacity to self-improve its general cognitive abilities similar to or beyond human capabilities—are beyond the scope of this Memorandum.

2019

  • 26.11.2019 A Local Law to amend the administrative code of the city of New York, in relation to reporting on automated decision systems used by city agencies (P.A. Koo, source: The New York City Council)
    Automated decision systems are computerized implementations of algorithms, which are used to make or assist in making decisions. This bill would require city agencies to provide information regarding every automated decision system used by the agency during the prior calendar year to the Mayor’s Office of Operations. Such information would include what each automated decision system is intended to measure or reveal and a description of the decisions made or based on such system. The Mayor’s Office of Operations would be required to compile the information received by city agencies and report it to the Mayor and the Speaker of the Council every year.
  • 19.11.2019 Executive order No. 50 Establishing an Algorithms Management and Policy Officer, The City of New York (office of the Mayor) (source: City of New York - www.nyc.gov)
  • 19.08.2019 FR-6111-P-02 HUD’s Implementation of the Fair Housing Act’s Disparate Impact Standard (proposed rule), Department of Housing and Urban Development (HUD) (source: Regulations.gov)
    Title VIII of the Civil Rights Act of 1968, as amended (Fair Housing Act or Act), prohibits discrimination in the sale, rental, or financing of dwellings and in other housing-related activities on the basis of race, color, religion, sex, disability, familial status, or national origin. HUD has long interpreted the Act to create liability for practices with an unjustified discriminatory effect, even if those practices were not motivated by discriminatory intent. This rule proposes to amend HUD's interpretation of the Fair Housing Act's disparate impact standard to better reflect the Supreme Court's 2015 ruling in Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., and to provide clarification regarding the application of the standard to State laws governing the business of insurance. This rule follows a June 20, 2018, advance notice of proposed rulemaking, in which HUD solicited comments on the disparate impact standard set forth in HUD's 2013 final rule, including the disparate impact rule's burden-shifting approach, definitions, and causation standard, and whether it required amendment to align with the decision of the Supreme Court in Inclusive Communities Project, Inc.
  • Artificial Intelligence for the American People (source: Whitehouse.gov)
  • 29.05.2019 Artificial Intelligence Video Review Act, IL HB2557, IIllinois (source: Billtrack50.com)
    This Act creates the Artificial Intelligence Video Interview Act. Provides that an employer that asks applicants to record video interviews and uses an artificial intelligence analysis of applicant-submitted videos shall: notify each applicant in writing before the interview that artificial intelligence may be used to analyze the applicant's facial expressions and consider the applicant's fitness for the position; provide each applicant with an information sheet before the interview explaining how the artificial intelligence works and what characteristics it uses to evaluate applicants; and obtain written consent from the applicant to be evaluated by the artificial intelligence program. Provides that an employer may not use artificial intelligence to evaluate applicants who have not consented to the use of artificial intelligence analysis. Provides that an employer may not share applicant videos, except with persons whose expertise is necessary in order to evaluate an applicant's fitness for a position.
  • 21.05.2019 Artificial Intelligence Initiative Act (AI-IA) S.1558 (source: Congress.gov)
    A bill to establish a coordinated Federal initiative to accelerate research and development on artificial intelligence for the economic and national security of the United States, and for other purposes.
  • 10.04.2019 Algorithmic Accountability Act 2019 (source: U.S. Senator Ron Wyden for Oregon)
    Sens. Cory Booker, D-N.J., and Ron Wyden, D-Ore., sponsored the Algorithmic Accountability Act, with Rep. Yvette Clarke, D-N.Y., sponsoring a House of Representatives equivalent. The bill would apply to companies that make more than $50 million per year, have data for at least 1 million people or devices, or organizations that primarily act as data brokers. It would also empower the U.S. Federal Trade Commission to require that entities “conduct automated decision system impact assessments and data protection impact assessments” for algorithmic decision-making systems, forcing companies to evaluate algorithms in terms of their “accuracy, fairness, bias, discrimination, privacy and security.”
  • 19.03.2019 Artificial Intelligence for the American People (source: Whitehouse.gov)
    On March 19, 2019, the US federal government launched AI.gov to make it easier to access all of the governmental AI initiatives currently underway. The site is the best single resource from which to gain a better understanding of US AI strategy. US President Donald Trump issued an Executive Order launching the American AI Initiative on February 11, 2019. The Executive Order explained that the Federal Government plays an important role not only in facilitating AI R&D, but also in promoting trust, training people for a changing workforce, and protecting national interests, security, and values. And while the Executive Order emphasizes American leadership in AI, it is stressed that this requires enhancing collaboration with foreign partners and allies. The American AI Initiative is guided by five principles, which include (in summarized form,) the following: 1. Driving technological breakthroughs, 2. Driving the development of appropriate technical standards, 3. Training workers with the skills to develop and apply AI technologies, 4. Protecting American values including civil liberties and privacy and fostering public trust and confidence in AI technologies, 5. Protecting US technological advantage in AI, while promoting an international environment that supports innovation (source: Future of life institute)

2018 

  • 26.09.2018 S.3502 - AI in Government Act of 2018 (source: www.congress.gov)
    This bill establishes the Emerging Technology Policy Lab within the General Services Administration (GSA) to: advise and promote the efforts of the federal government in ensuring that the use of emerging technologies by the government, including artificial intelligence, is in the best interest of the public; and improve cohesion and competency in federal agency rule making and the use of emerging technologies.

2016

  • 15.05.2016 Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights, United States, White House Office (source: Homeland Security Digital Database)
    Big data and associated technologies have enormous potential for positive impact in the United States, from augmenting the sophistication of online interactions to enhancing understanding of climate change to making advances in healthcare. These efforts, as well as the technological trends of always-on networked devices, ubiquitous data collection, cheap storage, sensors, and computing power, will spur broader use of big data. Our challenge is to support growth in the beneficial use of big data while ensuring that it does not create unintended discriminatory consequences. This report examines several case studies from the spheres of credit and lending, hiring and employment, higher education, and criminal justice to provide snapshots of opportunities and dangers, as well as ways that government policies can work to harness the power of big data and avoid discriminatory outcomes. These are issues that strike at the heart of American values, which we must work to advance in the face of emerging, innovative technologies.

Verenigd Koninkrijk 

  • 29.07.2019 M. Rovatsos, B. Mittelstadt & A. Koene, Landscape Summary: Bias in Algorithmic Decision-Making: What is bias in algorithmic decision-making, how can we identify it, and how can we mitigate it? (source: UK Government)
    As our societies become increasingly dependent on algorithms, so we are seeing our age-old prejudices, biases and implicit assumptions reflected back at us in digital form. But the algorithmic systems we use also have the potential to amplify, accentuate and systemise our biases on an unprecedented scale, all while presenting the appearance of objective, neutral arbiters. This Landscape Summary draws together the literature and debates around algorithmic bias, the methods and strategies which may help to mitigate its impact, and explores four sectors in which this phenomenon is already starting to have real world consequences—financial services, local government, crime and justice, and recruitment. We identify a case study for each sector which may have significant consequences for individuals and groups in the UK: algorithmic loan redlining, child welfare, offender risk assessments, and CV sifting. Through these case studies we have identified a number of key findings which are relevant for policymakers, regulators and other officials as they try to understand the socio-economic effects of algorithmic decision-making systems.
  • 25.07.2019 Interim report: Review into bias in algorithmic decision-making (source: Centre for Data Ethics and Innovation - Gov.uk)
    The use of algorithms has the potential to improve the quality of decision- making by increasing the speed and accuracy with which decisions are made. If designed well, they can reduce human bias in decision-making processes. However, as the volume and variety of data used to inform decisions increases, and the algorithms used to interpret the data become more complex, concerns are growing that without proper oversight, algorithms risk entrenching and potentially worsening bias. The way in which decisions are made, the potential biases which they are subject to and the impact these decisions have on individuals are highly context dependent. Our Review focuses on exploring bias in four key sectors: policing, financial services, recruitment and local government. These have been selected because they all involve significant decisions being made about individuals, there is evidence of the growing uptake of machine learning algorithms in the sectors and there is evidence of historic bias in decision-making within these sectors. This Review seeks to answer three sets of questions:
     
    • Data: Do organisations and regulators have access to the data they require to adequately identify and mitigate bias?
    • Tools and techniques: What statistical and technical solutions are available now or will be required in future to identify and mitigate bias and which represent best practice?
    • Governance: Who should be responsible for governing, auditing and assuring these algorithmic decision-making systems?

Our work to date has led to some emerging insights that respond to these three sets of questions and will guide our subsequent work.

^ Back to top

RechtspraakRechtspraak

Nederlandse rechtspraak

2020

  • 05.02.2020 Rechtbank Den Haag 5 februari 2020, ECLI:NL:RBDHA:2020:865, m.nt. W.L. Roozendaal, TRA 2020/49 en ECLI:NL:RBDHA:2020:1878 (English) (SyRI) (bron: www.rechtspraak.nl)
    De rechtbank heeft een uitspraak gedaan in een zaak over het Systeem Risico Indicatie (SyRI). SyRI is een wettelijk instrument dat de overheid gebruikt voor de bestrijding van fraude op bijvoorbeeld het terrein van uitkeringen, toeslagen en belastingen. De rechtbank is van oordeel dat de wetgeving die de inzet van SyRI regelt in strijd is met hoger recht. De wetgeving voldoet volgens de rechtbank niet aan artikel 8 van het Europees Verdrag voor de Rechten voor de Mens (EVRM). Dit artikel beschermt het recht op respect voor het privéleven. De rechtbank moest toetsen of de SyRI-wetgeving in strijd is met eenieder verbindende bepalingen van internationaal of Europees recht. De rechtbank heeft beoordeeld of de SyRI-wetgeving voldoet aan artikel 8 lid 2 EVRM. Die bepaling vereist een ‘fair balance’ (een redelijke verhouding) tussen het maatschappelijk belang dat de wetgeving dient en de inbreuk op het privéleven die de wetgeving maakt. Op grond van artikel 8 EVRM rust op Nederland als lidstaat bij de toepassing van nieuwe technologieën een bijzondere verantwoordelijkheid. Daarbij gaat het om de juiste balans in de weging van enerzijds de voordelen die aan het gebruik van die technologieën verbonden zijn tegenover anderzijds de inmenging die dat gebruik op het recht op respect voor het privéleven kan maken. Dit geldt ook in het geval van de inzet van SyRI. De rechtbank komt tot het oordeel dat de SyRI-wetgeving in haar huidige vorm de toets van artikel 8 lid 2 EVRM niet doorstaat. De rechtbank heeft de doelen van de SyRI-wetgeving, namelijk het voorkomen en bestrijden van fraude in het belang van het economisch welzijn, afgezet tegen de inbreuk op het privéleven die de wetgeving maakt. Volgens de rechtbank voldoet de wetgeving niet aan de ‘fair balance’ die het EVRM vereist om te kunnen spreken over een voldoende gerechtvaardigde inbreuk op het privéleven. De wetgeving is wat betreft de inzet van SyRI onvoldoende inzichtelijk en controleerbaar. De wetgeving is onrechtmatig want in strijd met hoger recht en dus onverbindend.

2019

  • 15.01.2019 Rb. Amsterdam 15 januari 2019, ECLI:NL:RBAMS:2019:210, JAR 2019/24, m.nt. M. Jovović & J.P.H. ZwemmerNTFR 2019/286, m.nt. L.M.J. Arets, FutD 2019-0129, TAO 2019/1, p. 16-19, m.nt. I. Zaal, RAR 2019/56 (FNV / Deliveroo)
    De kantonrechter oordeelt in een procedure tussen FNV en Deliveroo dat Deliveroo onder de werkingssfeer van de cao voor beroepsgoederenvervoer valt. Bezorging van maaltijden door Deliveroo moet worden gekwalificeerd als vervoer van goederen over de weg en valt daarmee onder de cao van die sector. Deliveroo is daarmee ook verplicht de cao met terugwerkende kracht na te leven.
  • 15.01.2019 Rb. Amsterdam 15 januari 2019, ECLI:NL:RBAMS:2019:198, JAR 2019/23, m.nt. M. Jovović & J.P.H. ZwemmerAR Annotaties 2019-0051, m.nt. J.H. Bennaars, NTFR 2019/23, m.nt. L.M.J. Arets, NLF 2019/0305, m.nt. S. Spauwen, FutD 2019-0129, TAO 2019/1, p. 7-15, m.nt. P.R. Bartens, RAR 2019/57 (FNV / Deliveroo)
    De kantonrechter oordeelt in een procedure tussen FNV en Deliveroo dat bezorgers van Deliveroo geen zzp’ers zijn, maar aanspraak kunnen maken op een arbeidsovereenkomst. De kantonrechter is het met FNV eens dat de verhouding tussen Deliveroo en de bezorgers met de invoering van de nieuwe contractvorm (de partnerovereenkomst) per 2018 niet wezenlijk veranderd is. Daarbij is, volgens de rechter, onder andere van belang dat de partnerovereenkomst een standaardcontract is, dat volledig en eenzijdig door Deliveroo is opgesteld en niet onderhandelbaar is. De rechter oordeelt dat binnen de rechtsverhouding nog altijd sprake is van een gezagsverhouding tussen het bedrijf en de bezorgers. Hierbij spelen de digitale systemen die Deliveroo gebruikt voor het inroosteren van de bezorgers en de bezorging van maaltijden, een belangrijke rol.

2018

  • 16.10.2018 CRvB 16 oktober 2018, ECLI:NL:CRVB:2018:3270, JWWB 2018/278
    De CRvB heeft in onder meer deze uitspraak geoordeeld over het gebruik van risicoprofielen bij de opsporing van uitkeringsfraude. Kort gezegd komt het erop neer dat risicoprofielen (bijv. alleenstaande mannen van 55+) die gebruik maken van ‘beschermde gegevens’ zoals geslacht of etniciteit, moeten worden gerechtvaardigd door “zeer gewichtige redenen.” Daarvan kan bijvoorbeeld sprake zijn als ervaringsgegevens ertoe noodzaken gebruik te maken van een bepaald risicoprofiel.
  • 23.07.2018 Rb. Amsterdam 23 juli 2018, ECLI:NL:RBAMS:2018:5183, JAR 2018/189, m.nt. J.P. Wiewel & J.M. van Slooten, RAR 2018/153 (Deliveroo)
    De kantonrechter oordeelt, gezien hetgeen Deliveroo en de maaltijdbezorger zijn overeengekomen en hoe zij vervolgens feitelijk aan die overeenkomst uitvoering en invulling hebben gegeven, dat de rechtsverhouding tussen partijen niet als een arbeidsovereenkomst gekwalificeerd kan worden. Volgens de kantonrechter moge het zo zijn dat in het huidige arbeidsrecht geen rekening is gehouden met de uit de (relatief) nieuwe platformeconomie voorkomende arbeidsverhoudingen maar dat maakt echter nog niet dat de onderhavige beslissing tot dusdanig onaanvaardbare resultaten leidt, dat de redelijkheid en billijkheid tot rechterlijk ingrijpen noopt. Wanneer het ongewenst wordt geacht dat werkplatforms als Deliveroo dergelijke overeenkomsten aanbieden, zal de wetgever daartegen maatregelen moeten treffen. De vorderingen van de maaltijdbezorger worden afgewezen.

2017 

  • 21.11.2017 CRvB 21 november 2017, ECLI:NL:CRVB:2017:4068, NJB 2017/2350, JWWB 2017/332, USZ 2018/40
    De CRvB heeft in onder meer deze uitspraak geoordeeld over het gebruik van risicoprofielen bij de opsporing van uitkeringsfraude. Kort gezegd komt het erop neer dat risicoprofielen (bijv. alleenstaande mannen van 55+) die gebruik maken van ‘beschermde gegevens’ zoals geslacht of etniciteit, moeten worden gerechtvaardigd door “zeer gewichtige redenen.” Daarvan kan bijvoorbeeld sprake zijn als ervaringsgegevens ertoe noodzaken gebruik te maken van een bepaald risicoprofiel.

Europese rechtspraak

2019

  • 30.04.2019 Conclusie van AG Szpunar (AirBnB) C‑390/18, ECLI:EU:C:2019:336
    Het platform van AirBnB is volgens A-G Szpunar een dienst van de informatiemaatschappij. De A-G werkt in zijn conclusie de verschillen tussen AirBnB en Uber uit en werpt zodoende nieuw licht op de Uber-criteria; wanneer creëer je als platform zelf aanbod en wanneer oefen je beslissende invloed uit over een aangeboden dienst?

Buitenlandse rechtspraak

Verenigde Staten

2018

  • 17.08.2018 United States District Court Southern District of New York, Case No. 1:18-cv-02689 (National Fair Housing Alliance and others / Facebook Inc.)
    Facebook is a well-known social media platform that, among other things, permits each user to create a personal profile to share information with others also on Facebook, including those designated by the user as “friends,” who may be family, friends, acquaintances, or people whom the user has never met. As Plaintiffs allege, advertising to its users is the core of Facebook’s business model. Plaintiffs claim that Facebook is liable under the Fair Housing Act (FHA) because it solicits preferences from housing advertisers of demographic and other audience preferences, then delivers such ads only to users who match those preferences, based on Facebook’s mining of user data and the application of its proprietary algorithms. Facebook contends that it is immune from such liability under the Communications Decency Act (CDA). The Fair Housing Act prohibits a wide array of discrimination in housing. The complaint alleges that Facebook’s practices violate section 3604(c) of the FHA, which makes it illegal “[t]o make, print, or publish, or cause to be made, printed, or published any notice, statement, or advertisement, with respect to the sale or rental of a dwelling that indicates any preference, limitation, or discrimination based on race, color, religion, sex, handicap, familial status, or national origin, or an intention to make any such preference, limitation, or discrimination. The complaint also alleges that Facebook’s practices violate sections 3604(a,d and f) by making unavailable or denying a dwelling based upon prohibited characteristics. The CDA was enacted to preserve the ability of the Internet to offer “a forum for a true diversity of political discourse, unique opportunities for cultural development, and myriad avenues for intellectual activity.” The CDA accordingly immunizes “interactive computer service” providers against liability arising from content created by third parties. On the other hand, the CDA does not immunize “information content providers,” defined as website operators that are “responsible, in whole or in part, for the creation or development of” content. Two leading cases frame the analysis of the application of CDA immunity to FHA. In none of these cases did the court consider whether Facebook developed, in whole or in part, content through its advertising functions, let alone its advertising targeting functions, thereby making it a “content provider.” Based on the alleged facts, the CDA does not shield Facebook from FHA liability. The Court denies Facebook’s motion to dismiss the FHA claims.

2017

  • 26.06.2017 Supreme Court of the United States (Loomis v. Wisconsin) (source: Wikipedia)
    Loomis v. Wisconsin was a petition to the United States Supreme Court to overturn the previous Wisconsin Supreme Court ruling in State v. Loomis (881 N.W.2d 749 (Wis. 2016)) The case challenged the State of Wisconsin's use of proprietary, closed-source risk assessment software in the sentencing of Eric Loomis to six years in prison. The case alleged that using such software in sentencing violates the defendant's right to due process because it prevents the defendant from challenging the scientific validity and accuracy of such test. The case also alleged that the system in question (Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) violates due process rights by taking gender and race into account. Hearing this case would have given the court "the opportunity to rule on whether it violates due process to sentence someone based on a risk-assessment instrument whose workings are protected as a trade secret."
    The Supreme Court of the United States denied the writ of certiorari, thus declining to hear the case, on June 26, 2017.
  • 04.05.2017 United States District Court Southern District of Texas, Case 4:14-cv-01189 (Houston Federation of Teachers / Houston Independent School District)
    Onderwerp van dit geschil was het datagedreven algoritmische evaluatiesysteem EV AAS (Educational Value-Added Assesment System), dat was ontworpen door de onderneming SAS en waarvoor de Houston Independent School District een licentie had genomen. EVAAS bepaalde de prestaties van de leerkrachten – en droeg de slechtst presterende hunner voor ontslag voor – aan de hand van de vooruitgang die de leerlingen al dan niet boekten op de gestandaardiseerde toetsen die bij hen werden afgenomen: "The details are more complicated, but in general a teacher's EV AAS score is based on comparing the average test score growth of students taught by the teacher compared to the statewide average for students in that grade or course. The raw EVAAS score is generated by SAS's proprietary software and is then converted to a test statistic referred to as the "Teacher Gain Index" (TGI), based on the ratio of the EV AAS score to its standard error." Vervolgens worden hier bewerkingen op uitgevoerd waarvan de details bedrijfsgeheim zijn SAS. Hierdoor ging, kort gezegd, de geplande reorganisatie nat, omdat de Houston Independent School District (een overheidsinstelling) de grondrechtelijke beginselen van 'due process' en 'equal protection' had geschonden.

Presentaties

Stibbe

  • 21.11.2019 S. Montebovi & M. Jovović, Presentatie Platformabeid in de Digitale Economie LabourLawLands nov 2019 (bron: Tilburg University / Stibbe – LabourLawLands)
    Deze presentatie gaven Saskia Montebovi en Marko Jovović op 21 november 2019 tijdens LabourLawLands. In deze presentatie wordt het algoritme ’gedemystificeerd, wordt een aantal eigenaardigheden van algoritmes besproken en geplaatst en wordt besproken hoe algoritmes in het arbeidsrecht zouden kunnen passen.
  • 02.07.2019 S. Akel, M. Jovović & J. Krikke, Presentatie Stibbe Debatavond: “HR Analytics - kans of bedreiging?” juli 2019 (bron: Stibbe
    Deze presentatie gaven Siert Akel (Efficient or dangerous? How machine learning and AI are transforming HR), Marko Jovović (Algoritmische discriminatie) en Judica Krikke (Het privacyrechtelijke perspectief) tijdens de Stibbe Debatavond “HR Analytics - kans of bedreiging?” op 2 juli 2019.
  • 08.02.2019 Presentatie arbeidsrecht en algoritmes (AOM) feb 2018 (AOM | bron: UvA / Stibbe)
    Deze presentatie over arbeidsrecht en algoritmes gaven Jaap van Slooten en Marko Jovović op 8 februari 2919 tijdens de AOM-bijeenkomst. Aan de orde komen de volgende onderwerpen: (1) Is het arbeidsrecht klaar voor algoritmes? - Wat zijn AI & algoritmes? (2) Arbeidsrechtelijke vragen: - Kan een algoritme discrimineren?, - Invloed op gezagsverhoudingskwestie?, - Loonregels en beloningsalgoritmes?, - Rol data en oordelen bij ontslag?, - Is de WOR klaar voor algoritmes?
  • 10.10.2018 E.L.H. van der Vos, ‘Presentatie de Uberwerker oktober 2018’ (Stibbe Talks | bron: Stibbe)
    Presentatie ‘de Uberwerker’. Aan de orde komen de volgende onderwerpen: (1) kwalificatie van de werkvorm en (2) nieuwe uitdagingen in het arbeidsrecht zoals kinderarbeid, discriminatie en stakingen.

^ Back to top

Websites

Nederland

  • AI Technology for People – Research at the UvA
    From self-driving cars and surveillance systems to robot care and machine-learning, artificial intelligence (AI) has a major impact on our daily lives.Together with the City of Amsterdam, the business community, social partners and other research institutions, the University of Amsterdam is conducting groundbreaking research on new algorithms, their applications and their impact on society.
    • Towards Humane AI - UvA
      The Research Priority Area (RPA) Human(e) AI at the University of Amsterdam synthesises ongoing work and stimulates new research at the UvA on the societal consequences of the rapid development of artificial intelligence (AI) and automated decision-making (ADM) in a wide variety of societal areas.
  • Digitale overheid - Nieuwe technologieën, data en ethiek
    Door te innoveren wil de Nederlandse overheid vooroplopen bij het gebruik van nieuwe digitale technieken. Tegelijkertijd wil de overheid alle burgers en ondernemers én hun rechten beschermen als die door nieuwe ontwikkelingen onder druk komen te staan.
  • NLdigital - Ethische Code Artificial Intelligence
    Artificial Intelligence (kunstmatige intelligentie, AI) biedt kansen voor het oplossen van maatschappelijke en economische vraagstukken. Die kansen moeten we niet onbenut laten. AI-toepassingen brengen echter ook ethische vragen met zich mee. Vanzelfsprekend moeten dergelijke innovaties daarom op een verantwoorde wijze plaatsvinden. De ICT-sector is zich daarvan bewust en heeft daarom deze ethische gedragscode AI opgesteld als richtsnoer voor en met haar leden.
  • Nederlandse AI Coalitie (NL AIC)
    De Nederlandse AI Coalitie (NL AIC) heeft als doel de Nederlandse activiteiten in AI te stimuleren, te ondersteunen en waar nodig te organiseren. De NL AIC wil dat Nederland mee kan doen met de koplopers in Europa op het gebied van kennis én toepassing van AI, ten behoeve van welvaart en welzijn met inachtneming van Nederlandse en Europese normen en waarden. Dit vereist een collaboratieve keten aanpak, waarbij overheid, bedrijven, onderwijs- en onderzoeksinstellingen en maatschappelijke organisaties samenwerken.
  • Rathenau Instituut – Digitale samenleving
    Het verschil tussen online en offline vervaagt. Zonder te weten wat het precies betekent, leven we daardoor steeds meer in een digitale samenleving. Digitale technologieën veranderen de manier waarop docenten lesgeven, hoe dokters en patiënten met elkaar praten, waar politici over debatteren en hoe mensen nieuws delen. Achter de schermen werken algoritmen en kunstmatige intelligentie op manieren die we vaak niet eens herkennen. Onze samenleving wordt op deze manier compleet anders ingericht. De Nederlandse overheid heeft zich uitgesproken voor een digitale toekomst waarin iedereen kan meedoen. Wat betekent dit voor de bestaande spelregels? Voor internationale afspraken en voor de samenwerking tussen lokale overheden onderling en hun afstemming met de nationale overheid? Welke verantwoordelijkheid nemen bedrijven? Hoe worden we technologisch vaardige burgers? En wie helpt ons daarbij als het niet lukt?
    • 19.03.2019 Overzicht van ethische codes en principes voor AI
      De afgelopen twee jaar zijn er diverse ethische codes en principes voor de ontwikkeling en het gebruik van kunstmatige intelligentie (AI) verschenen. In dit artikel zetten we de belangrijkste op een rij. Dit overzicht geeft een indruk van de partijen die zich hebben gecommitteerd aan het formuleren en onderschrijven van bepaalde richtlijnen voor de ontwikkeling en het gebruik van kunstmatige intelligentie (AI). We hebben gekeken naar verklaringen, uitspraken, richtsnoeren en codes over ethiek en AI. Dit overzicht focust op Europa en de Verenigde Staten. Hierin zijn geen publicaties of links opgenomen naar initiatieven, conferenties, allianties en onderzoeksgroepen die een bijdrage leveren aan de verdieping en verbreding van maatschappelijke en ethische dilemma’s op het gebied van AI.
  • VNO NCW – Artificial Intelligence (AI) (bron: VNO NCW)
    Nederland moet voorloper zijn in de toepassing en ontwikkeling van kunstmatige intelligentie (artificial intelligence of kortweg AI). AI wordt vergeleken met eerdere industriële revoluties en zal door het sectordoorsnijdend karakter enorme impact hebben op onze economie. Daarom is het van groot belang dat we als land meegaan in deze razendsnelle ontwikkeling. Door de inzet op en de inzet van AI kunnen we tot creatieve en innovatieve oplossingen komen voor maatschappelijke uitdagingen in onder andere de gezondheidszorg, mobiliteit en duurzaamheid. Ook zal het grote invloed hebben op ons toekomstige verdienvermogen.
    • De Nationale AI coalitie heeft als doel om tot coördinatie en samenwerking te komen met de AI activiteiten in het huidige gefragmenteerde Nederlandse AI-speelveld, omdat gezamenlijke inspanningen meer resultaat hebben.

Europese Unie

  • AI Watch (source: European Commission)
    Monitor the development, uptake and impact of Artificial Intelligence for Europe
  • AI4EU
    AI4EU is the European Union’s landmark Artificial Intelligence project, which seeks to develop a European AI ecosystem, bringing together the knowledge, algorithms, tools and resources available and making it a compelling solution for users. Involving 80 partners, covering 21 countries, the €20m project kicked off in January 2019 and will run for three years. AI4EU will unify Europe’s Artificial Intelligence community. It will facilitate collective work in AI research, innovation and business in Europe. By sharing AI expertise, knowledge and tools with the Platform, AI4EU will make AI available to all.
  • European Union Agency for Fundamental Rights - Artificial Intelligence, Big Data and Fundamental Rights
    This project assesses the positive and negative impact of artificial intelligence (AI) and big data when used in public administrations and business. The project identifies concrete examples of fundamental rights challenges arising from the use of algorithms for decision-making (i.e. machine learning and AI). It aims to establish fundamental rights guidelines and recommendations for using AI and big data in public administrations and business.
  • High-Level Expert Group on Artificial Intelligence (source: European Commission)
    Following an open selection process, the Commission has appointed 52 experts to a new High-Level Expert Group on Artificial Intelligence, comprising representatives from academia, civil society, as well as industry. The High-Level Expert Group on Artificial Intelligence (AI HLEG) will have as a general objective to support the implementation of the European strategy on Artificial Intelligence. This will include the elaboration of recommendations on future-related policy development and on ethical, legal and societal issues related to AI, including socio-economic challenges.
  • The European AI Alliance (source: European Commission)
    The European AI Alliance is a forum engaged in a broad and open discussion of all aspects of Artificial Intelligence development and its impacts.

Buitenland

  • AI Auditing Framework – blog – ICO
    The UK Information Commissioner's Office is developing its approach to auditing and supervising AI applications. In this blog, we provide regular updates on how our thinking is developing in relation to specific AI risk areas. This is an ongoing Call for Input: please comment on our blog posts and share your insights and views. A formal consultation will be published towards the end of 2019.
  • AI Now Institute, New York University
    The AI Now Institute at New York University is an interdisciplinary research centre dedicated to understanding the social implications of artificial intelligence.
  • CodeX – The Stanford Center for Legal Informatics
    At CodeX, researchers, lawyers, entrepreneurs and technologists work side-by-side to advance the frontier of legal technology, bringing new levels of legal efficiency, transparency, and access to legal systems around the world. CodeX‘s emphasis is on the research and development of computational law – the branch of legal informatics concerned with the automation and mechanization of legal analysis. 
  • Ethics of Algorithms
    With its “Ethics of Algorithms” project, the Bertelsmann Stiftung is taking a close look at the consequences of algorithmic decision-making in society with the goal of ensuring that these systems are used to serve society. We aim to help inform and advance algorithmic systems that facilitate greater social inclusion. This involves committing to what is best for a society rather than what’s technically possible – so that machine-informed decisions can best serve humankind.
  • Humane AI – Human-centered Artificial Intelligence
    We are designing the principles for a new science that will make artificial intelligence based on European values and closer to Europeans. This new approach works toward AI systems that augment and empower all Humans by understanding us, our society and the world around us.
  • The Institute for Ethical AI & Machine Learning
    The Institute for Ethical AI & Machine Learning is a UK-based research centre that carries out highly-technical research into responsible machine learning systems. They are formed by cross functional teams of machine learning engineers, data scientists, industry experts, policy-makers and professors in STEM, Humanities and Social Sciences.

^ Back to top


Team
Jaap van Slooten
Partner Amsterdam at Stibbe
+31 20 5460651
Marko Jovović
Junior Associate Amsterdam at Stibbe
Helene Maks
Senior Professional Support Lawyer Amsterdam at Stibbe