Digital Economy - Ethical Artificial Intelligence


EN vlag rond Read introduction in English

Laatst bijgewerkt op 5 november 2019

Over Ethical Artificial Intelligence

Deze pagina gaat over de juridische implicaties van algoritmische besluitvorming, Er is nagenoeg geen onderneming of instelling over die geen gebruik maakt van automatisering of algoritmen. De Europese Commissie noemt kunstmatige intelligentie, een verzamelnaam voor specifieke toepassingen van bepaalde typen algoritmen, één van de meest strategische technologieën van de 21ste eeuw. Deze nieuwe technologieën roepen dan ook allerlei juridische vragen op. Wat betekent het bijvoorbeeld dat algoritmische besluitvormingsprocessen niet altijd even transparant zijn. Of: wat is de rol van het gelijkebehandelingsrecht bij algoritmische besluitvorming? Om deze en andere vragen te kunnen beantwoorden, helpen wij u op weg met de meest relevante informatie. Via onderstaande iconen komt u direct bij de hoofdcategorieën van ons informatieoverzicht over dit belangrijke onderwerp.

Nieuws Literatuur Rapporten 4 Rechtspraak

Wat is de grens tussen een legitiem voorspellend model en een discriminatoir model?

Stel: je bouwt een systeem dat sollicitanten moet beoordelen. Het kan hierbij van grote waarde zijn nauwkeurig te voorspellen hoe lang iemand in dienst zal blijven. Voor bepaalde functies wil je liever mensen die lang zullen blijven, terwijl bij andere functies juist een hoger natuurlijk verloop wenselijk is. Wat nu als leeftijd hiervan de sterkste voorspeller blijkt te zijn? Is dat een ongeoorloofd verschil in behandeling, of is hier objectieve rechtvaardiging mogelijk? Wordt dit anders als leeftijd in combinatie met drie andere variabelen de sterkste voorspeller blijkt te zijn? Met andere woorden: hoe werkt de objectieve rechtvaardigingstoets in de praktijk bij algoritmische besluitvorming?

Is regelgeving wenselijk en, zo ja, welke?

Inmiddels wordt wereldwijd nagedacht over de vraag of kunstmatige intelligentie en andere vormen van geautomatiseerde besluitvorming moeten worden gereguleerd. De Amerikaanse democraten willen ondernemingen met meer dan $ 50 mln. omzet per jaar of toegang tot veel gegevens, verplichten hun 'high-risk' geautomatiseerde systemen door te lichten op bias en discriminatie door middel van een 'automated decision impact assessment'. Het Europarlement spreekt over verschillende modaliteiten van regulering, de Australische overheid is een publieke consultatie begonnen en in Nederland heeft de VVD heeft een initiatiefnota ingediend met een verzoek om wetgeving. Tegelijkertijd is veel discriminatie door algoritmes naar huidig recht al verboden. Moet hieraan nieuwe regelgeving worden toegevoegd? Zo ja, wat moet deze regelgeving inhouden? Zijn transparantieverplichtingen de aangewezen route, of kunnen meer inhoudelijke eisen worden gesteld aan de technologie? En wat doet dat met het innovatie- en concurrentievermogen van Nederlandse en Europese ondernemingen?

De black box en de omkering van de bewijslast

In procedures die discriminatie betreffen, kan degene die meent te zijn gediscrimineerd, volstaan met het stellen en bewijzen van feiten en omstandigheden waaruit aannemelijk wordt dat discriminatie heeft plaatsgevonden. Daarna verschuift de bewijslast, zodat degene wie discriminatie wordt verweten, moet bewijzen dat hij niet heeft gediscrimineerd. Verschuift de bewijslast sneller als een systeem een black box is? En zo ja, hoe moet degene die de black box hanteert, bewijzen dat hij niet heeft gediscrimineerd? Ook hij zal immers niet makkelijk door de black box heen kunnen kijken.

BlackBox

Collectieve acties tegen gebruikers van algoritmen?

Benadeling door algoritmen is vaak beperkt in omvang. Een iets hogere prijs voor een product of een iets lagere positie in de ranking. Kunnen benadeelde partijen hun claims bundelen?

Waarom is dit onderwerp relevant?

Zoals uit bovenstaande blijkt, kunnen kunstmatige intelligentie en andere vormen van geautomatiseerde besluitvorming een grote maatschappelijke en juridische impact hebben. Op dit moment wordt er meer en meer nagedacht over de regulering daarvan. De eerste procedures over geautomatiseerde systemen en hun maatschappelijke implicaties beginnen inmiddels op gang te komen. Zo is in de Verenigde Staten Facebook gedagvaard door de HUD omdat zij het mogelijk maakt gericht te adverteren (of dat niet te doen) bij mensen op basis van etniciteit, geslacht, ras etc. In Nederland is inmiddels een procedure aanhangig tegen het door het ministerie van SZW ontwikkelde systeem SyRI dat uitkeringsfraude moet tegengaan.

NieuwsNieuws- en blogberichten

Stibbe

2019

  • 08.07.2019 Podcast: Arbeidsrecht en kunstmatige intelligentie (S. Akel, M. Jovović & J.M. van Slooten, bron: Stibbe)
    Deze aflevering van Stibbe Legal Insights gaat over arbeidsrecht en kunstmatige intelligentie. Je hoort van HR-techexpert Siert Akel van VIE People en Wonderkind hoe AI in de praktijk wordt gebruikt en van de advocaten Marko Jovović en Jaap van Slooten (beiden Stibbe) wat de uitdagingen zijn in het recht.
  • 31.05.2019 Er moet snel wetgeving komen tegen algoritmische discriminatie (M. Jovović, Stibbe, bron: FD) [zichtbaar na inlog / registratie]
    Het algoritme wikt en het algoritme beschikt, steeds vaker. Het wikken is echter vaak ondoorgrondelijk en de beschikkingen kunnen discriminatoir zijn. Het Europees Parlement verkent daarom wetgevingsstrategieën en de VVD wil, net als de Amerikaanse democratische partij, toezicht op algoritmen. Is wetgeving echter wenselijk?
  • 08.01.2019 Algoritmische discriminatie (M. Jovović, bron: Stibbe)
    'Slimme algoritmes' nemen steeds meer arbeidsrechtelijk relevante beslissingen. Zo kunnen zelflerende systemen onder meer worden ingezet om te bepalen wie promotie krijgt of welk cv wordt geselecteerd in een sollicitatieprocedure. Ook in de opkomende platformeconomie worden veel arbeidsrechtelijk relevante beslissingen genomen door geautomatiseerde systemen: wie doet welke klus en tegen welke belonging?

Nederland

2019

  • 04.11.2019 Zelfs op krappe arbeidsmarkt zien recruiters vrouw niet staan (R. Winkel, bron: FD) [zichtbaar na inlog / registratie]
    Recruiters hebben een blinde vlek voor vrouwelijk talent. Dat valt af te leiden uit een analyse van de zogenaamde sourcingsdruk die Intelligence Group heeft gemaakt op verzoek van het FD. Vrouwen worden veel minder vaak voor een baan gevraagd dan mannen, zelfs nu er op de krappe arbeidsmarkt van alle kanten aan personeel wordt getrokken. Die scheve verhouding bestaat in vrijwel alle beroepen, ook in branches waar vrouwen van oudsher sterk zijn vertegenwoordigd, zoals de zorg. 'Waarom dat zo is, weten we niet’, zegt Geert-Jan Waasdorp van Intelligence Group. ‘Het kan met vindbaarheid en profilering te maken hebben, maar ik vermoed dat er onbewust ook andere zaken spelen.' Veel recruiters beginnen hun zoektocht in databases. Als mannen zich op hun profiel beter presenteren of hun vaardigheden, titels en prestaties harder formuleren dan vrouwen, kan dat betekenen dat ze hoger op de shortlist komen en dus ook sneller worden benaderd.
  • 04.11.2019 'Seksediscriminatie door recruiters: mannen vaker benaderd dan vrouwen' (bron: NOS.nl)
    Bij het zoeken naar personeel hebben recruiters een blinde vlek voor vrouwelijk talent, meldt het FD. Vrouwen worden veel minder vaak benaderd dan mannen, ook nu er van alle kanten aan personeel wordt getrokken. Vorige maand kwam staatssecretaris Van Ark van SZW met een wetsvoorstel om discriminatie op de arbeidsmarkt aan te pakken. Uit een onderzoek in opdracht van SZW blijkt dat sollicitanten met een migratieachtergrond nog altijd minder kans maken op een uitnodiging voor een gesprek dan andere sollicitanten. Werkgevers discrimineren aanzienlijk minder dan in 2015, maar het komt nog steeds voor.
  • 02.11.2019 SyRI moet stoppen in afwachting van betere waarborgen (bron: NRC)
    rechtszaak over het systeem SyRI, die afgelopen week diende in de Haagse rechtbank, is een cruciale zaak om het belang van bestuurlijke innovatie aan de ene kant, en het belang van rechtsbescherming aan de andere kant te wegen. Het is te hopen dat de rechter pal staat voor burgerrechten. De zaak, aangespannen door een groep maatschappelijke organisaties en burgers draait vooral om de vraag of de inzet van SyRI, het Systeem Risico Indicatie, proportioneel is. Het is een systeem dat data van verschillende overheden koppelt en analyseert om te helpen bij de opsporing van bijstandsfraude.
  • 02.11.2019 ABN Amro spoort 7 gevallen van uitbuiting op met algoritme (bron: RTLZ)
    ABN Amro heeft zeven mogelijke gevallen van mensenhandel opgespoord en doorgegeven aan de arbeidsinspectie. De bank controleert data van hun klanten op verdachte transacties. Andere banken tonen nu ook interesse in de opsporingsmethode. Banken werken al langer mee aan onderzoeken naar mensenhandel, maar dat gebeurde altijd op verzoek van de Inspectie van Sociale Zaken en Werkgelegenheid (SZW). ABN doet inmiddels al een tijd het omgekeerde: op eigen initiatief doorzoekt de bank overboekingen in het computersysteem.
  • 31.10.2019 Selectieve fraudeaanpak (E. de Groot, bron: FD) [zichtbaar na inlog / registratie]
    Bij de rechtbank in Den Haag dient een zaak tegen de fraudeaanpak in de sociale zekerheid. Het model SyRI van het ministerie van SZW zou kwetsbare groepen discrimineren. SyRI koppelt via een algoritme gegevens van allerlei instanties en geeft een risicomelding als er eerder fraude is geconstateerd of bijvoorbeeld als iemand in de bijstand dure auto’s heeft.
  • 29.10.2019 Mag de staat gluren in de watermeter? (bron: FD) [zichtbaar na inlog / registratie]
    Mag de overheid uitkeringsfraude opsporen door onder meer de watermeter te checken en allerlei andere gegevens op 'discrepanties' te controleren? Over die vraag boog de rechtbank in Den Haag zich dinsdag.
  • 29.10.2019 Privacy groups in court over ministry’s algorithm-based fraud detention system (source: Dutch News)
    Privacy groups, the FNV trade union federation and several private individuals are in court in The Hague on Tuesday morning arguing that the government’s algorithm-based fraud detection system should be scrapped. SyRi, devised by social affairs ministry officials, has been uses by four local authorities to draw up lists of people suspected of some form of housing or social security fraud. The system uses and algorithm which links government organisations and draws up risk profiles based on the profiles of people already caught committing social security fraud. It then combs the records to find people with a similar risk profile who are then considered to be potential fraudsters and listed for further investigation.
  • 29.10.2019 Rechter buigt zich over omstreden snuffelprogramma dat fraude via computers moet ontdekken (C. Huisman, bron: De Volkskrant)
    Het opsporingssysteem SyRI is ontworpen om via gezamenlijke overheidscomputers potentiële uitkeringsfraudeurs te pakken. Maar SyRI wordt niet alleen ingezet tegen verdachten, maar tegen bepaalde bevolkingsgroepen, zoals de bewoners van arme wijken. En dat deugt niet. Het is in strijd met de grondrechten, en een ernstige bedreiging van de privacy, betogen tegenstanders voor de rechtbank.
  • 21.10.2019 VN-rapporteur zeer bezorgd over Nederlands opsporingssysteem voor uitkeringsfraude (bron: NOS.nl)
    De VN-rapporteur voor de mensenrechten Philip Alston heeft ernstige zorgen over Nederland. De reden is een systeem dat uitkeringsfraude moet opsporen. In een brief aan de rechtbank in Den Haag schrijft Alston dat het systeem in strijd is met de mensenrechten omdat het mensen met weinig geld en mensen met een migratie-achtergrond discrimineert. Het Systeem Risico Indicatie (SyRI), van het ministerie van Sociale Zaken, maakt gebruik van een algoritme dat data van een groot aantal overheidsinstanties aan elkaar koppelt. Op basis van gegevens van eerdere fraudeurs wordt een risicoprofiel opgesteld. Vervolgens worden gegevens van burgers vergeleken met het risicoprofiel.
  • 09.10.2019 Anti-discriminatiewet gaat werkgever flink raken (R. Winkel, bron: FD) [zichtbaar na inlog / registratie]
    Werkgevers moeten in de toekomst duidelijk kunnen aantonen dat ze nieuwe werknemers niet discrimineren op afkomst, geslacht of leeftijd. Voor bedrijven gaat dit regeringsplan nogal wat voeten in de aarde hebben, voorspelt hoogleraar arbeidsrecht Jaap van Slooten.

→ Klik hier voor alle nieuws- en blogberichten.

Europese Unie

  • 30.09.2019 European Parliamentary Research Service issues a briefing paper on implementing EU’s ethical guidelines on AI (M. Hansen, S. Jungyun Choi, G. Nash & L. Richardson, source: Inside privacy - Covington)
    On 19 September 2019, the European Parliamentary Research Service (“EPRS”) – the European Parliament’s in-house research service – released a briefing paper that summarizes the current status of the EU’s approach to developing a regulatory framework for ethical AI.  Although not a policymaking body, the EPRS can provide useful insights into the direction of EU policy on an issue.  The paper summarizes recent calls in the EU for adopting legally binding instruments to regulate AI, in particular to set common rules on AI transparency, set common requirements for fundamental rights impact assessments, and provide an adequate legal framework for facial recognition technology.
  • 19.01.2019 EU guidelines on ethics in artificial intelligence: Context and implementation (T. Madiega, source: European Parliamentary Research Service Blog)
    The discussion around artificial intelligence (AI) technologies and their impact on society is increasingly focused on the question of whether AI should be regulated. Following the call from the European Parliament to update and complement the existing Union legal framework with guiding ethical principles, the EU has carved out a ‘human-centric’ approach to AI that is respectful of European values and principles. As part of this approach, the EU published its guidelines on ethics in AI in April 2019, and European Commission President-elect, Ursula von der Leyen, has announced that the Commission will soon put forward further legislative proposals for a coordinated European approach to the human and ethical implications of AI. Against this background, this paper aims to shed some light on the ethical rules that are now recommended when designing, developing, deploying, implementing or using AI products and services in the EU.
  • 26.06.2019 EU artificial intelligence ethics checklist ready for testing as new policy recommendations are published (source: European Commission)
    The European Commission has launched the pilot phase of the ethics guidelines for trustworthy AI, as the High-Level Expert Group on Artificial Intelligence released its policy recommendations.
  • 08.04.2019 Kunstmatige intelligentie: Commissie werkt verder aan ethische richtsnoeren (bron: persbericht Europese Commissie)
    De Commissie presenteert de volgende stappen voor het scheppen van vertrouwen in kunstmatige intelligentie. Daarbij maakt zij gebruik van het werk van de deskundigengroep op hoog niveau. Voortbouwend op de werkzaamheden van de in juni 2018 benoemde groep onafhankelijke deskundigen start de Commissie vandaag een proeffase om ervoor te zorgen dat de ethische richtsnoeren voor de ontwikkeling en het gebruik van kunstmatige intelligentie in de praktijk kunnen worden toegepast. De Commissie vraagt de industrie, onderzoeksinstellingen en overheidsinstanties om de gedetailleerde evaluatielijst te testen die de deskundigengroep als aanvulling op de richtsnoeren heeft opgesteld. De vandaag gepresenteerde plannen vloeien voort uit de KI-strategie die de Commissie in april 2018 heeft gepresenteerd en die bedoeld is om de publieke en private investeringen in de komende tien jaar op te voeren tot ten minste 20 miljard euro per jaar, meer gegevens beschikbaar te maken, talent te stimuleren en vertrouwen te wekken.
  • 01.02.2019 Towards trustworthy AI - ethics & competitiveness go hand-in-hand (P. Ala-Pietilä, Artificial Intelligence High Level Group Member, source: European Commission)
    The first draft of the ethical guidelines for the development, deployment and use of AI were published on 18 December, an important step towards innovative and trustworthy AI ‘made in Europe’. Artificial intelligence is one of the most transformative forces of our time. Over the last decade, major progress has been made thanks to the ever-growing availability of data, powerful computing architectures and advances in techniques such as machine learning. AI developments in an increasingly large number of domains – from healthcare to mobility or cybersecurity – are improving the quality of our lives.

Buitenland

2019

  • 04.11.2019 New Technology Uses Artificial Intelligence To Screen Job Applicants (source: Wbur)
    Should artificial intelligence be used to screen job applicants? That's the question surrounding a recruiting technology company called HireVue, that's now using AI to analyze the faces of job candidates. Here & Now's Tonya Mosley speaks with Drew Harwell who covers artificial intelligence for The Washington Post.
  • 04.11.2019 Is AI Bias a Corporate Social Responsibility Issue? (M. Nkonde, source: Harvard Business Review)
    In late 2018, Amazon discontinued the use of their AI-based recruitment system because they found that it was biased against women. According to sources close to the matter, the tool gave low ratings to resumes with the terms “woman” or “women’s” in applications for technical roles, and went as far as downgrading applicants from two all-women’s colleges. This problem is not new. In 2003, the National Bureau of Economic Growth (NBER) conducted an experiment to track the presence of racial bias in hiring. In the test, they sent out two sets of fictitious resumes with identical information about education and experience. One set of resumes had African-American sounding names, and the other set had Caucasian-sounding names. They found that Caucasian “applicants” got 50% more callbacks than their African-American counterparts, which renews the question: How can we create more fair and equitable recruitment practices? Algorithmic recruitment systems were supposed to be the answer. It was argued that they remove human bias because their determinations are based on statistical predictions of which candidates are most likely to be a “good fit.”
  • 31.10.2019 Senate bill takes aim at 'secret' online algorithms (C. Mills Rodrigo, source: The Hill)
    bipartisan group of senators on Thursday introduced a bill that would force large online platforms to be more transparent about how their algorithms find content to share. The Filter Bubble Transparency Act would require companies that collect data from more than 1 million users and make more than $50 million per year to notify users that their platforms use algorithms to determine what information is shown and offer users the opportunity to opt-out of curated content.
  • 29.10.2019 Using AI to Eliminate Bias from Hiring (F. Polli, source: Harvard Business Review)
    Like any new technology, artificial intelligence is capable of immensely good or bad outcomes. The public seems increasingly focused on the bad, especially when it comes to the potential for bias in AI. This concern is both well-founded and well-documented. But what is AI? It is the simulation of human processes by machines. This fear of biased AI ignores a critical fact: The deepest-rooted source of bias in AI is the human behavior it is simulating. It is the biased data set used to train the algorithm. If you don’t like what the AI is doing, you definitely won’t like what humans are doing because AI is purely learning from humans.
  • 25.10.2019 Healthcare algorithm used across America has dramatic racial biases (K. Paul, source: The Guardian)
    An algorithm used to manage the healthcare of millions of Americans shows dramatic biases against black patients, a new study has found. Hospitals around the United States use the system sold by Optum, a UnitedHealth Group-owned service, to determine which patients have the most intensive healthcare needs over time. But the algorithm, which has been applied to more than 200 million people each year, significantly underestimates the amount of care black patients need compared with white patients, research published on Friday in Science magazine found.
  • 25.10.2019 A biased medical algorithm favored white people for health-care programs (C. Jee, source: MIT Technology Review)
    A study has highlighted the risks inherent in using historical data to train machine-learning algorithms to make predictions. An algorithm that many US health providers use to predict which patients will most need extra medical care privileged white patients over black patients, according to researchers at UC Berkeley, whose study was published in Science. Effectively, it bumped whites up the queue for special treatments for complex conditions like kidney problems or diabetes. The researchers dug through almost 50,000 records from a large, undisclosed academic hospital. They found that white patients were given higher risk scores, and were therefore more likely to be selected for extra care (like more nursing or dedicated appointments), than black patients who were in fact equally sick. The researchers calculated that the bias cut the proportion of black patients who got extra help by more than half.
  • 23.10.2019 New Zealand launches draft algorithm charter for government agencies (M. Hunt, source: Global Government Forum)
    The New Zealand government has launched a draft ‘algorithm charter’ that sets out how agencies should analyze data in a way that is fair, ethical and transparent. The charter, which is open for public consultation, sets out 10 points that agencies would have to adhere to. These include pledging to explain how significant decisions are informed by algorithms or, where it cannot – for national security reasons, for example – explain the reason; taking into account the perspectives of communities, such as LGBTQI+, Pacific islanders and people with disabilities; and identifying and consulting with groups or stakeholders with an interest in algorithm development.
  • 23.10.2019 Trump housing plan would make bias by algorithm 'nearly impossible to fight' (K. Paul, source: The Guardian)
    The Trump administration has proposed a shift in rules that would make it “nearly impossible” for Americans to sue for housing discrimination caused by algorithms, according to tech scholars and civil rights groups. Absolving companies of wrongdoing when algorithms are involved could have a major effect on the housing market, which often relies on automation – in the form of background checks, credit score analysis, and analyzing an applicant’s history – to decide whether to rent or sell someone a home. The new ruling would raise the bar for legal challenges against housing discrimination, making cases brought against landlords and lenders less likely to succeed.

→ Klik hier voor alle nieuws- en blogberichten.

^ Back to top

LiteratuurLiteratuur

Nederland

Boeken

2019

  • L.R. van den Berg, S. Geldermans, A.A. Heeres, N.W. Noort, J.T.J. van de Riet, S.E.C. Vonk & H.J. Weijers (red.), Recht en technologie. Vraagstukken van de digitale revolutie, Den Haag: Bju 2019
    In het boek worden veel verschillende onderwerpen belicht. Het boek bestaat uit vijf delen: algemene beschouwingen, recht en algoritmen, regulering en digitalisering, het contractenrecht in 2025 en aansprakelijkheid en rechtssubjectiviteit. Elk deel bestaat uit een tot drie hoofdstukken waarin verschillende onderwerpen die vallen onder deze thema’s, worden besproken

2016

  • L.A.W. Janssens (ed.), The Art of Ethics in the Information Society, Amsterdam University Press B.V. 2016
    New technologies are often implemented before their ethical consequences have been fully understood. In this volume, experts working in the sciences, arts, and philosophy of technology share novel perspectives on how we can best identify and navigate the new ethical crossroads emerging in our information society. With an eye toward the future, the contributors present an essential and unique view on the interplay between ethics and modern technology.

Tijdschriften

2019

  • M. Galic, ‘Surveillance, privacy and public space in the Stratumseind Living Lab’, AA 2019/7, p. 570-579
    In deze bijdrage aan het bijzonder nummer van Ars Aequi over privacy bekijkt de auteur het fenomeen ‘smart cities’ met behulp van het project ‘Stratumseind Living Lab’. Deze Eindhovense uitgaansstraat heeft allerlei snufjes om de publieke ruimte in de gaten te houden en waar nodig bij te sturen. Wat betekent dit voor de privacy en de autonomie van het publiek?
  • W. Sauter, ‘Toezicht en toezichthouders op Big Tech: nog geen algoritme in zicht’, M&M 2019, nr. 4, p. 133-135
    Dit redactioneel bevat een bespiegeling over de inrichting van het toezicht op Big Tech in de Verenigde Staten, ontwikkelingen binnen de EU, en nationale suggesties tot het instellen van een Algoritmeautoriteit.
  • M. Kullmann, ‘Discriminating job applicants through algorithmic decision-making’, ArsAequi 2019, 1, p. 46-53
    As an increasing number of hiring(-related) decisions have been delegated to algorithms, the author explores the question to what extent EU non-discrimination laws, in combination with the General Data Protection Regulation (EU) 2016/679, provide (unsuccessful) job applicants with sufficient legal means to address any discriminatory or biased automated decision taken by an employer.
  • M. Kullmann, ‘Platformwerk, besluitvorming door algoritmen en bewijs van algoritmische discriminatie’, Ondernemingsrecht 2019/8
    In deze bijdrage wordt stilgestaan bij de vraag in hoeverre het huidige EU non-discriminatierecht nog wel geschikt is in tijden van algoritmische besluitvorming. Deze bijdrage begint met een korte analyse van werken in de platformeconomie en de uitdagingen die het meebrengt, om daarna de rol van algoritmen en hun vermogen om discriminerende beslissingen te nemen te analyseren. Vervolgens wordt gekeken naar het EU non-discriminatierecht en, om de mogelijke knelpunten rondom algoritmische discriminatie te kunnen concretiseren, in het bijzonder naar het beginsel van gelijke beloning voor mannen en vrouwen (art. 157 VWEU). Met name wordt gekeken wat het betekent indien bedrijven hun algoritmen als bedrijfsgeheim kwalificeren en dus toegang tot het beslissingsmodel en de gegevensbronnen (willen) weigeren alsmede de rol van de Algemene Verordening Gegevensbescherming.

2018

  • H. Lammerant, P. Blok & P. de Hert, ‘Big data besluitvormingsprocessen en sluipwegen van discriminatie’, NTM | NJCM-Bull. jrg. 43 [2018], nr. 1, p. 3-24 (bron: www.NJCM.nl)
    Het gebruik van big data heeft een grote vlucht genomen in zowel de private als de publieke sector. In dit artikel wordt de verhouding tussen big-datatoepassingen en discriminatie onderzocht. Het inzetten van big-datatoepassingen kan discriminatie tegengaan, maar kan ook via verschillende sluipwegen discriminatie veroorzaken. Het artikel laat zien hoe de gelijke-behandelingswetgeving en het fundamentele non-discriminatierecht de problematische kanten van op big data gebaseerde besluitvorming kan opvangen.
  • M. Jovović, ‘Ter Visie – Algoritmische discriminatie’, TAO 2018, nr. 4, p. 141-145
    'Slimme algoritmes' nemen steeds meer arbeidsrechtelijk relevante beslissingen. Zo kunnen zelflerende systemen onder meer worden ingezet om te bepalen wie promotie krijgt of welk cv wordt geselecteerd in een sollicitatieprocedure. Ook in de opkomende platformeconomie worden veel arbeidsrechtelijk relevante beslissingen genomen door geautomatiseerde systemen: wie doet welke klus en tegen welke beloning? Het is de vraag of dit soort beslissingen ook eerlijk(er) zijn wanneer zij geautomatiseerd zijn. Zelflerende algoritmes kunnen namelijk tot niet objectief te rechtvaardigen resultaten komen, zowel doordat het algoritme de vooroordelen van de programmeurs of hun opdrachtgevers weerspiegelt, als doordat het is getraind met historische oefendata die is voortgekomen uit een ongelijke historische situatie. In deze 'Ter Visie' verkent Marko Jovović twee arbeidsrechtelijk relevante, hiermee samenhangende, eigenaardigheden van zelflerende systemen.
  • S.D. Burri & S. Heeger-Hertter, ‘Discriminatie in de platformeconomie juridisch bestrijden: geen eenvoudige zaak’, AA 2018/12, p. 1000-1008
    Onderzoek wijst uit dat ook in de platformeconomie discriminatie voorkomt. Dit artikel biedt een verkenning van de juridische (on)mogelijkheden om discriminatie in de relaties tussen platform, platformwerkers en klanten te bestrijden. De Nederlandse gelijkebehandelingswetgeving biedt daartoe beslist mogelijkheden, maar deze zijn niet onbeperkt. 

Buitenland

2019

Boeken

2016

2015

  • F. Pasquale, The Black Box Society. The Secret Algorithms That Control Money and Information, Harvard University Press 2015 (source: Rita Raley)
    Every day, corporations are connecting the dots about our personal behavior—silently scrutinizing clues left behind by our work habits and Internet use. The data compiled and portraits created are incredibly detailed, to the point of being invasive. But who connects the dots about what firms are doing with this information? The Black Box Society argues that we all need to be able to do so – and to set limits on how big data affects our lives. Hidden algorithms can make (or ruin) reputations, decide the destiny of entrepreneurs, or even devastate an entire economy. Shrouded in secrecy and complexity, decisions at major Silicon Valley and Wall Street firms were long assumed to be neutral and technical. But leaks, whistleblowers, and legal disputes have shed new light on automated judgment. Self-serving and reckless behavior is surprisingly common, and easy to hide in code protected by legal and real secrecy. Even after billions of dollars of fines have been levied, underfunded regulators may have only scratched the surface of this troubling behavior.

Tijdschriften

2019

  • 09.06.2019 S. Kozuka, A governance framework for the development and use of artificial intelligence: lessons from the comparison of Japanese and European initiatives, Uniform Law Review (source: Oxford Academic) [zichtbaar na inlog / registratie]
    When a new type of technology emerges, law and lawyers often face two, contradictory demands. On the one hand, some rules of the existing law are found to be an impediment to the development and application of the technology. In such cases, changes to the relevant law are demanded. On the other hand, developers of the technology often claim that the absence of an established rule, often a rule on the liability, creates a lack of predictability and deters further development of the technology. The result will be the demand for clear guidance about what may be done and what should not be done.
  • 07.06.2019 J. Silberg & J. Manyika, Notes from the AI frontier: Tackling bias in AI (and in humans) (source: McKinsey Global Institute)
    The growing use of artificial intelligence in sensitive areas, including for hiring, criminal justice, and healthcare, has stirred a debate about bias and fairness. Yet human decision making in these and other domains can also be flawed, shaped by individual and societal biases that are often unconscious. Will AI’s decisions be less biased than human ones? Or will AI make these problems worse? In, Notes from the AI frontier: Tackling bias in AI (and in humans), we provide an overview of where algorithms can help reduce disparities caused by human biases, and of where more human vigilance is needed to critically analyze the unfair biases that can become baked in and scaled by AI systems. This article, a shorter version of that piece, also highlights some of the research underway to address the challenges of bias in AI and suggests six pragmatic ways forward.

2018

  • 31.12.2018 P. Eckersley, Impossibility and Uncertainty Theorems in AI Value Alignment (or why your AGI should not have a utility function) (source: CEUR Workshop Proceedings)
    Utility functions or their equivalents (value functions, objective functions, loss functions, reward functions, preference orderings) are a central tool in most current machine learning systems. These mechanisms for defining goals and guiding optimization run into practical and conceptual difficulty when there are independent, multi-dimensional objectives that need to be pursued simultaneously and cannot be reduced to each other. Ethicists have proved several impossibility theorems that stem from this origin; those results appear to show that there is no way of formally specifying what it means for an outcome to be good for a population without violating strong human ethical intuitions (in such cases, the objective function is a social welfare function). We argue that this is a practical problem for any machine learning system (such as medical decision support systems or autonomous weapons) or rigidly rule-based bureaucracy that will make high stakes decisions about human lives: such systems should not use objective functions in the strict mathematical sense. We explore the alternative of using uncertain objectives, represented for instance as partially ordered preferences, or as probability distributions over total orders. We show that previously known impossibility theorems can be transformed into uncertainty theorems in both of those settings, and prove lower bounds on how much uncertainty is implied by the impossibility results. We close by proposing two conjectures about the relationship between uncertainty in objectives and severe unintended consequences from AI systems.
  • 15.08.2018 B.A. Williams, C.F. Brooks & Y. Schmargad, How Algorithms Discriminate Based on Data They Lack: Challenges, Solutions, and Policy Implications, Journal of Information Policy, Vol. 8 (2018), p. 78-115, Penn State University Press (source: JSTOR)
    Organizations often employ data-driven models to inform decisions that can have a significant impact on people's lives (e.g., university admissions, hiring). In order to protect people's privacy and prevent discrimination, these decision-makers may choose to delete or avoid collecting social category data, like sex and race. In this article, we argue that such censoring can exacerbate discrimination by making biases more difficult to detect. We begin by detailing how computerized decisions can lead to biases in the absence of social category data and in some contexts, may even sustain biases that arise by random chance. We then show how proactively using social category data can help illuminate and combat discriminatory practices, using cases from education and employment that lead to strategies for detecting and preventing discrimination. We conclude that discrimination can occur in any sociotechnical system in which someone decides to use an algorithmic process to inform decision-making, and we offer a set of broader implications for researchers and policymakers.
  • 08.08.2018 A.J. Wood, M. Graham & V. Lehdonvirta, ‘Good Gig, Bad Big: Autonomy and Algorithmic Control in the Global Gig Economy’ (source: sagepub.com) [zichtbaar na inlog / registratie]
  • 01.07.2018 M. Kullmann, ‘Platform Work, Algorithmic Decision-Making, and EU Gender Equality Law’, International Journal of Comparative Labour Law and Industrial Relations, Vol. 34 (2018), No. 1, p. 1-21 (source: Kluwer Law Online) [zichtbaar na inlog / registratie]
  • 22.06.2018 N. Turner Lee, Detecting racial bias in algorithms and machine learning, Journal of Information, Communication and Ethics in Society 2018, Vol. 16 Issue 3, p. 252-260 (source: Emerald Insight) [zichtbaar na inlog / registratie]
    The online economy has not resolved the issue of racial bias in its applications. While algorithms are procedures that facilitate automated decision-making, or a sequence of unambiguous instructions, bias is a byproduct of these computations, bringing harm to historically disadvantaged populations. This paper argues that algorithmic biases explicitly and implicitly harm racial groups and lead to forms of discrimination. Relying upon sociological and technical research, the paper offers commentary on the need for more workplace diversity within high-tech industries and public policies that can detect or reduce the likelihood of racial bias in algorithmic design and execution.
  • 01.06.2018 D.J. Dalenberg, Preventing discrimination in the automated targeting of job advertisements, Computer Law & Security Review, Volume 34, Issue 3, June 2018, p. 615-627 (source: ScienceDirect) [zichtbaar na inlog / registratie]
    On the background of the increasing amount of discriminatory challenges facing artificial intelligence applications, this paper examines the requirements that are needed to comply with European non-discrimination law to prevent discrimination in the automated online job advertising business. This paper explains under which circumstance the automated targeting of job advertisements can amount to direct or indirect discrimination. The paper concludes with technical recommendations to dismantle the dangers of automated job advertising. Various options like influencing the pre-processing of big data and altering the algorithmic models are evaluated. This paper also examines the possibilities of using techniques like data mining and machine learning to actively battle direct and indirect discrimination. The European non-discrimination directives 2000/43/EC, 2000/78/EC, and 2006/54/EC which prohibit direct and indirect discrimination in the field of employment on the grounds of race or ethnic origin, sex, sexual orientation, religious belief, age and disability are used as a legal framework.
  • 29.05.2018 A. Ingrao, Assessment by Feedback in the On-demand Era, in: E. Ales e.a. (red.), Working in Digital and Smart Organizations Legal, Economic and Organizational Perspectives on the Digitalization of Labour Relations, Palgrave Macmillan, London 2018 (source: SpringerLink) [zichtbaar na inlog / registratie]
  • 25.05.2018 E. Harmon & M.S. Silberman, ‘Rating Working Conditions on Digital Labor Platforms’, Journal of Collaborative Computing and Work Practices, 2018/32 (source: Six Silberman
  • 18.04.2018 P. Hacker, Teaching Fairness to Artificial Intelligence: Existing and Novel Strategies Against Algorithmic Discrimination Under EU Law (April 18, 2018), 55 Common Market Law Review 1143-1186 (source: www.ssrn.com) [zichtbaar na inlog / registratie]
    Empirical evidence is mounting that artificial intelligence applications driven by machine learning threaten to discriminate against legally protected groups. As ever more decisions are subjected to algorithmic processes, discrimination by algorithms is rightly recognized by policymakers around the world as a key challenge for contemporary societies. This article suggests that algorithmic bias raises intricate questions for EU law. The existing categories of EU anti-discrimination law do not provide an easy fit for algorithmic decision making, and the statistical basis of machine learning generally offers companies a fast-track to justification. Furthermore, victims won’t be able to prove their case without access to the data and the algorithms, which they generally lack. To remedy these problems, this article suggests an integrated vision of anti-discrimination and data protection law to enforce fairness in the digital age. More precisely, it shows how the concepts of anti-discrimination law may be combined with the enforcement tools of the GDPR to unlock the algorithmic black box. In doing so, the law should harness a growing literature in computer science on algorithmic fairness that seeks to ensure equal protection at the data and code level. The interplay of anti-discrimination law, data protection law and algorithmic fairness therefore facilitates “equal protection by design”. In the end, however, recourse to technology does not prevent the law from making hard normative choices about the implementation of formal or substantive concepts of equality. Understood in this way, the deployment of artificial intelligence not only raises novel risks, but also harbors novel opportunities for consciously designing fair market exchange.
  • 20.03.2018 R. Ducato, M. Kullmann & M. Rocca, ‘Customer ratings as a vector for discrimination in employment relations? Pathways and pitfalls for legal remedies’, Marco Biagi Conference “Assessing Worker performance in a Changing Technological and Societal Environment”, 19-21 March 2018 (source: www.ssrn.com) [zichtbaar na inlog / registratie]

2017

  • 23.05.2017 L. Edwards & M. Veale, Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For (May 23, 2017). 16 Duke Law & Technology Review 18 (source: www.ssrn.com) [zichtbaar na inlog / registratie]
    Algorithms, particularly machine learning (ML) algorithms, are increasingly important to individuals’ lives, but have caused a range of concerns revolving mainly around unfairness, discrimination and opacity. Transparency in the form of a “right to an explanation” has emerged as a compellingly attractive remedy since it intuitively promises to open the algorithmic “black box” to promote challenge, redress, and hopefully heightened accountability. Amidst the general furore over algorithmic bias we describe, any remedy in a storm has looked attractive. However, we argue that a right to an explanation in the EU General Data Protection Regulation (GDPR) is unlikely to present a complete remedy to algorithmic harms, particularly in some of the core “algorithmic war stories” that have shaped recent attitudes in this domain. Firstly, the law is restrictive, unclear, or even paradoxical concerning when any explanation-related right can be triggered. Secondly, even navigating this, the legal conception of explanations as “meaningful information about the logic of processing” may not be provided by the kind of ML “explanations” computer scientists have developed, partially in response. ML explanations are restricted both by the type of explanation sought, the dimensionality of the domain and the type of user seeking an explanation. However, “subject-centric" explanations (SCEs) focusing on particular regions of a model around a query show promise for interactive exploration, as do explanation systems based on learning a model from outside rather than taking it apart (pedagogical versus decompositional explanations) in dodging developers' worries of intellectual property or trade secrets disclosure. Based on our analysis, we fear that the search for a “right to an explanation” in the GDPR may be at best distracting, and at worst nurture a new kind of “transparency fallacy.” But all is not lost. We argue that other parts of the GDPR related (i) to the right to erasure ("right to be forgotten") and the right to data portability; and (ii) to privacy by design, Data Protection Impact Assessments and certification and privacy seals, may have the seeds we can use to make algorithms more responsible, explicable, and human-centered.
  • 19.04.2017 P. Kim, Data-Driven Discrimination at Work, William & Mary Law Review, Vol. 48, pp. 857-936 (2017), Washington University in St. Louis Legal Studies Research Paper No. 16-12-01 (source: www.ssrn.com) [zichtbaar na inlog / registratie]
    A data revolution is transforming the workplace. Employers are increasingly relying on algorithms to decide who gets interviewed, hired, or promoted. Although data algorithms can help to avoid biased human decision-making, they also risk introducing new sources of bias. Algorithms built on inaccurate, biased, or unrepresentative data can produce outcomes biased along lines of race, sex, or other protected characteristics. Data mining techniques may cause employment decisions to be based on correlations rather than causal relationships; they may obscure the basis on which employment decisions are made; and they may further exacerbate inequality because error detection is limited and feedback effects compound the bias. Given these risks, I argue for a legal response to classification bias — a term that describes the use of classification schemes, like data algorithms, to sort or score workers in ways that worsen inequality or disadvantage along the lines or race, sex, or other protected characteristics. Addressing classification bias requires fundamentally rethinking antidiscrimination doctrine. When decision-making algorithms produce biased outcomes, they may seem to resemble familiar disparate impact cases; however, mechanical application of existing doctrine will fail to address the real sources of bias when discrimination is data-driven. A close reading of the statutory text suggests that Title VII directly prohibits classification bias. Framing the problem in terms of classification bias leads to some quite different conclusions about how to apply the antidiscrimination norm to algorithms, suggesting both the possibilities and limits of Title VII’s liability-focused model.
  • 10.03.2017 State v. Loomis - Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing, 130 Harv. L. Rev. 1530 (source: Harvard Law Review)
    In State v. Loomis, the Wisconsin Supreme Court held that a trial court’s use of an algorithmic risk assessment in sentencing did not violate the defendant’s due process rights even though the methodology used to produce the assessment was disclosed neither to the court nor to the defendant. While the Loomis court provided a procedural safeguard to alert judges to the dangers of these assessments –  a “written advisement” to accompany PSIs – this prescription is an ineffective means of altering judges’ evaluations of risk assessments. The court’s “advisement” is unlikely to create meaningful judicial skepticism because it is silent on the strength of the criticisms of these assessments, it ignores judges’ inability to evaluate risk assessment tools, and it fails to consider the internal and external pressures on judges to use such assessments.
  • 01.03.2017 A. Hannák, C. Wagner, D. Garcia, A. Mislove, M. Strohmaier, C. Wilson, Bias in Online Freelance Marketplaces: Evidence from TaskRabbit and Fiverr, CSCW 2017, p. 1914-1933 (source: Claudia Wagner)
    Online freelancing marketplaces have grown quickly in recent years. In theory, these sites offer workers the ability to earn money without the obligations and potential social biases associated with traditional employment frameworks. In this paper, we study whether two prominent online freelance marketplaces - TaskRabbit and Fiverr - are impacted by racial and gender bias. From these two platforms, we collect 13,500 worker profiles and gather information about workers' gender, race, customer reviews, ratings, and positions in search rankings. In both marketplaces, we find evidence of bias: we find that gender and race are significantly correlated with worker evaluations, which could harm the employment opportunities afforded to the workers. We hope that our study fuels more research on the presence and implications of discrimination in online environments.
  • 10.02.2017 B. Goodman & S. Flaxman, European Union regulations on algorithmic decision-making and a "right to explanation", AI Magazine Vol. 38, No 3, Fall 2017 (source: AI Magazine)
    We summarize the potential impact that the European Union’s new General Data Protection Regulation will have on the routine use of machine learning algorithms. Slated to take effect as law across the EU in 2018, it will restrict automated individual decision-making (that is, algorithms that make decisions based on user-level predictors) which “significantly affect” users. The law will also effectively create a “right to explanation,” whereby a user can ask for an explanation of an algorithmic decision that was made about them. We argue that while this law will pose large challenges for industry, it highlights opportunities for computer scientists to take the lead in designing algorithms and evaluation frameworks which avoid discrimination and enable explanation.

2016

  • B. D. Mittelstadt, P, Allo, M. Taddeo, S. Wachter & L. Floridi, The ethics of algorithms: Mapping the debate, Big Data & Society (source: Sagepub)
    In information societies, operations, decisions and choices previously left to humans are increasingly delegated to algorithms, which may advise, if not decide, about how data should be interpreted and what actions should be taken as a result. More and more often, algorithms mediate social processes, business transactions, governmental decisions, and how we perceive, understand, and interact among ourselves and with the environment. Gaps between the design and operation of algorithms and our understanding of their ethical implications can have severe consequences affecting individuals as well as groups and whole societies. This paper makes three contributions to clarify the ethical importance of algorithmic mediation. It provides a prescriptive map to organise the debate. It reviews the current discussion of ethical aspects of algorithms. And it assesses the available literature in order to identify areas requiring further work to develop the ethics of algorithms.
  • 19.10.2016 A. Rosenblat, K. Levy, S. Barocas & T. Hwang, Discriminating Tastes: Customer Ratings as Vehicles for Bias (www.ssrn.com) [zichtbaar na inlog / registratie]
  • 01.06.2016 I. Zliobaite & B. Custers, Using sensitive personal data may be necessary for avoiding discrimination in data-driven decision models, Artificial Intelligence and Law (24): 183-201 (source: www.ssrn.com) [zichtbaar na inlog / registratie]
    Increasing numbers of decisions about everyday life are made using algorithms. By algorithms we mean predictive models (decision rules) captured from historical data using data mining. Such models often decide prices we pay, select ads we see and news we read online, match job descriptions and candidate CVs, decide who gets a loan, who goes through an extra airport security check, or who gets released on parole. Yet growing evidence suggests that decision making by algorithms may discriminate people, even if the computing process is fair and wellintentioned. This happens due to biased or non-representative learning data in combination with inadvertent modeling procedures. From the regulatory perspective there are two tendencies in relation to this issue: (1) to ensure that data-driven decision making is not discriminatory, and (2) to restrict overall collecting and storing of private data to a necessary minimum. This paper shows that from the computing perspective these two goals are contradictory. We demonstrate empirically and theoretically with standard regression models that in order to make sure that decision models are non-discriminatory, for instance, with respect to race, the sensitive racial information needs to be used in the model building process. Of course, after the model is ready, race should not be required as an input variable for decision making. From the regulatory perspective this has an important implication: collecting sensitive personal data is necessary in order to guarantee fairness of algorithms, and law making needs to find sensible ways to allow using such data in the modelling process.
  • 01.01.2016 B. Goodman, A Step Towards Accountable Algorithms?: Algorithmic Discrimination and the European Union General Data Protection (source: Semantic Scholar)
    Algorithms, and the data they process, play an increasingly important role in decisions with significant consequences for human welfare. This trend has given rise to calls for greater accountability in algorithm design and implementation, and concern over the emergence of algorithmic discrimination. In that spirit, this paper asks whether and to what extent the European Union’s recently adopted General Data Protection Regulation (GDPR) successfully addresses algorithmic discrimination.

2015

2014

  • 08.10.2014 A. Rosenblat, T. Kneese & D. Boyd, Networked Employment Discrimination, Open Society Foundations, Future of Work Commissioned Research Papers 2014 (source: Data&Society Research Institute)
    Employers often struggle to assess qualified applicants, particularly in contexts where they receive hundreds of applications for job openings. In an effort to increase efficiency and improve the process, many have begun employing new tools to sift through these applications, looking for signals that a candidate is “the best fit.” Some companies use tools that offer algorithmic assessments of workforce data to identify the variables that lead to stronger employee performance, or to high employee attrition rates, while others turn to third party ranking services to identify the top applicants in a labor pool. Still others eschew automated systems, but rely heavily on publicly available data to assess candidates beyond their applications. For example, some HR managers turn to LinkedIn to determine if a candidate knows other employees or to identify additional information about them or their networks. Although most companies do not intentionally engage in discriminatory hiring practices (particularly on the basis of protected classes), their reliance on automated systems, algorithms, and existing networks systematically benefits some at the expense of others, often without employers even recognizing the biases of such mechanisms. The intersection of hiring practices and the Big Data phenomenon has not produced inherently new challenges. However, our current regulatory regimes may be ill-equipped to identify and address inequalities in data-centric hiring systems, amplifying existing issues.
  • 01.09.2014 T. Gillespie, P.J. Boczkowski, & K.A. Foot, The Relevance of Algorithms, Media Technologies: Essays on Communication, Materiality, and Society (source: MIT Press Scholarship Online) [zichtbaar na inlog / registratie]
    Algorithms (particularly those embedded in search engines, social media platforms, recommendation systems, and information databases) play an increasingly important role in selecting what information is considered most relevant to us, a crucial feature of our participation in public life. As we have embraced computational tools as our primary media of expression, we are subjecting human discourse and knowledge to the procedural logics that undergird computation. What we need is an interrogation of algorithms as a key feature of our information ecosystem, and of the cultural forms emerging in their shadows, with a close attention to where and in what ways the introduction of algorithms into human knowledge practices may have political ramifications. This essay is a conceptual map to do just that. It proposes a sociological analysis that does not conceive of algorithms as abstract, technical achievements, but suggests how to unpack the warm human and institutional choices that lie behind them, to see how algorithms are called into being by, enlisted as part of, and negotiated around collective efforts to know and be known.

2013

  • 01.09.2013 E. Bozdag, Bias in algorithmic filtering and personalization, Ethics and Information Technology, September 2013, Volume 15, Issue 3, pp 209–227 (source: SpringerLink) [zichtbaar na inlog / registratie]
    Online information intermediaries such as Facebook and Google are slowly replacing traditional media channels thereby partly becoming the gatekeepers of our society. To deal with the growing amount of information on the social web and the burden it brings on the average user, these gatekeepers recently started to introduce personalization features, algorithms that filter information per individual. In this paper we show that these online services that filter information are not merely algorithms. Humans not only affect the design of the algorithms, but they also can manually influence the filtering process even when the algorithm is operational. We further analyze filtering processes in detail, show how personalization connects to other filtering techniques, and show that both human and technical biases are present in today’s emergent gatekeepers. We use the existing literature on gatekeeping and search engine bias and provide a model of algorithmic gatekeeping.

^ Back to top

Rapporten / onderzoeken / studiesRapporten

Nederland

2019

  • 25.09.2019 Why addressing ethical questions in AI will benefit organizations en de bijbehorende infographic (bron: Capgemini Research Institute)
  • 19.08.2019 B. van der Sloot & S. van Schendel, De Modernisering van het Nederlands Procesrecht in het licht van Big Data. Procedurele waarborgen en een goede toegang tot het recht als randvoorwaarden voor een data-gedreven samenleving, Universiteit van Tilburg - Tilburg Institute for Law, Technology and Society (TILT) (bron: WODC)
    Big Data en data-gedreven toepassingen vormen een steeds structureler onderdeel van zowel de publieke als de private sector. Als steeds meer processen binnen de overheid data-gedreven worden, dan is het belangrijk een aantal aanpassingen te doen in recht en beleid. In deze studie is bekeken welke aanpassingen voor een betere en stevigere inbedding van Big Data in de Nederlandse publieke sector kunnen zorgen, waarbij algemene en maatschappelijke belangen zijn gewaarborgd, belanghebbenden op een effectieve wijze hun recht kunnen halen en de principes van procedurele rechtvaardigheid en procesrechtelijke randvoorwaarden een volwassen positie innemen.  De kernvraag die beantwoord moest worden is: Hoe zouden de mogelijkheden voor burgers en belangenorganisaties om besluitvorming op basis van Big Data-toepassingen te laten toetsen door de rechter desgewenst kunnen worden uitgebreid? De kernopdracht was dus het verkennen van diverse mogelijke rechtsvormen die in het Nederlandse rechtsstelsel zouden kunnen worden geïntroduceerd, niet of dit wenselijk of noodzakelijk is. Daarbij is gekozen voor nadruk op een analyse van de rechtsvormen die in de Nederland omringende landen beschikbaar zijn.
  • 25.07.2019 Artificiële intelligentie in de verzekeringssector: een verkenning (bron: AFM en DNB)
    De Autoriteit Financiële Markten (AFM) en De Nederlandsche Bank (DNB) voorzien een snel toenemende inzet van artificiële intelligentie (AI) in de Nederlandse verzekeringssector. Het is daarbij van belang dat AI wordt ingezet op een manier die verantwoord en in lijn is met de eisen rondom integere en beheerste bedrijfsvoering, productontwikkeling en zorgplicht. De AFM en DNB presenteren daarom een verkenning met tien aandachtspunten waarop verdere verdieping noodzakelijk is, waaronder het aandachtspunt hoe kan het gebruik van verbanden die leiden tot onwettig onderscheid (discriminatie) vermeden worden.
  • 26.06.2019 Onderzoeksrapport FNV ‘Riders verdienen beter – De maaltijdbezorgsector in Nederland’ (bron: FNV)
    Om een socialer Nederland te bereiken in de maaltijdbezorgingswereld doet FNV in dit rapport aantal aanbevelingen. (1) Gezien de groei van de subsector en het risico op verdere cao-ondermijning vindt FNV het belangrijk dat er nader onderzoek wordt gedaan naar de omvang, groei en toekomstplannen van alle bedrijven in deze subsector. (2) De overheid moet gaan naleven. De maaltijdbezorgsector laat zien hoe snel de arbeidsmarkt zich in de verkeerde richting ontwikkelt. En vooral hoe lucratief het is. De overheid kan niet langer op zijn handen blijven zitten. Daarom is het noodzakelijk dat het moratorium op de uitvoering van de Wet DBA opgeheven wordt en dat de Belastingdienst met spoed gaat vaststellen dat het om werknemers gaat in deze sector. De uitspraak van de rechter, de heel lage tarieven en de wijze van aansturing zijn duidelijke aanwijzingen dat de riders niet echt zelfstandig zijn. (3) De rider is een werknemer. Hij werkt onder het gezag en leiding en toezicht van het platform. Het platform bepaalt de tarieven. Werkgevers werpen een technisch rookgordijnen op door te zeggen dat er geen gezag wordt uitgeoefend en de app en het algoritme alleen maar digitale instrumenten en werktuigen zijn. Dit is bezijden de waarheid. Alle signalen, zoals screenshots, documenten en gesprekken wijzen op een gezagsverhouding bij Deliveroo en UberEATS. Daarom wil de FNV dat er automatisch sprake is van een arbeidsovereenkomst als je aangestuurd wordt door een ‘blackbox’ algoritme. (4) Het is van belang dat deze groeiende sector gereguleerd wordt. De FNV roept de minister op om de partijen bij elkaar te brengen en aan te spreken op hun verantwoordelijkheid. Organiseer een centraal overleg, zodat de excessen uit deze sector tot het verleden gaan behoren. (5) De basis voor de tarieven en lonen voor de maaltijdbezorgers moet de TLN-cao zijn. Dat betekent dat ook de uitzendkrachten meer moeten verdienen dan nu het geval is. Ook de inlenersbeloning moet immers bepaald worden aan de hand van de TLN-cao.
  • 05.06.2019 Onderzoek Vertrouwen van de Nederlandse burger in Algoritmes (bron: KPMG)
    KPMG heeft in april een onderzoek uitgevoerd naar de bekendheid van algoritmes bij de gemiddelde Nederlandse burger, en het vertrouwen die zij hierin stelt te hebben. Het onderzoek is in samenwerking met Motivaction tot stand gekomen en uitgevoerd in de periode april-mei 2019 onder 1113 Nederlanders.
  • 08.04.2019 A.F. van Veenstra, S. Djafari, F. Grommé, B. Kotterink & R. Baartmans, Quick scan AI in de publieke dienstverlening, TNO (bron: Rijksoverheid.nl
    Verkenning en categorisering van toepassingen van het gebruik van Artificial Intelligence (AI) in de publieke sector.

2018

  • 22.08.2018 M.J. Vetzo, J.H. Gerards & R. Nehmelman, Algoritmes en grondrechten, Montaigne Centrum voor Rechtstaat en Rechtspleging, Universiteit van Utrecht (i.o.v. de Minister van Binnenlandse Zaken) (bron: Universiteit van Utrecht)
    Onderzoek van de Universiteit Utrecht naar de (mogelijke) aantasting van grondrechten in Nederland als gevolg van het gebruik van big data, het Internet of Things en kunstmatige intelligentie.
  • 01.03.2018 B. ter Weel, S. van der Werff, J.H. Bennaars, R. Scholte, J. Fijnje, M. Westerveld & T. Mertens, De opkomst en groei van de kluseconomie in Nederland en The rise and growth of the gig economy in the Netherlands (SEO economisch onderzoek (in opdracht van het ministerie van SZW)) (bron: SEO economisch onderzoek)
    Deze studie definieert en inventariseert de stand van zaken met betrekking tot de omvang en potentie van de kluseconomie in Nederland, de werkpraktijk en de gevolgen in arbeidsrechtelijke, sociaalzekerheidsrechtelijke en fiscaalrechtelijke zin. Het onderzoek is een nulmeting waarin wordt beschreven hoe bestaande en nieuwe platforms worden geduid en wat de implicaties zijn voor beleid. Uitgegaan wordt van een relatief smalle definitie van de kluseconomie, waarbij het gaat om werkenden die fysieke arbeid verrichten in Nederland en die primair via een internetplatform (een app of website) aan opdrachten komen.

2017

  • 06.02.2017 L. Kool, J. Timmer, L. Royakkers & R. van Est, Opwaarderen - Borgen van publieke waarden in de digitale samenleving, Den Haag, Rathenau Instituut 2017 (bron: Rathenau Instituut)
    Dit rapport laat zien dat de overheid, de toezichthouders, het bedrijfsleven en de samenleving nog niet voldoende zijn toegerust om met de vragen van deze tijd om te gaan. We hebben onze apps, onze software en onze technologie wel regelmatig opgewaardeerd, maar we zijn vergeten om de maatschappij te updaten. Om digitaal koploper te worden, zijn vijf acties nodig.

2016

  • 28.04.2016 P. Olsthoorn, Big Data voor fraudebestrijding, Working paper nr. 21 (bron: WRR)
    In deze studie wordt beschreven wat zich in Nederland afspeelt op het terrein van dataverzameling, bestandskoppeling en gegevensanalyse om fraude te voorkomen en/of detecteren. De studie omvat verschillende overheidsdomeinen als gemeentelijke uitkeringen, sociale verzekeringen, belastingen en toeslagen, en criminaliteitsbestrijding. De in deze studie beschreven vormen van data-analyses zijn onder meer het product van de politieke en maatschappelijke wens om door bestandskoppeling effectiever tegen fraude te kunnen optreden. Veel van deze praktijken zijn tot op heden niet of nauwelijks gedocumenteerd. De studie Big Data en fraudebestrijding brengt hierin verandering met een uniek en gedetailleerd overzicht van de data-analyses die verschillende overheidsorganisaties en samenwerkingsverbanden van overheidsorganisaties voor fraudebestrijding uitvoeren.
  • 28.04.2016 B. van der Sloot & S. van Schendel, International and comparative legal study on Big Data, Working paper nr. 20 (bron: WRR)
    WRR Working Paper nr. 20 is geschreven in het kader van het project ‘Big Data, privacy en veiligheid’. In dit project onderzoekt de WRR de wijze waarop Australië, Brazilië, China, Frankrijk, Duitsland, India, Israël, Japan, Zuid-Afrika, het VK en de VS omgaan met big data en de juridische en ethische complicaties die erbij komen kijken.
  • 28.04.2016 B. van der Sloot, D. Broeders & Erik Schrijvers (red.), Exploring the Boundaries of Big Data, WRR-Verkenningen nr. 31, 2016 (bron: WRR)
    Het fenomeen Big Data heeft een groot effect op de wereld waarin we leven. Positief doordat Big Data efficiëntie, recht, dienstverlening en veiligheid bevorderen. Negatief doordat ze kunnen leiden tot discriminatie en privacyschending. Met deze bundel wil de WRR bijdragen aan een kader dat het gebruik van Big Data bevordert en de negatieve effecten ervan voorkomt.
  • 28.04.2016 Big Data in een vrije en veilige samenleving, Rapport nr. 95, 2016, (bron: WRR)
    Het gebruik van Big Data in het veiligheidsdomein vraagt om nieuwe kaders. Dat is nodig om de mogelijkheden van Big Data te benutten en tegelijkertijd de fundamentele rechten en vrijheden van burgers te waarborgen. Dat schrijft de WRR in zijn rapport Big Data in een vrije en veilige samenleving.

Europese Unie

2019

  • 15.06.2019 Data quality and artificial intelligence – mitigating bias and error to protect fundamental rights (source: European Union Agency for Fundamental Rights (FRA))
    Since there are several sources of error in all data collections, users of AI-related technology need to know where the data come from and the potential shortcomings of the data. AI systems based on incomplete or biased data can lead to inaccurate outcomes that infringe on people’s fundamental rights, including discrimination. Being transparent about which data are used in AI systems helps to prevent possible rights violations. This is especially important in times of big data, where the volume of data is sometimes valued over quality. AI and big data continues to be a topic of high priority for policy, science, business and media throughout the world. Developments in the area are of high relevance, as new technologies impact on all spheres of life and hence also impact on fundamental rights. Ethical implications of AI are the topic of many discussions. At the same time, these discussions need to acknowledge that there is a human rights framework setting binding legal obligations around AI, which should be seen as a starting point for any evaluation of the opportunities and challenges brought by new technologies. The European Union’s strong fundamental rights framework, as enshrined in the Charter of Fundamental Rights and related case law, provides guidance for the development of guidelines and recommendations for the use of AI.

2018

  • 15.09.2018 In Brief - Big data, algorithms and discrimination (source: European Union Agency for Fundamental Rights (FRA))
    Put simply, algorithms are sequences of commands that allow a computer to take inputs and produce outputs. Using them can speed up processes and produce more consistent results. But risks abound. Making algorithms fair and non-discriminatory is a daunting exercise. But several steps can help move us in the right direction. These include: (1) checking the quality of the data being used to build algorithms to avoid faulty algorithm ‘training’; (2) promoting transparency – being open about the data and code used to build the algorithm, as well as the logic underlying the algorithm, and providing meaningful explanations of how it is being used. Among others, this will help individuals looking to challenge data-based decisions pursue their claims; (3) carrying out impact assessments that focus on the implications for fundamental rights, including whether they may discriminate based on protected grounds, and seeing how proxy information can produce biased results; (4) involving experts in oversight: to be effective, reviews need to involve statisticians, lawyers, social scientists, computer scientists, mathematicians and experts in the subject at issue.
  • 15.05.2018 Focus paper #BigData: Discrimination in data-supported decisionmaking (source: European Union Agency for Fundamental Rights (FRA))
    This focus paper specifically deals with discrimination, a fundamental rights area particularly affected by technological developments. When algorithms are used for decision making, there is potential for discrimination against individuals. The principle of non-discrimination, as enshrined in Article 21 of the Charter of Fundamental Rights of the European Union (EU), needs to be taken into account when applying algorithms to everyday life. This paper explains how such discrimination can occur, suggesting possible solutions. The overall aim is to contribute to our understanding of the challenges encountered in this increasingly important field.

Buitenland

2019

  • 25.10.2019 Z. Obermeyer, B. Powers, C. Vogeli & S. Mullainathan, Dissecting racial bias in an algorithm used to manage the health of populations (source: Science)
    Health systems rely on commercial prediction algorithms to identify and help patients with complex health needs. We show that a widely used algorithm, typical of this industry-wide approach and affecting millions of patients, exhibits significant racial bias: At a given risk score, Black patients are considerably sicker than White patients, as evidenced by signs of uncontrolled illnesses. Remedying this disparity would increase the percentage of Black patients receiving additional help from 17.7 to 46.5%. The bias arises because the algorithm predicts health care costs rather than illness, but unequal access to care means that we spend less money caring for Black patients than for White patients. Thus, despite health care cost appearing to be an effective proxy for health by some measures of predictive accuracy, large racial biases arise. We suggest that the choice of convenient, seemingly effective proxies for ground truth can be an important source of algorithmic bias in many contexts.
  • 11.10.2019 Digital welfare states, Report of the Special rapporteur on extreme poverty and human rights (Philip Alston) (source: United Nations – office of the High Commissioner)
    De VN bespreekt digitale technologieën voor (i) identificatie; (ii) de beoordeling of iemand uitkeringsgerechtigd is; (iii) de berekening van de hoogte van de aanspraak; (iv) fraudebestrijding en –opsporing; (v) risicoclassificatie; en (vi) communicatie tussen autoriteiten en uitkeringsgerechtigden. Het rapport bespreekt onder meer hoe mensenrechten serieus kunnen worden genomen in een digitale verzorgingsstaat, hoe transparantie en rechtmatigheid te borgen, het bevorderen van digitale gelijkheid, het beschermen van economisch-sociale en politieke mensenrechten, het weerstaan van de lokroep van een uitsluitend digitale toekomst, het bewaken van de rol van de private sector en verscheidene mechanismes die overheden ertoe dwingen verantwoording af te leggen. Zie ook het bijbehorende persbericht: World stumbling zombie-like into a digital welfare dystopia, warns UN human rights expert
  • 27.09.2019 United Nations Activities on Artificial Intelligence (AI) 2019 (source: ITU)
    Very few topics have captured the imagination of the public and promised to transform humanity more than artificial intelligence. In this publication, more than 30 UN agencies and bodies describe how they are increasingly using AI to meet many of the world’s most urgent challenges, from responding to humanitarian crises to tackling climate change. Although it is still early days for AI, the agencies highlight the need to improve data literacy skills across their organizations and warn against the capability gap between developed and less-developed countries. They call for responsible innovation and a better understanding of the implications and potential benefits.
  • 30.07.2019 A. Korinek, Integrating Ethical Values and Economic Value to Steer Progress in Artificial Intelligence, NBER Working Paper No. 26130 (source: The National Bureau of Economic Research) (prepared for the Oxford Handbook of Ethics of AI)
    Economics and ethics both offer important perspectives on our society, but they do so from two different viewpoints – the central focus of economics is how the price system in our economy values resources; the central focus of ethics is the moral evaluation of actions in our society. The rise of Artificial Intelligence (AI) forces humanity to confront new areas in which ethical values and economic value conflict, raising the question of what direction of technological progress is ultimately desirable for society. One crucial area are the effects of AI and related forms of automation on labor markets, which may lead to substantial increases in inequality unless mitigating policy actions are taken or progress is actively steered in a direction that complements human labor. Additional areas of conflict arise when AI systems optimize narrow market value but disregard broader ethical values and thus impose externalities on society, for example when AI systems engage in bias and discrimination, hack the human brain, and increasingly reduce human autonomy. Market incentives to create ever more intelligent systems lead to the ultimate ethical question: whether we should aim to create AI systems that surpass humans in general intelligence, and how to ensure that humanity is not left behind.
  • 05.07.2019 Why addressing ethical questions in AI will benefit organizations (source: Capgemini Research Instititute)
    In the new report from the Capgemini Research Institute, Why addressing ethical questions in AI will benefit organizations, the Institute surveyed 1,580 executives in 510 organizations and over 4,400 consumers internationally, to find out how consumers view ethics and the transparency of their AI-enabled interactions and what organizations are doing to allay their concerns.
  • 01.07.2019 S. Picard, M. Watkins, M. Rempel & A.G. Kerodal, Beyond the Algorithm: Pretrial Reform, Risk Assessment, and Racial Fairness (source: Center for Court Innovation)
    Risk assessments – automated formulas that measure the “risk” a defendant will be rearrested or fail to appear in court – are among the most controversial issues in criminal justice reform. To proponents, they offer a corrective to potentially biased decisions made by individual judges. To opponents, far from disrupting biases, risk assessments are unintentionally amplifying them, only this time under the guise of science. Drawing on a case study of more than 175,000 defendants in New York City, ‘Beyond the Algorithm: Pretrial Reform, Risk Assessment, and Racial Fairness,’ produced with the support of Arnold Ventures, examines the impact of risk assessment on racial disparities in pretrial decisions.
  • 22.05.2019 OECD Council Recommendation on Artificial Intelligence, OECD/LEGAL/0448 (source: OECD Legal Instruments)
    The OECD Principles on Artificial Intelligence promote artificial intelligence (AI) that is innovative and trustworthy and that respects human rights and democratic values. They were adopted on 22 May 2019 by OECD member countries when they approved the OECD Council Recommendation on Artificial Intelligence. The OECD AI Principles are the first such principles signed up to by governments. Beyond OECD members, other countries including Argentina, Brazil, Colombia, Costa Rica, Peru and Romania have already adhered to the AI Principles, with further adherents welcomed. The OECD AI Principles set standards for AI that are practical and flexible enough to stand the test of time in a rapidly evolving field. They complement existing OECD standards in areas such as privacy, digital security risk management and responsible business conduct.
  • 01.04.2019 S.M. West, M. Whittaker & K. Crawford, Discriminating Systems: Gender, Race and Power in AI, AI Now Institute, New York University (source: AI Now Institute)
    Gender, Race, and Power in AI is the product of a year-long survey of literature at the nexus of gender, race, and power in the field of artificial intelligence. This study surfaced some astonishing gaps, but it also made clear that scholars of diverse gender and racial backgrounds have been sounding the alarm about inequity and discrimination in artificial intelligence for decades.
  • 28.02.2019 T. Hagendorf, The Ethics of AI Ethics. An Evaluation of Guidelines, University of Tuebingen, International Center for Ethics in the Sciences and Humanities (source: Cornell University
    Current advances in research, development and application of artificial intelligence (AI) systems have yielded a far-reaching discourse on AI ethics. In consequence, a number of ethics guidelines have been released in recent years. These guidelines comprise normative principles and recommendations aimed to harness the “disruptive” potentials of new AI technologies. Designed as a comprehensive evaluation, this paper analyses and compares these guidelines highlighting overlaps but also omissions. As a result, I give a detailed overview of the field of AI ethics. Finally, I also examine to what extent the respective ethical principles and values are implemented in the practice of research, development and application of AI systems – and how the effectiveness in the demands of AI ethics can be improved.
  • 07.02.2019 F. Zuiderveen Borgesius, Discrimination, artificial intelligence, and algorithmic decision-making, Anti-discrimination Department of the Council of Europe (source: Council of Europe)
    This report, written for the Anti-discrimination department of the Council of Europe, concerns discrimination caused by algorithmic decision-making and other types of artificial intelligence (AI). AI advances important goals, such as efficiency, health and economic growth but it can also have discriminatory effects, for instance when AI systems learn from biased human decisions.
  • 29.01.2019 Automating Society Taking Stock of Automated Decision-Making in the EU, AlgorithmWatch in cooperation with Bertelsmann Stiftung (source: Algorithmwatch.org)

2018

  • 07.06.2018 C. Cook, R. Diamond, J. Hall, J.A. List & P. Oyer, The Gender Earnings Gap in the Gig Economy: Evidence from over a Million Rideshare Drivers | Working Paper 2018 No. 3637 (source: Graduate School of Stanford Business)
  • 01.04.2018 D. Reisman, J. Schultz, K. Crawford & M. Whittaker, Algorithmic Impact Assessments: A Practical Framework for Public Agency Accountability, AI Now Institute, New York University (source: AI Now Institute)
  • 01.01.2018 R.P. Bartlett, A. Morse, R. Stanton & N. Wallace, Consumer-Lending Discrimination in the Era of FinTech, UC Berkeley Public Law Research Paper (source: UC Berkeley)
    Ethnic discrimination in lending can materialize in face-to-face decisions or in algorithmic scoring. The GSE’s model for pricing credit risk provides us with an identified setting to estimate the incidence of discrimination for FinTech and face-to-face lenders, as well as to offer a workable enforcement interpretation of U.S. fair lending laws using the court’s justification of legitimate business necessity. We find that face-to-face and FinTech lenders charge Latin/African-American borrowers 6-9 basis points higher interest rates, consistent with the extraction of monopoly rents in weaker competitive environments and from profiling borrowers on shopping behavior. In aggregate, Latin/African-American pay $250-$500M per year in extra mortgage interest. FinTech algorithms have not removed discrimination, but may have shifted the mode. However, two silver linings emerge. Algorithmic lending seems to have increased competition or encouraged more shopping with the ease of applications. Also, whereas face-to-face lenders act in negative welfare manner toward minorities in application accepts/rejects, FinTechs do not discriminate in application rejections. 

2014

  • 22.05.2014 C. Sandvig, K. Hamilton, K. Karahaliaos & C. Langbort, Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms (source: University of Michigan)
    Algorithmic manipulation can be illegal or socially problematic or worthy of scrutiny. Outlines research methods for algorithmic scrutiny, in particular to detect discrimination. Describes how "audit study" used in non-computer scrutiny, eg by researchers or activists sending fake communications or in person "testers" to employers or real estate agents. This paper describes ethical challenges of audit design.

^ Back to top

Publicaties overheden4

Nederland

2019

  • 08.10.2019 Brief regering over AI, publieke waarden en mensenrechten (Kamerstukken II 2019/20, 26643, 642) (bron: www.overheid.nl)
    Minister Ollongren stuurt de Tweede Kamer een beleidsbrief over AI, publieke waarden en mensenrechten. De brief geeft een overzicht van de kansen en risico’s van AI voor publieke waarden die gestoeld zijn op mensenrechten. Het beschrijft tevens bestaande en toekomstige beleidsmaatregelen om risico’-s voor deze fundamentele publieke waarden te adresseren.
  • 08.10.2019 Brief regering met Strategisch Actieplan voor Artificiële Intelligentie (Kamerstukken II 2019/20, 26643, 640) (bron: www.overheid.nl)
    Staatssecretaris Keijzer informeert de Tweede Kamer over het Strategisch Actieplan voor Artificiële Intelligentie.
    • Strategisch Actieplan voor Artificiële Intelligentie (SAPAI)
      Dit actieplan beschrijft de voornemens van het kabinet om de ontwikkeling van artificiële intelligentie (AI) in Nederland te versnellen en internationaal te profileren. Het gaat in op de AI-ontwikkelingen in Nederland, op de elementen die nodig zijn om AI-innovatie verder te stimuleren, en op het borgen van de publieke belangen bij AI-ontwikkelingen.
  • 17.09.2019 Verslag van een schriftelijk overleg over de initiatiefnota van het lid Verhoeven over mededinging in de digitale economie (Kamerstukken II 2019/20, 35134, 4) (bron: www.overheid.nl)
    In dit verslag beantwoord Tweede Kamerlid Verhoeven (initiatiefnemer van de nota over mededinging in de digitale economie) de vragen en opmerkingen van de vaste commissie voor Economische Zaken en Klimaat over deze initiatienota. De leden van de CDA-fractie stellen vast dat de initiatiefnemer ingaat op algoritmes .Hoe kijkt de initiatiefnemer aan tegen algoritmes? Waar kunnen algoritmes volgens hem een positieve bijdrage leveren aan economische groei? Is er wat de initiatiefnemer betreft een grens? Wanneer leidt het zelflerende en zelf ontwikkelende karakter van algoritmes volgens de initiatiefnemer tot ongewenste situaties? De leden van de CDA-fractiemerken op dat verplichte datadeling economische kansen biedt en tot een gelijker speel veld leidt, maar ook risico’s kent. Bijvoorbeeld ten aanzien van innovatie, privacy en vertrouwelijke bedrijfsinformatie. Zou de initiatiefnemer op elk van deze punten kunnen reflecteren? Hoe wil de initiatiefnemer deze borgen in het licht van vrije concurrentie en consumentenbescherming? Heeft de initiatiefnemer daartoe concrete voorstellen?
    De initiatiefnemer heeft een positieve grondhouding ten aanzien van de opbrengst die algoritmes voor de samenleving kan hebben. Algoritmes kunnen de productieverhogen, de kwaliteit van de dienstverlening aan consumenten verbeteren en tot nieuwe, innovatieve producten en diensten leiden. De ontwikkeling van algoritmes draagt daarmee bij aan economische groei. Er zijn belangrijke maatschappelijke en ethische vraagstukken die bij de ontwikkeling van algoritmes en technologie een rol spelen. Zo kunnen burgerrechten bijvoorbeeld in het geding komen of kan het algoritme onbedoeld en ongemerkt discrimineren.
  • 10.09.2019 Motie over een meldplicht voor ingrijpende algoritmes bij de overheid (Kamerstukken II 2018/19, 26643, 632) (bron: www.overheid.nl). Aangenomen
  • 11.07.2019 Brief regering inzake de voortgangsrapportage Actieplan Arbeidsmarktdiscriminatie 2018-2021 (Kamerstukken II 2018/19, 29544, 923) (bron: www.overheid.nl)
    In deze brief kondigt staatssecretaris Van Ark van SZW dat zij na de zomer van 2019 een (concept) wetsvoorstel aan de Raad van State wil aanbieden om arbeidsmarktdiscriminatie tegen te gaan. Dit voorstel heeft gevolgen voor het wervings- en selectieproces van werkgevers én voor partijen zoals wervings- en selectiebureaus en online platforms die dergelijke diensten verlenen aan werkgevers. Daartoe zullen de Arbeidsomstandighedenwet en de Wet allocatie arbeidskrachten door intermediairs (Waadi) naar verwachting worden gewijzigd. Onder meer wordt voorgesteld om in de Waadi op te nemen om bemiddelende partijen in hun dienstverlening, net als werkgevers, te verplichten een werkwijze te hanteren die gericht is op voorkoming van discriminatie in het werving en selectieproces. Door middel van een door TNO nog uit te voeren verdiepende marktverkenning, probeert de Inspectie SZW meer zicht te krijgen op de rol van online platforms bij werving en selectie, de betrokkenheid van assessmentbureaus aan de voorkant van het proces van werving en selectie en het gebruik van geautomatiseerde systemen en algoritmen bij werving en selectie. Daarnaast zal de Inspectie SZW de komende tijd haar inspanningen richten op deze nieuwe ontwikkelingen door verkennende inspecties te doen bij online platforms, assessmentbureaus en bij werkgevers.
  • 05.07.2019 Brief regering inzake voortgangsrapportage en actualisatie Nederlandse Digitaliseringsstrategie (Kamerstukken II 2018/19, 26643, 623) (bron: www.overheid.nl)
    Staatssecretaris Keijzer presenteert mede namens minister Grapperhaus en staatssecretaris Knops de voortgangsrapportage en actualisatie Nederlandse Digitaliseringsstrategie.
    • Bijlage: Resultaten en opbrengsten van de Conferentie Nederland Digitaal 2019
    • Bijlage: Nederlandse Digitaliseringsstrategie 2.0
      “Van alle nieuwe digitale technologieën wordt van Artificiële intelligentie (AI) de komende tien jaar de grootste impact verwacht op de economie en maatschappij. AI ontwikkelt zich snel en wordt toegepast in vrijwel alle denkbare sectoren en domeinen. AI kan echter ook belangrijke grondrechten en publieke waarden onder druk zetten, zoals verbod van discriminatie, menselijke waardigheid en autonomie. Tijdens de Conferentie Nederland Digitaal was AI daarom het centrale thema. Met mensgerichte AI by design willen we als Nederland internationaal het verschil maken en AI oplossingen benutten voor maatschappelijke uitdagingen. Om onze ambities waar te maken en internationaal mee te blijven doen, wil het kabinet de krachten bundelen en AI-ontwikkeling versnellen. Belangrijke uitgangspunten hierbij zijn transparantie of uitlegbaarheid van algoritmen en inclusiviteit. Het kabinet steunt en onderschrijft daarom ook de richtlijnen die de Europese Commissie onlangs heeft gedeeld in haar mededeling over ’Ethische richt­snoeren voor vertrouwen in mensgerichte AI’. Op initiatief van Nederland ICT is er een gedragscode ontwikkeld die ondernemers helpt bij het ontwikkelen van verantwoorde AI-toepassingen. Deze gedragscode is samengesteld op basis van ethische principes van de Europese Commissie, o.a. over transparantie in de gebruikte technologie. De gedragscode is tijdens de Conferentie Nederland Digitaal gepresenteerd. In een Transparantielab algoritmen wordt door de overheid, in samenwerking met bedrijfsleven en toezichthouders, onderzocht op welke manieren algoritmen en het gebruik van algoritmen uitlegbaar en controleerbaar kunnen worden gemaakt. Na de zomer 2019 komt het kabinet met een strategisch actieplan AI. Ook komt het kabinet na de zomer 2019 met een beleidsplan voor AI, publieke waarden en mensenrechten. In voorbeeldprojecten in verschillende sectoren worden de principes voor mensgerichte AI uitgewerkt. Met deze projecten wordt een gemeenschappelijke kennisbasis ontwikkeld. De overheid wil hiermee een voorbeeldrol vervullen in de samenleving.”
  • 26.06.2019 Kamerbrief met de initiatiefnota van het lid Gijs van Dijk (PvdA) “De herovering van de platformeconomie” (Kamerstukken II 2018/19, 35230, nrs. 1-2) (bron: www.overheid.nl)
    Deze nota richt zich primair op bescherming van werkenden in de platformeconomie. De nota bestaat uit twee delen. In het eerste deel wordt de huidige situatie geschetst. In het tweede deel wordt een alternatief gegeven en worden concrete voorstellen gedaan. De initiatiefnemer doet, kort gezegd, de onderstaande voorstellen. (1) Keer de bewijslast om: een platform is per definitie een werkgever, tenzij het platformbedrijf aantoont dat het platform slechts als bemiddelaar werkt. (2) Verduidelijk de arbeidsrelatie: platformwerkers dienen de rechten van werknemers te krijgen als de arbeidsrelatie aan een aantal criteria voldoet. Om de relatie tussen platformwerkers en het platform te verduidelijken, kunnen ten eerste criteria, zoals voorgeteld door de Commissie Boot, worden gehanteerd. Deze criteria kunnen worden opgenomen in de Wet op de loonbelasting 1964 en de Wet financiering sociale verzekeringen. Indien niet aan die criteria wordt voldaan, is altijd sprake van een arbeidsovereenkomst, met overeenkomstige rechten en plichten voor platform en platformwerker. (3) Platformwerkers moeten zeker kunnen zijn van een eerlijk loon, een goed pensioen en bescherming bij ziekte en arbeidsongeschiktheid. (4) Pas de wetgeving over arbeidsomstandigheden en arbeidstijden ook toe op zzp’ers. Waar mogelijk wordt deze wetgeving direct geïntegreerd in het algoritme dat platformwerkers werk toewijst. (5) Versterk de onderhandelingspositie van platformwerkers: geef zzp’ers, waaronder platformwerkers, de mogelijkheid om collectief te kunnen onderhandelen over tarieven door aanpassing van de mededingingswet. (6) Dataportabiliteit: de overheid dient het meenemen van de opgebouwde reputatiedata van platformwerkers te bevorderen en op te treden tegen platforms die dit verhinderen. (7) Inspraak: verplicht inspraak en/of instemming van platformwerkers bij wijziging van de werking van algoritmes die werk toewijzen. (8) Naleving: handhaaf wet- en regelgeving die zelfstandigen en werknemers bescherming bieden.
  • 26.06.2019 Besluit tot openbaarmaking van documenten die zien op projecten waarbij gebruik is gemaakt van het Systeem Risico Indicatie (ministerie SZW, bron: Rijksoverheid.nl)
  • 20.06.2019 Motie over voorwaarden voor het ontwikkelen van een richtlijn voor het gebruik van algoritmes door overheden (Kamerstukken II 2018/19, 35200-VII, 14) (bron: www.overheid.nl)
  • 07.06.2019 Kamervragen met antwoorden over het bericht “Amsterdam wil “eerlijke” computers in de stad” (Aanhangsel Handelingen II 2018/19, 2946) (bron: www.overheid.nl)
    Staatssecretaris Knops merkt onder meer op dat de gemeente Amsterdam in eerste instantie kaders wil ontwikkelen om de algoritmen die de gemeente zelf heeft gemaakt of ingekocht, te toetsen Als het gaat om controle van algoritmen van niet-gemeentelijke instellingen wijst hij op de autonome bevoegdheid van de gemeente om verordeningen uit te vaardigen en beleid te maken op basis van de Gemeentewet en de Grondwet. Gemeenten hebben bevoegdheden voor kaderstelling en handhavingen daar zullen ook nationaal opererende bedrijven aan moeten voldoen. Op beleidsterreinen zoals vakantieverhuur en vervoersmarkt zijn landelijk opererende bedrijven werkzaam die beschikken over een vergunning of concessie die is verleend door het gemeentebestuur van Amsterdam. Binnen de territoriale grenzen heeft de gemeente hier een eigen rol op het gebied van kaderstelling en handhaving. Het is ook aan de gemeente Amsterdam om te onderzoeken hoe betrekkelijk nieuwe ontwikkelingen, zoals algoritmen en de wettelijke grondslagen die daarvoor gelden, zich verhouden tot de huidige kaderstelling en handhaving op beleidsterreinen als vervoer en verhuur waar niet-gemeentelijke instellingen actief zijn met algoritmen die ook tot ongewenste effecten leiden voor de stad. Dit zou kunnen leiden tot aanscherping van kaders en handhaving. Op de vraag of er een wettelijke grondslag voor gemeenten, bedrijven en instellingen is om algoritmen te controleren antwoordt de staatssecretaris dat er wettelijke grondslagen zijn die controle op specifieke aspecten van een algoritme mogelijk maken. Zo kan de Autoriteit Consumenten & Markt bij het handhaven van de Mededingingswet in een specifieke zaak controleren of een algoritme zo is ingericht dat het de mededinging op een ongeoorloofde wijze beperkt en kan de Autoriteit Persoonsgegevens controleren of de werking van een algoritme waarmee persoonsgegevens worden verwerkt, aan de Algemene Verordening Gegevensbescherming en aan Nederlandse wettelijke voorschriften inzake gegevensbescherming voldoet.
  • 29.05.2019 Motie over het instellen van een (tijdelijke) onderzoekscommissie digitalisering (Kamerstukken II 2018/19, 26643, 611) (bron: www.overheid.nl). Aangenomen
  • 29.05.2019 Motie over toezicht op het gebruik van algoritmes door de overheid (Kamerstukken II 2018/19, 26643, 610) (bron: www.overheid.nl). Aangenomen 
  • 29.05.2019 Initiatiefnota van het lid Middendorp: Menselijke grip op algoritmen (Kamerstukken II 2018/19, 35212, 2) (bron: www.overheid.nl)
    Gebruik van algoritmen kunnen onze grondrechten aantasten en bijvoorbeeld (1) dehumanisering, (2) discriminatie, (3) beperking keuzevrijheid, (4) kansenongelijkheid en (5) het aantasten van onze privacy veroorzaken. De snelle opkomst van algoritmen vereist daarom een maatschappelijk debat over normen en waarden in de digitale toekomst. Immers onze grondrechten moeten ook in de digitale wereld geborgd zijn. Het startpunt van de indiener is dat onze, door de eeuwen heen opgebouwde normen en waarden, ook in onze digitale toekomst van toepassing moeten blijven. Oftewel dat grondrechten online dezelfde moeten zijn als offline. Maar, daar waar algoritmen worden ingezet kunnen de grenzen van onze bestaande wetten, normen en waarden geraakt of overschreden worden. Dan is aanpassing of nieuwe wet- en regelgeving nodig. De voorstellen in deze initiatiefnota gaan het proces waarmee we wetten en beleidsregelingen aanpassen aan de digitale tijd stimuleren. Om te beoordelen of nieuwe regels nodig zijn en deze dan te maken is veel meer kennis en kunde nodig over de toepassingen en werking van algoritmen. De voorstellen hier zijn daarom gericht op meer inzicht in wat algoritmen precies doen, welke kansen zij bieden en welke de samenleving kunnen schaden.
  • 28.03.2019 Brief regering inzake de kabinetsreactie op het juridische onderzoeksrapport ‘Algoritmes en grondrechten’ van de Universiteit Utrecht (Kamerstukken II 2018/19, 26643, 601) (bron: www.overheid.nl)
    In 2018 is verschenen het juridische onderzoeksrapport “Algoritmes en grondrechten” van de Universiteit Utrecht. Het onderzoek is verricht in opdracht van het ministerie van BZK en biedt een quick scan waarin de (potentiële) gevolgen zijn geanalyseerd van het gebruik van de algoritme-gedreven technologieën Big Data, Internet of Things en Kunstmatige Intelligentie voor vier clusters van grondrechten: privacyrechten, gelijkheidsrechten, vrijheidsrechten en procedurele rechten. Het onderzoeksrapport geeft een belangrijke aanzet voor de beantwoording van de vraag waar zich serieuze grondrechtelijke knelpunten (kunnen) voordoen als gevolg van voornoemde technologieën. De minister van BZK heeft met veel waardering kennis genomen van het zorgvuldige en gedegen rapport. In reactie erop deelt zij het volgende mee. Kern van het navolgende is de onderkenning dat nieuwe technologieën relevantie hebben voor vele grondrechten en dat het belang van de effectieve realisering daarvan door wetgever, bestuur en rechter ook in het digitale tijdperk voorop staat. Dat betekent onder andere dat wetgeving waar nodig nieuwe knelpunten moet adresseren en dat het van de overheid bijzondere inspanning vergt ook ten aanzien van het gebruik van algoritmes de zorgvuldige afweging tussen de bescherming van grondrechten en andere belangen te blijven bewaken.
  • 13.02.2019 Verslag van een schriftelijk overleg met de minister voor Rechtsbescherming over de toepassing en het gebruik van algoritmen en artificiële intelligentie in het domein van de rechtspleging (Kamerstukken I 2018/19, 34 775 VI AI) (bron: www.overheid.nl)
    In zijn brief zegt minister Dekker dat voordat we algoritmen in de rechtspleging kunnen inzetten moet eerst een brede wetenschappelijke en maatschappelijke discussie hebben plaatsgevonden.

Europese Unie

2019

  • 19.09.2019 EU guidelines on ethics in artificial intelligence: Context and implementation (source: European Parliament – Think Tank)
    The discussion around artificial intelligence (AI) technologies and their impact on society is increasingly focused on the question of whether AI should be regulated. Following the call from the European Parliament to update and complement the existing Union legal framework with guiding ethical principles, the EU has carved out a 'human-centric' approach to AI that is respectful of European values and principles. As part of this approach, the EU published its guidelines on ethics in AI in April 2019, and European Commission President-elect, Ursula von der Leyen, has announced that the Commission will soon put forward further legislative proposals for a coordinated European approach to the human and ethical implications of AI. Against this background, this paper aims to shed some light on the ethical rules that are now recommended when designing, developing, deploying, implementing or using AI products and services in the EU. Moreover, it identifies some implementation challenges and presents possible further EU action ranging from soft law guidance to standardisation to legislation in the field of ethics and AI. There are calls for clarifying the EU guidelines, fostering the adoption of ethical standards and adopting legally binding instruments to, inter alia, set common rules on transparency and common requirements for fundamental rights impact assessments, and to provide an adequate legal framework for face recognition technology. Finally, the paper gives an overview of the main ethical frameworks for AI under development in countries such as the United States and China.
  • 01.07.2019 Briefing European Parliament - Economic impacts of artificial intelligence (AI) (source: European Parliament – Think Tank)
    Artificial intelligence plays an increasingly important role in our lives and economy and is already having an impact on our world in many different ways. Worldwide competition to reap its benefits is fierce, and global leaders – the US and Asia – have emerged on the scene. AI is seen by many as an engine of productivity and economic growth. It can increase the efficiency with which things are done and vastly improve the decision-making process by analysing large amounts of data. It can also spawn the creation of new products and services, markets and industries, thereby boosting consumer demand and generating new revenue streams. However, AI may also have a highly disruptive effect on the economy and society. Some warn that it could lead to the creation of super firms – hubs of wealth and knowledge – that could have detrimental effects on the wider economy. It may also widen the gap between developed and developing countries, and boost the need for workers with certain skills while rendering others redundant; this latter trend could have far-reaching consequences for the labour market. Experts also warn of its potential to increase inequality, push down wages and shrink the tax base. While these concerns remain valid, there is no consensus on whether and to what extent the related risks will materialise. They are not a given, and carefully designed policy would be able to foster the development of AI while keeping the negative effects in check. The EU has a potential to improve its standing in global competition and direct AI onto a path that benefits its economy and citizens. In order to achieve this, it first needs to agree a common strategy that would utilise its strengths and enable the pooling of Member States' resources in the most effective way.
  • 26.06.2019 High-Level Expert Group on AI, Policy and investment recommendations for trustworthy Artificial Intelligence (source: European Commission – reports and studies)
    This document was written by the High-Level Expert Group on AI (AI HLEG). It is the second deliverable of the AI HLEG and follows the publication of the group's first deliverable, Ethics Guidelines for Trustworthy AI, published on 8 April 2019. Europe has set its overarching ambition on a human-centric approach to Artificial Intelligence. In our first deliverable, this concept was captured in the notion of Trustworthy AI, which we characterised in terms of three components – being lawful, ethical and robust – and in line with the core tenets of the European Union: fundamental rights, democracy and the rule of law. Our Ethics Guidelines for Trustworthy AI hence constituted a crucial first step in delineating the type of AI that we want and do not want for Europe. The AI HLEG formulated 33 concrete recommendations addressed to the European Institutions and Member States. These focus on four main areas where we believe Trustworthy AI can help achieving a beneficial impact, starting with humans and society at large, and continuing then to focus on the private sector, the public sector and Europe’s research and academia.
  • 08.04.2019 Ethics Guidelines for Trustworthy Artificial Intelligence (AI), High-level Expert Group on Artificial Intelligence (source: European Commission)
    The High-Level Expert Group on AI presents their ethics guidelines for trustworthy artificial intelligence. According to the guidelines, trustworthy AI should be: (1) lawful - respecting all applicable laws and regulations, (2) ethical - respecting ethical principles and values, and (3) robust - both from a technical perspective while taking into account its social environment.
  • 05.04.2019 Factsheet: Artificial Intelligence for Europe (source: European Commission)
    A European approach on AI will boost the European Union’s competitiveness and ensure trust based on European values. The European Commission has already invested significant amounts to bring benefits to our society and economy. This factsheet provides an overview of AI in Europe.
  • 04.04.2019 A governance framework for algorithmic accountability and transparency, Panel for the Future of Science and Technology (STOA), (source: European Parliament)
    Transparency and accountability are both tools to promote fair algorithmic decisions by providing the foundations for obtaining recourse to meaningful explanation, correction, or ways to ascertain faults that could bring about compensatory processes. The study develops policy options for the governance of algorithmic transparency and accountability, based on an analysis of the social, technical and regulatory challenges posed by algorithmic systems. Based on an extensive review and analysis of existing proposals for governance of algorithmic systems, the authors propose a set of four policy options each of which addresses a different aspect of algorithmic transparency and accountability. 1. Awareness raising: education, watchdogs and whistleblowers. 2. Accountability in public sector use of algorithmic decision-making. 3. Regulatory oversight and Legal liability. 4. Global coordination for algorithmic governance.
  • 15.01.2019 Briefing requested by de IMCO committee - Artificial Intelligence: challenges for EU citizens and consumers (source: European Parliament)
    This briefing addresses the regulation of artificial intelligence (AI), namely, how to ensure that AI benefits citizens and communities, according to European values and principles. Focusing on data and consumer protection, it presents risks and prospects of the applications of AI, it identifies the main legal regimes that are applicable, and examines a set of key legal issues.

2018

Australië

2019

Duitsland

2018

  • 15.11.2018 Artificial Intelligence Strategy | AI - a brand for Germany (source: Bundesregierung)
    "AI made in Germany" is to become an international brand, synonymous with modern, secure AI applications for the common good that are based on European values. To ensure that this is achieved, the Cabinet has adopted the Artificial Intelligence Strategy presented jointed by the Federal Minister for Economic Affairs, the Federal Ministry of Education and Research and the Federal Ministry of Labour and Social Affairs.

Nieuw-Zeeland

2019

2018

  • 25.10.2018 Algorithm assessment report (source: New Zealand Government)
    A cross-government review of how government uses algorithms to improve the lives of New Zealanders was undertaken in 2018. The review aimed to ensure New Zealanders are informed, and have confidence in how the government uses algorithms. A report has been produced which presents the initial findings of the review.

Verenigde Staten

2019

  • 19.08.2019 FR-6111-P-02 HUD’s Implementation of the Fair Housing Act’s Disparate Impact Standard (proposed rule), Department of Housing and Urban Development (HUD) (source: Regulations.gov)
    Title VIII of the Civil Rights Act of 1968, as amended (Fair Housing Act or Act), prohibits discrimination in the sale, rental, or financing of dwellings and in other housing-related activities on the basis of race, color, religion, sex, disability, familial status, or national origin. HUD has long interpreted the Act to create liability for practices with an unjustified discriminatory effect, even if those practices were not motivated by discriminatory intent. This rule proposes to amend HUD's interpretation of the Fair Housing Act's disparate impact standard to better reflect the Supreme Court's 2015 ruling in Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., and to provide clarification regarding the application of the standard to State laws governing the business of insurance. This rule follows a June 20, 2018, advance notice of proposed rulemaking, in which HUD solicited comments on the disparate impact standard set forth in HUD's 2013 final rule, including the disparate impact rule's burden-shifting approach, definitions, and causation standard, and whether it required amendment to align with the decision of the Supreme Court in Inclusive Communities Project, Inc.
  • Artificial Intelligence for the American People (source: Whitehouse.gov)
  • 29.05.2019 Artificial Intelligence Video Review Act, IL HB2557, IIllinois (source: Billtrack50.com)
    This Act creates the Artificial Intelligence Video Interview Act. Provides that an employer that asks applicants to record video interviews and uses an artificial intelligence analysis of applicant-submitted videos shall: notify each applicant in writing before the interview that artificial intelligence may be used to analyze the applicant's facial expressions and consider the applicant's fitness for the position; provide each applicant with an information sheet before the interview explaining how the artificial intelligence works and what characteristics it uses to evaluate applicants; and obtain written consent from the applicant to be evaluated by the artificial intelligence program. Provides that an employer may not use artificial intelligence to evaluate applicants who have not consented to the use of artificial intelligence analysis. Provides that an employer may not share applicant videos, except with persons whose expertise is necessary in order to evaluate an applicant's fitness for a position.
  • 21.05.2019 Artificial Intelligence Initiative Act (AI-IA) S.1558 (source: Congress.gov)
    A bill to establish a coordinated Federal initiative to accelerate research and development on artificial intelligence for the economic and national security of the United States, and for other purposes.
  • 10.04.2019 Algorithmic Accountability Act 2019 (source: U.S. Senator Ron Wyden for Oregon)
    Sens. Cory Booker, D-N.J., and Ron Wyden, D-Ore., sponsored the Algorithmic Accountability Act, with Rep. Yvette Clarke, D-N.Y., sponsoring a House of Representatives equivalent. The bill would apply to companies that make more than $50 million per year, have data for at least 1 million people or devices, or organizations that primarily act as data brokers. It would also empower the U.S. Federal Trade Commission to require that entities “conduct automated decision system impact assessments and data protection impact assessments” for algorithmic decision-making systems, forcing companies to evaluate algorithms in terms of their “accuracy, fairness, bias, discrimination, privacy and security.”
  • 19.03.2019 Artificial Intelligence for the American People (source: Whitehouse.gov)
    On March 19, 2019, the US federal government launched AI.gov to make it easier to access all of the governmental AI initiatives currently underway. The site is the best single resource from which to gain a better understanding of US AI strategy. US President Donald Trump issued an Executive Order launching the American AI Initiative on February 11, 2019. The Executive Order explained that the Federal Government plays an important role not only in facilitating AI R&D, but also in promoting trust, training people for a changing workforce, and protecting national interests, security, and values. And while the Executive Order emphasizes American leadership in AI, it is stressed that this requires enhancing collaboration with foreign partners and allies. The American AI Initiative is guided by five principles, which include (in summarized form,) the following: 1. Driving technological breakthroughs, 2. Driving the development of appropriate technical standards, 3. Training workers with the skills to develop and apply AI technologies, 4. Protecting American values including civil liberties and privacy and fostering public trust and confidence in AI technologies, 5. Protecting US technological advantage in AI, while promoting an international environment that supports innovation (source: Future of life institute)

2018 

  • 26.09.2018 S.3502 - AI in Government Act of 2018 (source: www.congress.gov)
    This bill establishes the Emerging Technology Policy Lab within the General Services Administration (GSA) to: advise and promote the efforts of the federal government in ensuring that the use of emerging technologies by the government, including artificial intelligence, is in the best interest of the public; and improve cohesion and competency in federal agency rule making and the use of emerging technologies.

2016

  • 15.05.2016 Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights, United States, White House Office (source: Homeland Security Digital Database)
    Big data and associated technologies have enormous potential for positive impact in the United States, from augmenting the sophistication of online interactions to enhancing understanding of climate change to making advances in healthcare. These efforts, as well as the technological trends of always-on networked devices, ubiquitous data collection, cheap storage, sensors, and computing power, will spur broader use of big data. Our challenge is to support growth in the beneficial use of big data while ensuring that it does not create unintended discriminatory consequences. This report examines several case studies from the spheres of credit and lending, hiring and employment, higher education, and criminal justice to provide snapshots of opportunities and dangers, as well as ways that government policies can work to harness the power of big data and avoid discriminatory outcomes. These are issues that strike at the heart of American values, which we must work to advance in the face of emerging, innovative technologies.

^ Back to top

RechtspraakRechtspraak

Nederlandse rechtspraak

2019

  • 15.01.2019 Rb. Amsterdam 15 januari 2019, ECLI:NL:RBAMS:2019:210, JAR 2019/24, m.nt. M. Jovović & J.P.H. ZwemmerNTFR 2019/286, m.nt. L.M.J. Arets, FutD 2019-0129, TAO 2019/1, p. 16-19, m.nt. I. Zaal, RAR 2019/56 (FNV / Deliveroo)
    De kantonrechter oordeelt in een procedure tussen FNV en Deliveroo dat Deliveroo onder de werkingssfeer van de cao voor beroepsgoederenvervoer valt. Bezorging van maaltijden door Deliveroo moet worden gekwalificeerd als vervoer van goederen over de weg en valt daarmee onder de cao van die sector. Deliveroo is daarmee ook verplicht de cao met terugwerkende kracht na te leven.
  • 15.01.2019 Rb. Amsterdam 15 januari 2019, ECLI:NL:RBAMS:2019:198, JAR 2019/23, m.nt. M. Jovović & J.P.H. ZwemmerAR Annotaties 2019-0051, m.nt. J.H. Bennaars, NTFR 2019/23, m.nt. L.M.J. Arets, NLF 2019/0305, m.nt. S. Spauwen, FutD 2019-0129, TAO 2019/1, p. 7-15, m.nt. P.R. Bartens, RAR 2019/57 (FNV / Deliveroo)
    De kantonrechter oordeelt in een procedure tussen FNV en Deliveroo dat bezorgers van Deliveroo geen zzp’ers zijn, maar aanspraak kunnen maken op een arbeidsovereenkomst. De kantonrechter is het met FNV eens dat de verhouding tussen Deliveroo en de bezorgers met de invoering van de nieuwe contractvorm (de partnerovereenkomst) per 2018 niet wezenlijk veranderd is. Daarbij is, volgens de rechter, onder andere van belang dat de partnerovereenkomst een standaardcontract is, dat volledig en eenzijdig door Deliveroo is opgesteld en niet onderhandelbaar is. De rechter oordeelt dat binnen de rechtsverhouding nog altijd sprake is van een gezagsverhouding tussen het bedrijf en de bezorgers. Hierbij spelen de digitale systemen die Deliveroo gebruikt voor het inroosteren van de bezorgers en de bezorging van maaltijden, een belangrijke rol.

2018

  • 16.10.2018 CRvB 16 oktober 2018, ECLI:NL:CRVB:2018:3270, JWWB 2018/278
    De CRvB heeft in onder meer deze uitspraak geoordeeld over het gebruik van risicoprofielen bij de opsporing van uitkeringsfraude. Kort gezegd komt het erop neer dat risicoprofielen (bijv. alleenstaande mannen van 55+) die gebruik maken van ‘beschermde gegevens’ zoals geslacht of etniciteit, moeten worden gerechtvaardigd door “zeer gewichtige redenen.” Daarvan kan bijvoorbeeld sprake zijn als ervaringsgegevens ertoe noodzaken gebruik te maken van een bepaald risicoprofiel.
  • 23.07.2018 Rb. Amsterdam 23 juli 2018, ECLI:NL:RBAMS:2018:5183, JAR 2018/189, m.nt. J.P. Wiewel & J.M. van Slooten, RAR 2018/153 (Deliveroo)
    De kantonrechter oordeelt, gezien hetgeen Deliveroo en de maaltijdbezorger zijn overeengekomen en hoe zij vervolgens feitelijk aan die overeenkomst uitvoering en invulling hebben gegeven, dat de rechtsverhouding tussen partijen niet als een arbeidsovereenkomst gekwalificeerd kan worden. Volgens de kantonrechter moge het zo zijn dat in het huidige arbeidsrecht geen rekening is gehouden met de uit de (relatief) nieuwe platformeconomie voorkomende arbeidsverhoudingen maar dat maakt echter nog niet dat de onderhavige beslissing tot dusdanig onaanvaardbare resultaten leidt, dat de redelijkheid en billijkheid tot rechterlijk ingrijpen noopt. Wanneer het ongewenst wordt geacht dat werkplatforms als Deliveroo dergelijke overeenkomsten aanbieden, zal de wetgever daartegen maatregelen moeten treffen. De vorderingen van de maaltijdbezorger worden afgewezen.

2017 

  • 21.11.2017 CRvB 21 november 2017, ECLI:NL:CRVB:2017:4068, NJB 2017/2350, JWWB 2017/332, USZ 2018/40
    De CRvB heeft in onder meer deze uitspraak geoordeeld over het gebruik van risicoprofielen bij de opsporing van uitkeringsfraude. Kort gezegd komt het erop neer dat risicoprofielen (bijv. alleenstaande mannen van 55+) die gebruik maken van ‘beschermde gegevens’ zoals geslacht of etniciteit, moeten worden gerechtvaardigd door “zeer gewichtige redenen.” Daarvan kan bijvoorbeeld sprake zijn als ervaringsgegevens ertoe noodzaken gebruik te maken van een bepaald risicoprofiel.

Europese rechtspraak

2019

  • 30.04.2019 Conclusie van AG Szpunar (AirBnB) C‑390/18, ECLI:EU:C:2019:336
    Het platform van AirBnB is volgens A-G Szpunar een dienst van de informatiemaatschappij. De A-G werkt in zijn conclusie de verschillen tussen AirBnB en Uber uit en werpt zodoende nieuw licht op de Uber-criteria; wanneer creëer je als platform zelf aanbod en wanneer oefen je beslissende invloed uit over een aangeboden dienst?

Buitenlandse rechtspraak

Verenigde Staten

2018

  • 17.08.2018 United States District Court Southern District of New York, Case No. 1:18-cv-02689 (National Fair Housing Alliance and others / Facebook Inc.)
    Facebook is a well-known social media platform that, among other things, permits each user to create a personal profile to share information with others also on Facebook, including those designated by the user as “friends,” who may be family, friends, acquaintances, or people whom the user has never met. As Plaintiffs allege, advertising to its users is the core of Facebook’s business model. Plaintiffs claim that Facebook is liable under the Fair Housing Act (FHA) because it solicits preferences from housing advertisers of demographic and other audience preferences, then delivers such ads only to users who match those preferences, based on Facebook’s mining of user data and the application of its proprietary algorithms. Facebook contends that it is immune from such liability under the Communications Decency Act (CDA). The Fair Housing Act prohibits a wide array of discrimination in housing. The complaint alleges that Facebook’s practices violate section 3604(c) of the FHA, which makes it illegal “[t]o make, print, or publish, or cause to be made, printed, or published any notice, statement, or advertisement, with respect to the sale or rental of a dwelling that indicates any preference, limitation, or discrimination based on race, color, religion, sex, handicap, familial status, or national origin, or an intention to make any such preference, limitation, or discrimination. The complaint also alleges that Facebook’s practices violate sections 3604(a,d and f) by making unavailable or denying a dwelling based upon prohibited characteristics. The CDA was enacted to preserve the ability of the Internet to offer “a forum for a true diversity of political discourse, unique opportunities for cultural development, and myriad avenues for intellectual activity.” The CDA accordingly immunizes “interactive computer service” providers against liability arising from content created by third parties. On the other hand, the CDA does not immunize “information content providers,” defined as website operators that are “responsible, in whole or in part, for the creation or development of” content. Two leading cases frame the analysis of the application of CDA immunity to FHA. In none of these cases did the court consider whether Facebook developed, in whole or in part, content through its advertising functions, let alone its advertising targeting functions, thereby making it a “content provider.” Based on the alleged facts, the CDA does not shield Facebook from FHA liability. The Court denies Facebook’s motion to dismiss the FHA claims.

2017

  • 26.06.2017 Supreme Court of the United States (Loomis v. Wisconsin) (source: Wikipedia)
    Loomis v. Wisconsin was a petition to the United States Supreme Court to overturn the previous Wisconsin Supreme Court ruling in State v. Loomis (881 N.W.2d 749 (Wis. 2016)) The case challenged the State of Wisconsin's use of proprietary, closed-source risk assessment software in the sentencing of Eric Loomis to six years in prison. The case alleged that using such software in sentencing violates the defendant's right to due process because it prevents the defendant from challenging the scientific validity and accuracy of such test. The case also alleged that the system in question (Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) violates due process rights by taking gender and race into account. Hearing this case would have given the court "the opportunity to rule on whether it violates due process to sentence someone based on a risk-assessment instrument whose workings are protected as a trade secret."
    The Supreme Court of the United States denied the writ of certiorari, thus declining to hear the case, on June 26, 2017.

Presentaties

Stibbe

  • 02.07.2019 S. Akel, M. Jovović & J. Krikke, Presentatie Stibbe Debatavond: “HR Analytics - kans of bedreiging?” juli 2019 (bron: Stibbe
    Deze presentatie gaven Siert Akel (Efficient or dangerous? How machine learning and AI are transforming HR), Marko Jovović (Algoritmische discriminatie) en Judica Krikke (Het privacyrechtelijke perspectief) tijdens de Stibbe Debatavond “HR Analytics - kans of bedreiging?” op 2 juli 2019.
  • 08.02.2019 Presentatie arbeidsrecht en algoritmes (AOM) feb 2018 (AOM | bron: UvA / Stibbe)
    Deze presentatie over arbeidsrecht en algoritmes gaven Jaap van Slooten en Marko Jovović op 8 februari 2919 tijdens de AOM-bijeenkomst. Aan de orde komen de volgende onderwerpen: (1) Is het arbeidsrecht klaar voor algoritmes? - Wat zijn AI & algoritmes? (2) Arbeidsrechtelijke vragen: - Kan een algoritme discrimineren?, - Invloed op gezagsverhoudingskwestie?, - Loonregels en beloningsalgoritmes?, - Rol data en oordelen bij ontslag?, - Is de WOR klaar voor algoritmes?
  • 10.10.2018 E.L.H. van der Vos, ‘Presentatie de Uberwerker oktober 2018’ (Stibbe Talks | bron: Stibbe)
    Presentatie ‘de Uberwerker’. Aan de orde komen de volgende onderwerpen: (1) kwalificatie van de werkvorm en (2) nieuwe uitdagingen in het arbeidsrecht zoals kinderarbeid, discriminatie en stakingen.

^ Back to top

Websites

Nederland

  • AI Technology for People – Research at the UvA
    From self-driving cars and surveillance systems to robot care and machine-learning, artificial intelligence (AI) has a major impact on our daily lives.Together with the City of Amsterdam, the business community, social partners and other research institutions, the University of Amsterdam is conducting groundbreaking research on new algorithms, their applications and their impact on society.
    • Towards Humane AI - UvA
      The Research Priority Area (RPA) Human(e) AI at the University of Amsterdam synthesises ongoing work and stimulates new research at the UvA on the societal consequences of the rapid development of artificial intelligence (AI) and automated decision-making (ADM) in a wide variety of societal areas.
  • Digitale overheid - Nieuwe technologieën, data en ethiek
    Door te innoveren wil de Nederlandse overheid vooroplopen bij het gebruik van nieuwe digitale technieken. Tegelijkertijd wil de overheid alle burgers en ondernemers én hun rechten beschermen als die door nieuwe ontwikkelingen onder druk komen te staan.
  • Nederland ICT - Ethische Code Artificial Intelligence
    Artificial Intelligence (kunstmatige intelligentie, AI) biedt kansen voor het oplossen van maatschappelijke en economische vraagstukken. Die kansen moeten we niet onbenut laten. AI-toepassingen brengen echter ook ethische vragen met zich mee. Vanzelfsprekend moeten dergelijke innovaties daarom op een verantwoorde wijze plaatsvinden. De ICT-sector is zich daarvan bewust en heeft daarom deze ethische gedragscode AI opgesteld als richtsnoer voor en met haar leden.
  • Nederlandse AI Coalitie (NL AIC)
    De Nederlandse AI Coalitie (NL AIC) heeft als doel de Nederlandse activiteiten in AI te stimuleren, te ondersteunen en waar nodig te organiseren. De NL AIC wil dat Nederland mee kan doen met de koplopers in Europa op het gebied van kennis én toepassing van AI, ten behoeve van welvaart en welzijn met inachtneming van Nederlandse en Europese normen en waarden. Dit vereist een collaboratieve keten aanpak, waarbij overheid, bedrijven, onderwijs- en onderzoeksinstellingen en maatschappelijke organisaties samenwerken.
  • Rathenau Instituut – Digitale samenleving
    Het verschil tussen online en offline vervaagt. Zonder te weten wat het precies betekent, leven we daardoor steeds meer in een digitale samenleving. Digitale technologieën veranderen de manier waarop docenten lesgeven, hoe dokters en patiënten met elkaar praten, waar politici over debatteren en hoe mensen nieuws delen. Achter de schermen werken algoritmen en kunstmatige intelligentie op manieren die we vaak niet eens herkennen. Onze samenleving wordt op deze manier compleet anders ingericht. De Nederlandse overheid heeft zich uitgesproken voor een digitale toekomst waarin iedereen kan meedoen. Wat betekent dit voor de bestaande spelregels? Voor internationale afspraken en voor de samenwerking tussen lokale overheden onderling en hun afstemming met de nationale overheid? Welke verantwoordelijkheid nemen bedrijven? Hoe worden we technologisch vaardige burgers? En wie helpt ons daarbij als het niet lukt?
    • 19.03.2019 Overzicht van ethische codes en principes voor AI
      De afgelopen twee jaar zijn er diverse ethische codes en principes voor de ontwikkeling en het gebruik van kunstmatige intelligentie (AI) verschenen. In dit artikel zetten we de belangrijkste op een rij. Dit overzicht geeft een indruk van de partijen die zich hebben gecommitteerd aan het formuleren en onderschrijven van bepaalde richtlijnen voor de ontwikkeling en het gebruik van kunstmatige intelligentie (AI). We hebben gekeken naar verklaringen, uitspraken, richtsnoeren en codes over ethiek en AI. Dit overzicht focust op Europa en de Verenigde Staten. Hierin zijn geen publicaties of links opgenomen naar initiatieven, conferenties, allianties en onderzoeksgroepen die een bijdrage leveren aan de verdieping en verbreding van maatschappelijke en ethische dilemma’s op het gebied van AI.
  • VNO NCW – Artificial Intelligence (AI) (bron: VNO NCW)
    Nederland moet voorloper zijn in de toepassing en ontwikkeling van kunstmatige intelligentie (artificial intelligence of kortweg AI). AI wordt vergeleken met eerdere industriële revoluties en zal door het sectordoorsnijdend karakter enorme impact hebben op onze economie. Daarom is het van groot belang dat we als land meegaan in deze razendsnelle ontwikkeling. Door de inzet op en de inzet van AI kunnen we tot creatieve en innovatieve oplossingen komen voor maatschappelijke uitdagingen in onder andere de gezondheidszorg, mobiliteit en duurzaamheid. Ook zal het grote invloed hebben op ons toekomstige verdienvermogen.
    • De Nationale AI coalitie heeft als doel om tot coördinatie en samenwerking te komen met de AI activiteiten in het huidige gefragmenteerde Nederlandse AI-speelveld, omdat gezamenlijke inspanningen meer resultaat hebben.

Europese Unie

  • AI Watch (source: European Commission)
    Monitor the development, uptake and impact of Artificial Intelligence for Europe
  • AI4EU
    AI4EU is the European Union’s landmark Artificial Intelligence project, which seeks to develop a European AI ecosystem, bringing together the knowledge, algorithms, tools and resources available and making it a compelling solution for users. Involving 80 partners, covering 21 countries, the €20m project kicked off in January 2019 and will run for three years. AI4EU will unify Europe’s Artificial Intelligence community. It will facilitate collective work in AI research, innovation and business in Europe. By sharing AI expertise, knowledge and tools with the Platform, AI4EU will make AI available to all.
  • European Union Agency for Fundamental Rights - Artificial Intelligence, Big Data and Fundamental Rights
    This project assesses the positive and negative impact of artificial intelligence (AI) and big data when used in public administrations and business. The project identifies concrete examples of fundamental rights challenges arising from the use of algorithms for decision-making (i.e. machine learning and AI). It aims to establish fundamental rights guidelines and recommendations for using AI and big data in public administrations and business.
  • High-Level Expert Group on Artificial Intelligence (source: European Commission)
    Following an open selection process, the Commission has appointed 52 experts to a new High-Level Expert Group on Artificial Intelligence, comprising representatives from academia, civil society, as well as industry. The High-Level Expert Group on Artificial Intelligence (AI HLEG) will have as a general objective to support the implementation of the European strategy on Artificial Intelligence. This will include the elaboration of recommendations on future-related policy development and on ethical, legal and societal issues related to AI, including socio-economic challenges.
  • The European AI Alliance (source: European Commission)
    The European AI Alliance is a forum engaged in a broad and open discussion of all aspects of Artificial Intelligence development and its impacts.

Buitenland

  • AI Auditing Framework – blog – ICO
    The UK Information Commissioner's Office is developing its approach to auditing and supervising AI applications. In this blog, we provide regular updates on how our thinking is developing in relation to specific AI risk areas. This is an ongoing Call for Input: please comment on our blog posts and share your insights and views. A formal consultation will be published towards the end of 2019.
  • AI Now Institute, New York University
    The AI Now Institute at New York University is an interdisciplinary research centre dedicated to understanding the social implications of artificial intelligence.
  • CodeX – The Stanford Center for Legal Informatics
    At CodeX, researchers, lawyers, entrepreneurs and technologists work side-by-side to advance the frontier of legal technology, bringing new levels of legal efficiency, transparency, and access to legal systems around the world. CodeX‘s emphasis is on the research and development of computational law – the branch of legal informatics concerned with the automation and mechanization of legal analysis. 
  • Ethics of Algorithms
    With its “Ethics of Algorithms” project, the Bertelsmann Stiftung is taking a close look at the consequences of algorithmic decision-making in society with the goal of ensuring that these systems are used to serve society. We aim to help inform and advance algorithmic systems that facilitate greater social inclusion. This involves committing to what is best for a society rather than what’s technically possible – so that machine-informed decisions can best serve humankind.
  • Humane AI – Human-centered Artificial Intelligence
    We are designing the principles for a new science that will make artificial intelligence based on European values and closer to Europeans. This new approach works toward AI systems that augment and empower all Humans by understanding us, our society and the world around us.
  • The Institute for Ethical AI & Machine Learning
    The Institute for Ethical AI & Machine Learning is a UK-based research centre that carries out highly-technical research into responsible machine learning systems. They are formed by cross functional teams of machine learning engineers, data scientists, industry experts, policy-makers and professors in STEM, Humanities and Social Sciences.

^ Back to top


Team
Jaap van Slooten
Partner Amsterdam +31 20 5460651
jaap.vanslooten@stibbe.com
Marko Jovović
Junior Associate Amsterdam marko.jovovic@stibbe.com
Helene Maks
Senior Professional Support Lawyer Amsterdam helene.maks@stibbe.com