Maschinelles Lernen kann zu Diskriminierungen anhand von völlig neuen Merkmalen führen. Diese Merkmale können uns außerdem nicht transparent sein. Um dies zu zeigen, werde ich argumentieren, dass Diskriminierung nicht nur anhand von Merkmalen in abschließenden Listen erfolgen kann, sondern grundsätzlich anhand beliebiger Merkmale, und dass Algorithmen trotz fehlender mentaler Eigenschaften diskriminierend sein können. Zudem werde ich die Probleme beschreiben, die damit einhergehen, dass diese neuen Formen der Diskriminierung nur schwer erkennbar sind, weil die eingesetzten Algorithmen intransparent sind. Hierbei sind drei Arten der Intransparenz zu unterschieden, die jeweils unterschiedliche Auswirkungen auf die Erkennbarkeit von Diskriminierungen haben:

(i) Merkmale, anhand derer ungleich behandelt wird, können unbekannt sein

(ii) Merkmale, anhand derer ungleich behandelt wird, können unverständlich sein (sie sind zu komplex oder „chaotisch“, um von Menschen sinnvoll erfasst werden zu können)

(iii) es können Erklärungen dafür fehlen, wie und weshalb bestimmte Merkmale für eine Ungleichbehandlung herangezogen werden

Gerade die Kombination aus Intransparenz und Diskriminierung anhand neuer Merkmale stellt eine besondere Herausforderung für die philosophische Debatte um Diskriminierung dar. Bisherige Ansätze beschränken sich darauf, verständliche Merkmale zu identifizieren oder zu erzeugen, die ihre Träger_innen unter expliziten Diskriminierungsschutz stellen. Damit geraten jedoch neue Diskriminierungen aus dem Blick, die in Zukunft erhebliche Auswirkungen haben können. Um intransparente Diskriminierungen aufzudecken, müssen unbekannte Merkmale identifiziert werden, unverständliche Merkmale hinreichend verständlich gemacht werden und Korrelationen und Trainingsverfahren erklärbar sein. Anschließend müssen die diskriminierenden Elemente des Algorithmus beseitigt werden können. Insofern keine angemessenen Lösungsstrategien vorliegen, muss darüber nachgedacht werden, für bestimmte Kontexte nur Formen des maschinellen Lernens zuzulassen, die sich hinreichend auf diskriminierende Konsequenzen untersuchen lassen.

Machine Learning can lead to discrimination based on new features that are intransparent. In order to show this, I will argue that discrimination cannot only occur based on features in exhaustive lists but on any feature and that algorithms can be discriminating in spite of a lack of mental attributes. I will show some problems that come with new forms of discrimination that are not easily detectable because of the intransparency of the algorithms. Three forms of intransparency that have different effects on the possibility to detect discriminations have to be distinguished:

(i) features of differential treatment can be unknown

(ii) features of differential treatment can be unimaginable (they are too complex or “chaotic” to be grasped by humans)

(iii) explanations for the use of certain features for differential treatment could lack Especially the combination of intransparency and new features of discrimination is challenging for the philosophical debate about discrimination. Previous solutions were restricted to identify or create imaginable features that are explicitly protected by anti-discrimination law. New forms of discrimination that could have considerable impact in the future are neglected. In order to identify intransparent discriminations unknown features have to be identified, unimaginable features have to be made sufficiently imaginable and correlations and training methods have to be explainable. Then it has to be possible to remove discriminating elements. Insofar no suitable solutions can be found, it must be considered whether we want to allow for specific contexts only those machine learning methods which can sufficiently be examined for discriminating consequences.