Ein Jobinterview ohne menschliches Gegenüber? Das kommt vor. Schließlich werden Prozesse auf dem Arbeitsmarkt, wie Bewerbungen, zunehmend von KI und Algorithmen übernommen. Diese algorithmischen Systeme versprechen zwar Neutralität, produzieren aber nicht selten Diskriminierung und folglich Hürden für Stellensuchende.
Dabei sei schwer zu sagen, wie viele Unternehmen diese algorithmischen Systeme nutzen, aufgrund fehlender Transparenz. Oftmals wissen Bewerbende nicht, dass KI verwendet wird. Das erzählt Moira Daviet, Mitarbeiterin der Nichtregierungsorganisation AlgorithmWatch.
Frau Daviet, Sie beschäftigen sich mit Diskriminierung auf dem Arbeitsmarkt, wie sieht das konkret aus?
Das FINDHR-Projekt, in dem ich tätig bin, beschäftigt sich mit Diskriminierung durch sogenannte Applicant Tracking Systems. Das sind Systeme, die im Personalwesen für die Vorselektion und die Bewertung von Bewerbungen eingesetzt werden. Diese Systeme können diskriminierende Muster übernehmen, die in unserer Gesellschaft bereits bestehen und können sie zusätzlich verschärfen oder auch neue Formen der Diskriminierung schaffen. Etwa wenn Bewerbende aufgrund des Formats ihres Lebenslaufes aussortiert werden.
Sie berichten, dass vor allem Menschen, die ohnehin im Alltag von Diskriminierung betroffen sind, diese auch durch Algorithmen erleben. Was sind Beispiele und wie passiert das?
Algorithmische Systeme werden grundsätzlich von Menschen entwickelt und angewendet. Menschen wiederum sind von den gesellschaftlichen Strukturen geprägt, in denen sie leben und Diskriminierung ist leider noch immer ein sehr großes Problem in unserer Gesellschaft. Das bedeutet, dass diese diskriminierenden Strukturen in den Algorithmen übernommen werden. Oftmals werden diese Systeme mit historischen Daten trainiert, die wiederum gesellschaftliche Ungleichheiten widerspiegeln. Zum Beispiel, wenn in einem Unternehmen über längere Zeit hinweg vornehmlich Führungspositionen mit Männern besetzt wurden, besteht die Gefahr, dass algorithmische Systeme diese Ungleichheit übernehmen und Bewerberinnen im Auswahlprozess per se als weniger geeignet einstufen.
Ein bekanntes Beispiel dafür ist ein Bewerbungssystem, das Amazon entwickelt hat. Das System wurde nicht veröffentlicht, weil es Frauen systematisch benachteiligte. Einige Stellensuchende haben uns berichtet, dass sie nach erfolglosen Bewerbungen die Schreibweise ihres Namens ändern, um „westlicher“ zu klingen oder Fotos bearbeiten, um älter oder jünger zu erscheinen.
Welche Prozesse, die mit dem Arbeitsmarkt zusammenhängen, werden mittlerweile von Algorithmen geregelt?
Im Bewerbungsprozess können auch die Interviewphasen automatisiert stattfinden. Das sind dann Videointerviews, bei denen es kein menschliches Gegenüber gibt oder das Interview mit einem Chatbot geführt wird. Die finale Entscheidung liegt noch meistens, zum Glück, bei den Menschen, den Arbeitgeberinnen und Arbeitgebern. Dann gibt es aber auch Systeme, die am Arbeitsplatz selbst eingesetzt werden. Etwa solche, die eine Performance von Mitarbeitern analysieren und Empfehlungen darüber abgeben, wer befördert werden soll und wer nicht. Da kann es sicherlich auch zu Diskriminierung kommen.
Es gibt auch Algorithmen, die Stellenanzeigen geschlechterstereotyp den Nutzer*innen anzeigen.
Ja genau, algorithmische Systeme kommen nicht nur in der Vorauswahl von Bewerbungen zum Einsatz. Bereits bei der Veröffentlichung von Stellenanzeigen auf Jobportalen bestimmen Algorithmen, wem die Stellenausschreibung angezeigt wird. Ein Experiment von AlgorithmWatch hat gezeigt, dass Facebook eine Zeit lang Jobs nach klaren Geschlechterstereotypen angezeigt hat. So wurde zum Beispiel ein Inserat für Lastwagenfahrer zu einem sehr großen Teil nur Männern und andersherum ein Inserat für Kleinkindererzieher nur Frauen angezeigt. Vielen ist gar nicht bewusst, dass Diskriminierung bereits hier beginnen kann. Im Grunde werden auch alle Personen ausgeschlossen, die wenig digitale Skills oder keinen Zugang zum Internet haben, wenn Anzeigen nur online geschaltet werden.
Immer mehr Bewerber*innen nutzen KI, um Bewerbungen zu schreiben. Werden diese Bewerbungen von der KI des Unternehmens bevorzugt?
Das lässt sich nicht pauschal beantworten. Aber es macht einen Unterschied, ob man sich für einen Menschen oder ein System bewirbt. Beispielsweise sind Design-Aspekte, wie Icons, Farben oder Linien für das menschliche Auge attraktiv, aber für den Algorithmus schwierig zu lesen. Es ist auch schon vorgekommen, dass eigentlich sehr qualifizierte Leute aussortiert wurden, weil sie ihre Bewerbung nicht im PDF-Format eingereicht haben. Um sich erfolgreich für den Algorithmus zu bewerben, sollte man tabellarisch mit einer gut lesbaren Schrift arbeiten und immer Keywords verwenden, wie sie auch in der Stellenausschreibung stehen.
Wie werden Lebensläufe von Algorithmen bewertet, die viele berufliche Richtungswechsel oder Brüche vorweisen?
Auch das lässt sich nicht allgemein sagen, da es sehr viele unterschiedliche Systeme und Anwendungen gibt. Es kommt vor, dass Algorithmen, ähnlich wie Menschen, aus bestimmten Informationen Rückschlüsse auf Merkmale ziehen, die eigentlich so nicht in der Bewerbung auftauchen. Man spricht hier von sogenannter Proxy-Diskriminierung. Dabei dienen indirekte Hinweise, sogenannte Proxys, als Stellvertreter für sensible demografische Merkmale. So können Sprachkenntnisse, Berufserfahrung oder der Bildungsweg, Rückschlüsse auf ethnische Herkunft, Alter oder Geschlecht zulassen. Weil diese Form der Diskriminierung indirekt und versteckt erfolgt, ist sie besonders schwer zu erkennen.
AlgorithmWatch bietet die Möglichkeit, erlebte Diskriminierung auf der Website zu melden. Wie läuft das ab?
AlgorithmWatch bietet eine erste Anlaufstelle für algorithmische Diskriminierung an und ordnet ein, was hinter dem Phänomen steckt. Die Fälle, die wir für plausibel halten, werden von unserem Investigationsteam geprüft und Nachforschungen erstellt – eben, wenn wir Hinweise dazu erhalten, dass der Einsatz von KI‑Systemen zu ungerechten Effekten führt. Wir sind aber keine offizielle Beratungsstelle und können auch keine juristischen Einschätzungen geben. Da verweisen wir an Gleichbehandlungs- und Beratungsstellen. Es ist oft schwierig, genügend Informationen zu erhalten, um festzustellen, ob die verwendeten Algorithmen zu Diskriminierungen führen. Das verdeutlicht aber, dass Entscheidungen, die von Algorithmen getroffen werden, transparenter und nachvollziehbar sein sollten.
Was bräuchte es, um die Diskriminierung am Arbeitsmarkt durch KI zu überwinden? Reicht ein Bewusstsein allein aus?
Nein, es braucht auf jeden Fall Handlungsbedarf, und zwar auf ganz unterschiedlichen Ebenen. Software-Entwickler sollten die Entscheidungslogik dieser Systeme für die Nutzenden nachvollziehbar und transparent machen. Es soll erkennbar sein, aufgrund welcher Kriterien oder Daten welche Empfehlungen gegeben werden. Für Bewerbende wiederum muss gekennzeichnet werden, dass überhaupt KI eingesetzt wird und welche Daten dafür verwendet werden. Dann ist es auf Personalebene wichtig, die Teams für algorithmische Diskriminierungen zu sensibilisieren und sich als Erstes zu fragen, löst dieses System wirklich das Problem, das wir zu lösen suchen?
Involvierte Systeme und Bewerbungsprozesse sollten intern und extern kritisch auf potenzielle Diskriminierung geprüft werden. Politische Entscheidungsträger und -trägerinnen können Arbeitnehmende besser vor algorithmischer Diskriminierung schützen, indem sie rechtliche und politische Rahmenbedingungen stärken. Zum Beispiel durch Beschwerdemechanismen für Diskriminierung auf nationaler und auf EU-Ebene. Außerdem könnten Unternehmen zu regelmäßigen unabhängigen Prüfungen ihrer Systeme auf Diskriminierung verpflichtet werden.
Was sind Herausforderungen, auf die Sie mit Ihrer Arbeit stoßen?
Grundsätzlich wird algorithmischen Systemen immer noch mehr Objektivität zugesprochen, als sie eigentlich haben. Das ist auf jeden Fall ein Problem. Algorithmische Diskriminierung wiederum ist enorm schwer greifbar und schwer beweisbar, weil diese Systeme sehr intransparent sind und verwendet werden. Oftmals wird gar nicht kommuniziert, wenn eines angewendet wird. Deshalb gibt es auch wenig bekannte Beispiele, um die Problematik zu illustrieren. In Bezug auf die Stellensuche hat eine Umfrage von FINDHR gezeigt, dass sich viele Menschen ohnmächtig und frustriert fühlen, weil eben der Einsatz von algorithmischen Systemen in Bewerbungsprozessen kaum offengelegt wird. Bewerbende wissen daher selten, ob ihre Unterlagen zunächst von einem System oder von einem Menschen geprüft werden.
Wie schätzen Sie die Zukunft von Algorithmen konkret für den Arbeitsmarkt ein?
Es werden wohl nicht weniger werden. Umso wichtiger ist es, das Bewusstsein für algorithmische Diskriminierung zu schärfen und für die potentiellen Risiken solcher Systeme, zu sensibilisieren. Außerdem müssen die rechtliche Grundlage geschärft und Rechtsmittel geschaffen werden, damit Diskriminierungen, sei es durch Menschen oder durch Algorithmen, erfolgreich entgegengewirkt werden kann. Und an diesen Richtlinien mangelt es derzeit noch.
Placeholder image-1
AlgorithmWatch ist eine NGO mit Sitz in Berlin und Zürich, die über Risiken von Algorithmen aufklärt und sich, nach eigenen Angaben, für die Stärkung von Demokratie, Gerechtigkeit und Nachhaltigkeit durch Algorithmen einsetzt. Sie wird hauptsächlich über Spendenbeiträge finanziert. Moira Daviet ist als Reseacherin in dem Projekt „FINDHR“ (Fairness and Intersectional Non-Discrimination in Human Recommendation) tätig, das sich mit algorithmischer Diskriminierung auf dem Arbeitsmarkt befasst.
Das FINDHR-Projekt, in dem ich tätig bin, beschäftigt sich mit Diskriminierung durch sogenannte Applicant Tracking Systems. Das sind Systeme, die im Personalwesen für die Vorselektion und die Bewertung von Bewerbungen eingesetzt werden. Diese Systeme können diskriminierende Muster übernehmen, die in unserer Gesellschaft bereits bestehen und können sie zusätzlich verschärfen oder auch neue Formen der Diskriminierung schaffen. Etwa wenn Bewerbende aufgrund des Formats ihres Lebenslaufes aussortiert werden.Sie berichten, dass vor allem Menschen, die ohnehin im Alltag von Diskriminierung betroffen sind, diese auch durch Algorithmen erleben. Was sind Beispiele und wie passiert das?Algorithmische Systeme werden grundsätzlich von Menschen entwickelt und angewendet. Menschen wiederum sind von den gesellschaftlichen Strukturen geprägt, in denen sie leben und Diskriminierung ist leider noch immer ein sehr großes Problem in unserer Gesellschaft. Das bedeutet, dass diese diskriminierenden Strukturen in den Algorithmen übernommen werden. Oftmals werden diese Systeme mit historischen Daten trainiert, die wiederum gesellschaftliche Ungleichheiten widerspiegeln. Zum Beispiel, wenn in einem Unternehmen über längere Zeit hinweg vornehmlich Führungspositionen mit Männern besetzt wurden, besteht die Gefahr, dass algorithmische Systeme diese Ungleichheit übernehmen und Bewerberinnen im Auswahlprozess per se als weniger geeignet einstufen.Ein bekanntes Beispiel dafür ist ein Bewerbungssystem, das Amazon entwickelt hat. Das System wurde nicht veröffentlicht, weil es Frauen systematisch benachteiligte. Einige Stellensuchende haben uns berichtet, dass sie nach erfolglosen Bewerbungen die Schreibweise ihres Namens ändern, um „westlicher“ zu klingen oder Fotos bearbeiten, um älter oder jünger zu erscheinen. Welche Prozesse, die mit dem Arbeitsmarkt zusammenhängen, werden mittlerweile von Algorithmen geregelt?Im Bewerbungsprozess können auch die Interviewphasen automatisiert stattfinden. Das sind dann Videointerviews, bei denen es kein menschliches Gegenüber gibt oder das Interview mit einem Chatbot geführt wird. Die finale Entscheidung liegt noch meistens, zum Glück, bei den Menschen, den Arbeitgeberinnen und Arbeitgebern. Dann gibt es aber auch Systeme, die am Arbeitsplatz selbst eingesetzt werden. Etwa solche, die eine Performance von Mitarbeitern analysieren und Empfehlungen darüber abgeben, wer befördert werden soll und wer nicht. Da kann es sicherlich auch zu Diskriminierung kommen. Es gibt auch Algorithmen, die Stellenanzeigen geschlechterstereotyp den Nutzer*innen anzeigen.Ja genau, algorithmische Systeme kommen nicht nur in der Vorauswahl von Bewerbungen zum Einsatz. Bereits bei der Veröffentlichung von Stellenanzeigen auf Jobportalen bestimmen Algorithmen, wem die Stellenausschreibung angezeigt wird. Ein Experiment von AlgorithmWatch hat gezeigt, dass Facebook eine Zeit lang Jobs nach klaren Geschlechterstereotypen angezeigt hat. So wurde zum Beispiel ein Inserat für Lastwagenfahrer zu einem sehr großen Teil nur Männern und andersherum ein Inserat für Kleinkindererzieher nur Frauen angezeigt. Vielen ist gar nicht bewusst, dass Diskriminierung bereits hier beginnen kann. Im Grunde werden auch alle Personen ausgeschlossen, die wenig digitale Skills oder keinen Zugang zum Internet haben, wenn Anzeigen nur online geschaltet werden.Immer mehr Bewerber*innen nutzen KI, um Bewerbungen zu schreiben. Werden diese Bewerbungen von der KI des Unternehmens bevorzugt?Das lässt sich nicht pauschal beantworten. Aber es macht einen Unterschied, ob man sich für einen Menschen oder ein System bewirbt. Beispielsweise sind Design-Aspekte, wie Icons, Farben oder Linien für das menschliche Auge attraktiv, aber für den Algorithmus schwierig zu lesen. Es ist auch schon vorgekommen, dass eigentlich sehr qualifizierte Leute aussortiert wurden, weil sie ihre Bewerbung nicht im PDF-Format eingereicht haben. Um sich erfolgreich für den Algorithmus zu bewerben, sollte man tabellarisch mit einer gut lesbaren Schrift arbeiten und immer Keywords verwenden, wie sie auch in der Stellenausschreibung stehen.Wie werden Lebensläufe von Algorithmen bewertet, die viele berufliche Richtungswechsel oder Brüche vorweisen?Auch das lässt sich nicht allgemein sagen, da es sehr viele unterschiedliche Systeme und Anwendungen gibt. Es kommt vor, dass Algorithmen, ähnlich wie Menschen, aus bestimmten Informationen Rückschlüsse auf Merkmale ziehen, die eigentlich so nicht in der Bewerbung auftauchen. Man spricht hier von sogenannter Proxy-Diskriminierung. Dabei dienen indirekte Hinweise, sogenannte Proxys, als Stellvertreter für sensible demografische Merkmale. So können Sprachkenntnisse, Berufserfahrung oder der Bildungsweg, Rückschlüsse auf ethnische Herkunft, Alter oder Geschlecht zulassen. Weil diese Form der Diskriminierung indirekt und versteckt erfolgt, ist sie besonders schwer zu erkennen.AlgorithmWatch bietet die Möglichkeit, erlebte Diskriminierung auf der Website zu melden. Wie läuft das ab?AlgorithmWatch bietet eine erste Anlaufstelle für algorithmische Diskriminierung an und ordnet ein, was hinter dem Phänomen steckt. Die Fälle, die wir für plausibel halten, werden von unserem Investigationsteam geprüft und Nachforschungen erstellt – eben, wenn wir Hinweise dazu erhalten, dass der Einsatz von KI‑Systemen zu ungerechten Effekten führt. Wir sind aber keine offizielle Beratungsstelle und können auch keine juristischen Einschätzungen geben. Da verweisen wir an Gleichbehandlungs- und Beratungsstellen. Es ist oft schwierig, genügend Informationen zu erhalten, um festzustellen, ob die verwendeten Algorithmen zu Diskriminierungen führen. Das verdeutlicht aber, dass Entscheidungen, die von Algorithmen getroffen werden, transparenter und nachvollziehbar sein sollten.Was bräuchte es, um die Diskriminierung am Arbeitsmarkt durch KI zu überwinden? Reicht ein Bewusstsein allein aus?Nein, es braucht auf jeden Fall Handlungsbedarf, und zwar auf ganz unterschiedlichen Ebenen. Software-Entwickler sollten die Entscheidungslogik dieser Systeme für die Nutzenden nachvollziehbar und transparent machen. Es soll erkennbar sein, aufgrund welcher Kriterien oder Daten welche Empfehlungen gegeben werden. Für Bewerbende wiederum muss gekennzeichnet werden, dass überhaupt KI eingesetzt wird und welche Daten dafür verwendet werden. Dann ist es auf Personalebene wichtig, die Teams für algorithmische Diskriminierungen zu sensibilisieren und sich als Erstes zu fragen, löst dieses System wirklich das Problem, das wir zu lösen suchen?Involvierte Systeme und Bewerbungsprozesse sollten intern und extern kritisch auf potenzielle Diskriminierung geprüft werden. Politische Entscheidungsträger und -trägerinnen können Arbeitnehmende besser vor algorithmischer Diskriminierung schützen, indem sie rechtliche und politische Rahmenbedingungen stärken. Zum Beispiel durch Beschwerdemechanismen für Diskriminierung auf nationaler und auf EU-Ebene. Außerdem könnten Unternehmen zu regelmäßigen unabhängigen Prüfungen ihrer Systeme auf Diskriminierung verpflichtet werden.Was sind Herausforderungen, auf die Sie mit Ihrer Arbeit stoßen?Grundsätzlich wird algorithmischen Systemen immer noch mehr Objektivität zugesprochen, als sie eigentlich haben. Das ist auf jeden Fall ein Problem. Algorithmische Diskriminierung wiederum ist enorm schwer greifbar und schwer beweisbar, weil diese Systeme sehr intransparent sind und verwendet werden. Oftmals wird gar nicht kommuniziert, wenn eines angewendet wird. Deshalb gibt es auch wenig bekannte Beispiele, um die Problematik zu illustrieren. In Bezug auf die Stellensuche hat eine Umfrage von FINDHR gezeigt, dass sich viele Menschen ohnmächtig und frustriert fühlen, weil eben der Einsatz von algorithmischen Systemen in Bewerbungsprozessen kaum offengelegt wird. Bewerbende wissen daher selten, ob ihre Unterlagen zunächst von einem System oder von einem Menschen geprüft werden.Wie schätzen Sie die Zukunft von Algorithmen konkret für den Arbeitsmarkt ein?Es werden wohl nicht weniger werden. Umso wichtiger ist es, das Bewusstsein für algorithmische Diskriminierung zu schärfen und für die potentiellen Risiken solcher Systeme, zu sensibilisieren. Außerdem müssen die rechtliche Grundlage geschärft und Rechtsmittel geschaffen werden, damit Diskriminierungen, sei es durch Menschen oder durch Algorithmen, erfolgreich entgegengewirkt werden kann. Und an diesen Richtlinien mangelt es derzeit noch.