Künstliche Intelligenz (KI) wird immer mehr in verschiedenen Unternehmensbereichen eingesetzt – von der Personalrekrutierung bis hin zu strategischen Entscheidungsprozessen. Während diese Technologien das Potenzial haben, Effizienz, Objektivität und Genauigkeit zu verbessern, birgt ihre Anwendung auch das Risiko von Bias (Verzerrungen), die zu diskriminierenden Entscheidungen führen können.
Wir beleuchten die Gefahren, rechtliche Rahmenbedingungen und Methoden zur Verhinderung von Bias in KI-Systemen.
Das Problem von Bias in KI-Systemen
Bias in KI ist ein Phänomen, das auftritt, wenn KI-Systeme systematisch verzerrte Ergebnisse liefern, die bestimmte Gruppen oder Individuen ungerecht bevorzugen oder benachteiligen. Diese Verzerrungen können sich auf vielfältige Weise manifestieren, von der Benachteiligung bestimmter Bevölkerungsgruppen bei der Jobsuche bis hin zur ungerechten Behandlung in rechtlichen oder medizinischen Anwendungen.
Die Ursachen und Risiken von Bias in KI-Systemen sind vielschichtig und tief in den technischen Aspekten der KI-Entwicklung verankert.
Ursachen von Bias in KI-Systemen
Vorurteile in den Trainingsdaten
Viele KI-Systeme lernen aus historischen Daten, die menschliche Entscheidungen, Verhaltensweisen und Bewertungen widerspiegeln. Wenn diese Daten Vorurteile gegenüber bestimmten Gruppen oder Individuen enthalten, lernt die KI diese Vorurteile und repliziert diese in ihren Entscheidungen.
Auswahl der Modellierungsansätze
Die Entscheidungen, die Entwickler bei der Auswahl von Algorithmen und Modellierungsansätzen treffen, können ebenfalls Bias in KI einführen. Bestimmte Modelle können Muster in den Daten überbetonen oder unterbewerten, was zu verzerrten Vorhersagen führt. Die Komplexität des Modells und die Art, wie es mit Unklarheiten oder abweichenden Daten umgeht, spielen dabei eine entscheidende Rolle.
Subjektive Entscheidungen bei der Gestaltung der Algorithmen
Die subjektiven Entscheidungen, die in den Entwicklungsprozess einfließen, wie die Definition von Erfolg in einem bestimmten Kontext oder die Auswahl der Merkmale, die in ein Modell einbezogen werden sollen, können die Ergebnisse erheblich beeinflussen und zu verzerrten Ausgängen führen.
Prinzip Garbage in – Garbage out
Das GIGO-Prinzip (Garbage in – Garbage out) ist in der Informatik und Datenwissenschaft gut bekannt und beschreibt das Phänomen, dass die Qualität der Ausgabedaten direkt von der Qualität der Eingabedaten abhängt. Wenn die Eingabedaten demnach fehlerhaft, unvollständig oder verzerrt sind, werden die von der KI generierten Ergebnisse ebenfalls fehlerhaft oder verzerrt sein.
Im Kontext der KI-Entwicklung reflektiert der GIGO-Effekt die Tatsache, dass Algorithmen und Modelle des maschinellen Lernens inhärent nur so gut sein können wie die Daten, mit denen sie trainiert werden. Wenn diese Trainingsdaten systematische Verzerrungen gegenüber bestimmten Gruppen oder Szenarien aufweisen, werden die Algorithmen diese Verzerrungen nicht nur lernen, sondern auch in ihren Ausgabeprozessen verfestigen und verstärken.
Neben allgemeinen Qualitätsfragen unterstreicht das GIGO-Prinzip die ethischen und technischen Herausforderungen, die mit der Entwicklung und Implementierung von KI-Systemen einhergehen. Es wirft Fragen bezüglich der Verantwortlichkeit für die Qualität der Daten, für die Fairness der Algorithmen und für die Transparenz der Entscheidungsfindungsprozesse auf.
Unternehmen müssen daher nicht nur technische Lösungen zur Verbesserung der Datenqualität und zur Reduzierung von Verzerrungen entwickeln, sondern auch ethische Rahmenbedingungen schaffen, die die Verantwortung für die Auswirkungen von KI-Systemen adressieren.
Beispiele für KI-Bias und deren Behandlung
Amazon ist ein prominentes Beispiel dafür, wie Bias in der künstlichen Intelligenz zu unerwünschten Ergebnissen führen kann. Amazon entwickelte eine KI mit dem Ziel, den Bewerbungsprozess zu optimieren, indem die KI Bewerbungen vorsortieren und die besten Kandidaten herausfiltern sollte. Das System wurde mit historischen Bewerbungsdaten trainiert, die jedoch eine überwiegend männliche Bewerberbasis widerspiegelten. Als Ergebnis bevorzugte die KI systematisch Bewerbungen von Männern. Selbst indirekte Hinweise auf das Geschlecht, wie Mitgliedschaften in Frauenvereinen, führten zur Herunterstufung der Bewerbung.
Dieses Phänomen entstand nicht aus einer beabsichtigten Diskriminierung durch die KI bzw. deren Entwickler, sondern reflektierte die Ungleichheiten in den Trainingsdaten. Amazon erkannte dieses Problem und versuchte, den Bias zu korrigieren, entschied sich jedoch letztendlich gegen den Einsatz der KI für Einstellungsentscheidungen. Dies verdeutlicht die Herausforderung, Bias effektiv zu bekämpfen und KI-Systeme derart zu gestalten, dass sie gerechte Entscheidungen treffen und den rechtlichen Anforderungen entsprechen.
Doch auch bei der Anwendung generativer KI kann sich das Problem von Bias zeigen. Die meisten generativen KI-Modelle werden mit umfangreichen Datensätzen trainiert, die aus dem Internet oder anderen Quellen gesammelt wurden. Diese Datensätze enthalten häufig inhärente Bias, die durch historische Ungleichheiten, soziale Normen und kulturelle Stereotypen geprägt sind. Beispielsweise kann ein Modell, das auf Bildern von Führungskräften trainiert wurde, die überwiegend männlich sind, dazu neigen, bei der Generierung neuer Bilder von Führungskräften ebenfalls Männer zu bevorzugen.
Risiken von Bias in KI-Systemen
Die Risiken, die von Bias in KI-Systemen ausgehen, sind weitreichend und können ernsthafte Konsequenzen für Unternehmen haben. KI-Systeme, die auf verzerrten Daten trainiert werden, können existierende soziale und wirtschaftliche Ungleichheiten verstärken, indem sie diskriminierende Praktiken in Bereichen wie Einstellungsverfahren oder Mitarbeiterbewertungen, verfestigen. KI kann aber auch zu neuen und unerkannten Formen der Diskriminierung führen, indem sie Muster in Daten nutzt, die auf den ersten Blick neutral erscheinen, aber tatsächlich mit gesellschaftlich relevanten Merkmalen korrelieren, was zu folgenden Auswirkungen führen kann:
Reputationsverlust
Unternehmen, die KI-Systeme einsetzen, die sich als voreingenommen erweisen, können einen erheblichen Reputationsverlust erleiden. Wenn Konsumenten, Mitarbeiter oder die breite Öffentlichkeit erfahren, dass ein Unternehmen Technologien nutzt, die diskriminierende Entscheidungen treffen oder bestimmte Gruppen unfair behandeln, kann dies zu einem Vertrauensverlust führen. Dies kann Kunden dazu veranlassen, sich von der Marke abzuwenden und ihre Geschäfte anderswo zu tätigen.
Rechtliche und wirtschaftliche Konsequenzen
Gesetze und Vorschriften zum Schutz vor Diskriminierung und zur Gewährleistung der Gleichbehandlung werden immer strenger. Unternehmen, deren KI-Systeme Bias aufweisen, können gegen diese Gesetze verstoßen und sich erheblichen Strafen, Bußgeldern oder rechtlichen Auseinandersetzungen aussetzen. Folgende (nationale) Rechtsakte enthalten dazu regulatorische Vorgaben:
Allgemeines Gleichbehandlungsgesetz (AGG)
Voreingenommenheit in KI-Systemen entsteht oft unbeabsichtigt, kann aber dennoch zu Entscheidungen führen, die bestimmte Personengruppen aufgrund von Rasse, Geschlecht, Religion, Behinderung, Alter oder sexueller Identität diskriminieren. Solche Diskriminierungen stehen im direkten Widerspruch zum Allgemeinen Gleichbehandlungsgesetz (AGG) in Deutschland, das Diskriminierung in diesen Bereichen explizit verbietet.
Das AGG zielt darauf ab, Gleichbehandlung zu gewährleisten und Diskriminierung in verschiedenen Lebensbereichen, einschließlich der Arbeitswelt und beim Zugang zu Gütern und Dienstleistungen, zu verhindern. Wenn ein KI-System, das von einem Unternehmen eingesetzt wird, Entscheidungen trifft, die zu einer solchen Diskriminierung führen, kann dies als Verstoß gegen das AGG gewertet werden, selbst wenn die Diskriminierung nicht absichtlich herbeigeführt wurde.
Im Falle eines nachgewiesenen Verstoßes gegen das AGG können Unternehmen zu Schadensersatzzahlungen verpflichtet werden. Die Höhe des Schadensersatzes kann je nach Schwere des Verstoßes erheblich sein.
Datenschutz-Grundverordnung (DSGVO)
Beim Einsatz von KI für automatisierte Entscheidungen müssen neben dem AGG insbesondere auch die Anforderungen des Art. 22 DSGVO berücksichtigt werden. Dieser legt fest, dass Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen und bedeutende Auswirkungen haben, grundsätzlich nur mit ausdrücklicher Einwilligung der betroffenen Person, zur Erfüllung eines Vertrags oder aufgrund einer rechtlichen Verpflichtung zulässig sind. Zudem müssen angemessene Maßnahmen getroffen werden, um die Rechte und Freiheiten sowie die berechtigten Interessen der betroffenen Person zu wahren. Dies schließt insbesondere das Recht auf Erhalt einer menschlichen Intervention, auf Darlegung des eigenen Standpunkts sowie auf Anfechtung der Entscheidung ein.
Durch diese Bestimmungen wirkt Art. 22 DSGVO auch dem Entstehen von Bias entgegen, indem er ein menschliches Korrektiv in den automatisierten Entscheidungsprozess einführt. So soll sichergestellt werden, dass automatisierte bzw. KI-basierte Entscheidungen nochmal auf Fairness und Rechtskonformität kontrolliert werden.
Verstöße gegen Art. 22 DSGVO können zu hohen Bußgeldern und Schadensersatzforderungen für Unternehmen führen.
AI Act (KI-Verordnung)
Die europäische KI-Verordnung (AI Act) stellt einen entscheidenden Schritt dar, um die Risiken von Bias in KI-Systemen rechtlich zu adressieren. Sie verbietet zwar nicht explizit Bias, setzt jedoch strikte Richtlinien für KI-Systeme, besonders bei sogenannten Hochrisiko-KI-Systemen, um Diskriminierung zu vermeiden und Fairness sowie Transparenz zu fördern. Dies schließt Risikobewertungen, detaillierte Dokumentation und hohe Datenqualitätsstandards ein.
Die KI-Verordnung bietet mit Art. 10 Abs. 5 auch spezifische Richtlinien zur Bias-Minimierung. Die Verordnung erlaubt nämlich unter gewissen Umständen die Verarbeitung besonderer Kategorien personenbezogener Daten, sofern diese zur Identifikation, Überwachung und Korrektur von Verzerrungen in Hochrisiko-KI-Systemen unbedingt erforderlich sind. Diese Vorschrift reflektiert ein tiefgreifendes Verständnis für die Notwendigkeit, sensible Daten als Instrument zur Gewährleistung einer diskriminierungsfreien Funktionsweise von KI-Systemen heranzuziehen.
Die Regelung schafft somit eine neue Rechtsgrundlage, die es ermöglicht, unter Einhaltung höchster Sicherheitsstandards, solche besonderen Kategorien personenbezogener Daten in den Prozess der Bias-Korrektur einzubeziehen.
Die Auslegung des Begriffs „erforderlich“ hängt von den konkreten Umständen des Einzelfalls ab und ist stark kontextabhängig. Verschiedene Faktoren wie der spezifische Anwendungsbereich der KI, die Art der verarbeiteten Daten und die potenziellen Risiken der Verzerrung spielen eine Rolle bei der Beurteilung der Erforderlichkeit. Angesichts der Komplexität und der potenziellen rechtlichen Konsequenzen ist eine Einzelfallbetrachtung unerlässlich.
Angesichts dieser Rahmenbedingungen setzt der AI Act signifikante Anreize für Unternehmen, durch drohende Bußgelder von bis zu 6 % des weltweiten Jahresumsatzes, die Compliance ihrer KI-Systeme ernst zu nehmen und proaktiv umzusetzen.
Praktische Ansätze zur Minimierung von Bias bei KI
Die Einführung von Strategien zur Bias-Minimierung im Unternehmen ist demnach unerlässlich und erfordert einen multidisziplinären Ansatz, der technische, ethische und rechtliche Perspektiven umfasst. Hierbei ist es wichtig zu erkennen, dass die Herausforderung darin besteht, Bias zu minimieren, ohne dabei historische und faktische Realitäten zu verändern oder zu verfälschen. Der Vorfall mit Googles KI Gemini im Februar 2024 illustriert die Komplexität dieses Unterfangens, da Versuche, Bias zu eliminieren, zu ungenauen und kontextfremden Darstellungen führen können. Um Bias effektiv zu minimieren, ist ein ausgewogener Ansatz wichtig, der Diversität fördert, gleichzeitig aber Genauigkeit und Authentizität wahrt:
Qualitative und diversifizierte Datensätze
Um Verzerrungen effektiv zu minimieren, sollten die Datensätze, die zum Trainieren von KI-Modellen verwendet werden, vielfältig und repräsentativ für die gesamte Zielbevölkerung sein. Dies beinhaltet eine sorgfältige Überprüfung und gegebenenfalls Anreicherung der Datensätze, um Minderheiten und unterrepräsentierte Gruppen angemessen einzubeziehen.
Daher ist es für Organisationen ratsam, auf Datenquellen zurückzugreifen, die sorgfältig überprüft und validiert wurden. Es existieren zahlreiche, von der Europäischen Union (EU) geförderte Datenbanken, die einen Zugang zu umfangreichen und qualitativ hochwertigen Datensätzen in allen europäischen Sprachen bieten. Diese Sammlungen umfassen Tausende Terabytes an Informationen und stellen somit eine wertvolle Ressource für das Training von KI-Modellen dar.
Transparente Algorithmen
Die Offenlegung der Funktionsweise von KI-Algorithmen kann dazu beitragen, potenzielle Bias-Quellen zu identifizieren und zu adressieren. Stellen Sie Informationen über die Daten, Methoden und Entscheidungslogik der Algorithmen zur Verfügung und nutzen Sie Techniken wie LIME (Local Interpretable Model-Agnostic Explanations) oder SHAP (SHapley Additive exPlanations), um nachzuvollziehen, welche Faktoren die Entscheidungen der KI beeinflussen.
- LIME ermöglicht es, durch die Erstellung vereinfachter Modelle, die lokal um die Vorhersage herum arbeiten, zu erklären, welche Merkmale in den Eingabedaten wesentlich zu den Entscheidungen eines komplexen KI-Modells beitragen.
- SHAP hingegen nutzt die Spieltheorie, um den Einfluss jedes Merkmals auf die Vorhersage zu quantifizieren, indem es den Beitrag jedes Merkmals zur Vorhersage des Modells auf eine faire und konsistente Weise zuweist.
Eine vollständige Offenlegung der Funktionsweise von KI-Systemen ist aufgrund ihrer Black-Box-Natur oft nicht möglich. Dennoch ist es wichtig, ein Grundverständnis ihrer Arbeitsweise zu vermitteln. Eine partielle Transparenz, die die grundlegenden Prinzipien und Entscheidungsprozesse der KI erläutert, kann bereits hilfreich sein.
Ethische Richtlinien und Standards
Die Entwicklung und Implementierung von KI erfordern eine sorgfältige Berücksichtigung ethischer Prinzipien, um sicherzustellen, dass diese Technologien dem Wohl der Gesellschaft dienen und individuelle Rechte respektieren. In diesem Kontext spielen ethische Richtlinien und Standards eine zentrale Rolle. Sie dienen als normative Grundlage, um Fairness, Transparenz und Verantwortlichkeit in den Lebenszyklus von KI-Systemen zu integrieren.
Internationale und nationale Standards bieten einen Rahmen, innerhalb dessen Entwickler, Betreiber und Regulierungsbehörden KI-Systeme gestalten und evaluieren können. Sie reflektieren einen Konsens über bewährte Verfahren und ethische Normen, die bei der Gestaltung und Nutzung von KI zu berücksichtigen sind. Dazu gehören beispielsweise die Richtlinien der OECD zu KI, die ethischen Leitlinien der Europäischen Kommission für vertrauenswürdige KI oder spezifische nationale Leitfäden und Standards, die den rechtlichen und kulturellen Kontext eines Landes widerspiegeln.
Kontinuierliche Überwachung und Anpassung
KI-Systeme sollten regelmäßig auf Bias und diskriminierende Auswirkungen hin überprüft werden. Dies erfordert kontinuierliche Anpassungen und Updates der Algorithmen, um sicherzustellen, dass sie im Laufe der Zeit fair bleiben.
Externe Audits
Neben einer kontinuierlichen internen Überwachung ist auch die Implementierung externer Audits durch unabhängige Dritte wichtig, um eine objektive Bewertung der Fairness und Bias in KI-Systemen zu gewährleisten.
Interdisziplinäre Teams
Die Integration von Diversität in die Teams, die sich mit der Entwicklung und Implementierung von KI-Systemen befassen, ist von großer Bedeutung, um die Vielfalt der Perspektiven und Erfahrungen zu maximieren, die in den Entwicklungsprozess einfließen. Eine diverse Zusammensetzung dieser Teams trägt wesentlich dazu bei, ein breiteres Verständnis für die vielfältigen sozialen, kulturellen und ethischen Kontexte zu schaffen, in denen KI-Systeme eingesetzt werden.
Die Förderung von Diversität in Teams könnte durch entsprechende Rekrutierungsrichtlinien für Unternehmen unterstützt werden, um eine vielfältigere Zusammensetzung von Forschungs- und Entwicklungsteams zu fördern.
Fazit
Die Bekämpfung von Bias in KI stellt eine zentrale Herausforderung dar, die entscheidend für die Schaffung von KI-Systemen ist, die nicht nur leistungsfähig, sondern auch fair, transparent und vertrauenswürdig sind.
Eine effektive Anti-Bias-Strategie erfordert eine synergetische Verbindung aus technischen Innovationen, ethischen Prinzipien und soliden rechtlichen Richtlinien. Dieser integrierte Ansatz ermöglicht es Unternehmen, KI-Technologien voranzutreiben, die nicht nur den wirtschaftlichen Erfolg fördern, sondern auch gesellschaftliche Werte respektieren und für alle Adressaten von KI-Entscheidungen gerecht sind.
