Künstliche Intelligenz (KI) kann große Datenmengen in kürzester Zeit analysieren – und wird deshalb immer häufiger als Unterstützung bei der Entscheidungsfindung eingesetzt. Problematisch kann dies werden bei automatisierten Entscheidungen, die rechtliche Wirkung auf Menschen entfalten, sowie bei Verzerrungen der Trainingsdaten.
Es stellt sich die Frage nach Transparenz, Fairness und rechtlicher Verantwortlichkeit bei solchen KI-Systemen.
Problem der automatisierten Entscheidungsfindung (durch KI)
In vielen Bereichen, wie der Kreditvergabe, dem Gesundheitswesen und sogar in rechtlichen Prozessen, wird KI zur Unterstützung einer Entscheidungsfindung eingesetzt. Systeme, die auf Machine Learning basieren, analysieren große Datenmengen, um Muster zu erkennen und Vorhersagen zu treffen. Diese können dann als Grundlage für wichtige Entscheidungen dienen, wie zum Beispiel die Bewertung der Kreditwürdigkeit eines Kunden oder die Diagnose einer Krankheit anhand medizinischer Bilddaten.
KI bietet den Vorteil, Entscheidungen schneller und effizienter zu treffen als es Menschen allein könnten. Diese Automatisierung führt jedoch auch zu potenziellen Problemen, insbesondere wenn Menschen von den Ergebnissen dieser automatisierten Prozesse direkt betroffen sind.
Ein prominentes Beispiel dafür ist die automatisierte Kreditscore-Berechnung durch die Schufa. Am 7. Dezember 2023 stellte der Europäische Gerichtshof (EuGH) klar, dass die automatisierte Berechnung eines Wahrscheinlichkeitswerts (Kreditscore) als automatisierte Entscheidungsfindung gemäß Art. 22 Abs. 1 DSGVO angesehen werden kann, wenn dieser Wert eine maßgebliche Grundlage für die Entscheidung eines Kreditinstituts über die Kreditvergabe darstellt (siehe die Besprechung des EuGH-Urteils zum Schufa-Scoring bei activeMind.legal Rechtsanwälte).
Art. 22 DSGVO legt fest, dass Personen grundsätzlich das Recht haben, keiner rein automatisierten Entscheidung unterworfen zu werden, die rechtliche oder anderweitig schwerwiegende Auswirkungen auf sie hat.
Das Urteil des EuGH wirft die Frage auf, inwiefern automatisierte Systeme wie das Scoring-Modell der Schufa weiterhin genutzt werden können, ohne gegen die DSGVO zu verstoßen. Da die Schufa in vielen Fällen maßgeblich zur Entscheidungsfindung von Banken, Telefonanbietern, Onlinehändlern und Vermietern beiträgt, stellt das Urteil möglicherweise eine Gefahr für das bisherige Geschäftsmodell der Schufa dar.
Wenn eine automatisierte Entscheidung ausnahmsweise doch rechtlich zulässig sein soll, muss dies für den Abschluss oder die Erfüllung eines Vertrages erforderlich sein, eine ausdrückliche Einwilligung der Betroffenen vorliegen oder eine europarechtskonforme Rechtsgrundlage im nationalen Recht vorliegen. Derzeit wird diskutiert, ob § 31 Bundesdatenschutzgesetz (BDSG), der die Verwendung von Wahrscheinlichkeitswerten regelt, mit der DSGVO vereinbar ist. Der EuGH äußerte erhebliche Zweifel daran, ob diese Norm die Anforderungen von Art. 22 Abs. 2 lit. b) DSGVO erfüllt.
Entscheidungsassistenz vs. automatisierte Entscheidungen
Ein wichtiger Unterschied muss an dieser Stelle zwischen vollautomatisierten Entscheidungen und sogenannten Entscheidungsassistenz-Systemen gemacht werden. Während vollautomatisierte Systeme eine Entscheidung ohne menschliches Eingreifen treffen, unterstützen Assistenzsysteme den Menschen dabei, eine Entscheidung zu fällen. Der Mensch hat in letzterem Fall immer noch die letzte Entscheidungshoheit und kann das Ergebnis des Systems überprüfen und gegebenenfalls korrigieren.
Der Unterschied ist rechtlich relevant, da das Verbot automatisierter Entscheidungen gemäß Art. 22 DSGVO nicht greift, wenn ein Mensch maßgeblich in den Entscheidungsprozess involviert ist. Das oben diskutierte Urteil des EuGH stellte jedoch klar, dass eine echte menschliche Beteiligung an der Entscheidung vorliegen muss. Es genügt nicht, dass ein Mensch lediglich die maschinell erzeugten Vorschläge bestätigt, ohne diese kritisch zu prüfen. Fehlt eine solche echte menschliche Entscheidungsfindung, könnte das System dennoch als automatisierte Entscheidung eingestuft werden.
Diese Möglichkeit zur Korrektur statistischer Wahrscheinlichkeiten (nichts anderes bilden (KI-gestützte) Entscheidungsassistenz-Systeme ab) ist in vielen Bereichen bereits etabliert.
Probleme von Bias und Diskriminierung
Ein weiteres zentrales Problem bei der Nutzung von KI in Entscheidungsprozessen sind sogenannte Bias oder Verzerrungen. KI-Systeme spiegeln häufig die Vorurteile oder Verzerrungen wider, die in den für das Training von Algorithmen verwendeten Trainingsdaten vorhanden sind. Dies kann dazu führen, dass bestimmte Gruppen in der Gesellschaft benachteiligt werden, wenn KI-Systeme Entscheidungen über sie treffen.
Ein bekanntes Beispiel ist die Diskriminierung bei der Kreditvergabe, bei der Menschen aus bestimmten ethnischen Gruppen oder aus einem bestimmten Stadtteil durch das Scoring-System benachteiligt werden könnten.
Um solche Verzerrungen zu vermeiden, fordern Experten zunehmend mehr Transparenz bei der Entwicklung und Anwendung von KI-Systemen. Es ist wichtig, dass die Trainingsdaten sorgfältig ausgewählt und überwacht werden, um sicherzustellen, dass sie repräsentativ sind und keine diskriminierenden Muster enthalten.
Tipp: Lesen Sie den Ratgeber zum Umgang mit Bias bei KI-Systemen.
Ethische Herausforderungen bei KI-Entwicklung und -Einsatz
Mit dem Aufkommen von KI-Systemen in sensiblen Bereichen wächst auch der Ruf nach einer ethischen Reflexion dieser Technologien. Die Frage, wie neutral und fair ein KI-System tatsächlich sein kann, steht im Mittelpunkt der Diskussion. Transparenz ist eine der häufigsten Forderungen: Entwickler von KI-Systemen sollten offenlegen, wie ihre Algorithmen funktionieren, welche Daten verwendet werden und wie Entscheidungen getroffen werden.
Diese Forderung nach Transparenz steht jedoch oft im Konflikt mit den Interessen der Entwickler und Unternehmen, die ihre Algorithmen als Geschäftsgeheimnis schützen wollen. Ein Ausgleich zwischen diesen Interessen muss gefunden werden, um sicherzustellen, dass KI-Systeme ethisch und verantwortungsvoll eingesetzt werden.
Fazit und Ausblick
Künstliche Intelligenz bietet enorme Potenziale, Entscheidungsprozesse zu beschleunigen und zu verbessern. Gleichzeitig wirft ihre Nutzung jedoch wichtige Fragen zu Datenschutz, Verantwortlichkeit und Fairness auf. Im Bereich der automatisierten Entscheidungsfindung wird es maßgeblich auf die Auswirkungen des oben angesprochenen Schufa-Urteils ankommen. Hier gilt es wohl, die Rechtsprechung der nächsten Jahre und die Entwicklungen bezüglich § 31 BDSG abzuwarten.
Das EuGH-Urteil zur Schufa zeigt, dass der automatisierten Entscheidungsfindung durch KI enge Grenzen gesetzt sind und dass Unternehmen die rechtlichen Rahmenbedingungen sorgfältig prüfen müssen. Menschliche Verantwortung darf nicht durch Technik ersetzt werden. Unternehmen, die KI-gestützt Entscheidungen mit maßgeblichen Auswirkungen auf Menschen treffen, sind gut beraten, die eigene menschliche Beteiligung an der Entscheidungsfindung von vornherein klar zu definieren und dokumentieren.
Zukünftig dürfte die Diskussion um die Rolle von KI in Entscheidungsprozessen weiter an Bedeutung gewinnen und es wird entscheidend sein, wie ethische, rechtliche und technische Herausforderungen gelöst werden.
