In den letzten Wochen und Monaten sorgte die Veröffentlichung mehrerer auf künstlicher Intelligenz (KI) basierender Tools für großes Aufsehen. Zu den bekanntesten davon gehören das Textverarbeitungstool ChatGPT und das Bildverarbeitungstool DALL-E-2 des Unternehmens OpenAI.
Nach anfänglicher Euphorie fragen sich nun viele Unternehmen, ob und in welchem Umfang diese Tools auch im Geschäftsalltag verwendet werden können. Wir zeigen Ihnen auf, was Sie aus Sicht des Datenschutzes beim Einsatz von KI beachten sollten.
Update, Juni 2023
Mittlerweile beschäftigen sich die Datenschutz-Aufsichtsbehörden in der EU insbesondere mit OpenAI und ChatGPT. Mehr zur Diskussion und zu mittlerweile bekanntgewordenen Datenpannen im Zusammenhang mit KI finden Sie weiter unten im Artikel.
Wie funktionieren KI-gestützte Systeme?
Um die Vereinbarkeit KI-gestützter Software mit den Anforderungen der Datenschutz-Grundverordnung (DSGVO) beurteilen zu können, müssen wir zunächst die Grundlagen von deren Funktionsweise kennen.
KI-gestützte Systeme lösen ohne menschliches Zutun bestimmte Aufgaben. So kann ChatGPT bspw. Fragen beantworten, Artikel verfassen sowie Texte zusammenfassen oder übersetzen. Damit sind im unternehmerischen Kontext viele Anwendungsszenarien denkbar, unter anderem:
- Kundensupport: Unternehmen könnten KI-gestützte Systeme für die automatisierte Beantwortung von Kundenanfragen und Zurverfügungstellung von Informationen über ihre Produkte und Dienstleistungen verwenden, etwa als Chatbots auf Websites oder in Messaging-Apps.
- Virtuelle Assistenten: Unternehmen könnten KI-gestützte Systeme auch intern verwenden, um Abläufe zu optimieren. So könnten diese etwa dabei helfen, Aufgaben zu verwalten, Reservierungen vorzunehmen oder sogar Verträge zu prüfen.
- Generierung von Inhalten: Des Weiteren könnten Unternehmen KI nutzen, um bestimmte Inhalte wie bspw. Entwürfe von E-Mails, Blogbeiträge samt entsprechender Bebilderung, Textzusammenfassungen und -übersetzungen zu generieren.
Um solche Aufgaben übernehmen zu können, werden KI-Modelle umfassend trainiert. Hierfür werden in der Regel zunächst öffentlich verfügbare Informationen wie bspw. diejenigen aus dem Internet verwendet. Da diese auch falsch, rassistisch, homophob etc. sein können, birgt dies die Gefahr, dass auch die Outputs, d.h. die durch ein KI-System generierten Inhalte, diese Eigenschaften aufweisen. Außerdem können Outputs auch personenbezogene Daten beinhalten, was wiederum datenschutzrechtlich zu beurteilen ist und Unternehmen vor Probleme stellen könnte, sollten nicht alle Anforderungen der DSGVO erfüllt sein.
Üblicherweise endet die Entwicklung eines KI-Systems aber nicht mit dessen Inverkehrbringen. Dieses wird vielmehr auch danach fortlaufend weiterentwickelt. Für dieses Training werden in der Regel auch die bei der Nutzung des Systems anfallenden Daten (Inputs und Outputs) verwendet. Solche Weiterverarbeitung von Daten zu eigenen Zwecken des Anbieters stellt datenschutzrechtlich eine große Herausforderung dar.
Was ist bei der Nutzung KI-gestützter Systeme datenschutzrechtlich zu beachten?
Will ein Unternehmen insbesondere ein offenes KI-gestütztes System für die Verarbeitung personenbezogener Daten verwenden, muss es eine Vielzahl datenschutzrechtlicher Vorgaben beachten. Da es sich dabei um neue Technologien handelt, zu denen bisher kaum Gerichtsentscheidungen oder Leitlinien von Aufsichtsbehörden vorhanden sind, ist deren Einsatz oft mit einem gewissen Risiko verbunden. Vor dem Einsatz solcher Technologien im Unternehmenskontext sollten rechtliche Aspekte daher gründlich erörtert werden.
Im Folgenden gehen wir auf die wichtigsten datenschutzrechtlichen Problemstellungen ein. Aufgrund der Breite der möglichen Einsatzmöglichkeiten hat die Darstellung keinen Anspruch auf Vollständigkeit; vielmehr sollen lediglich Ansätze zu den wichtigsten Problemen skizziert werden. Eine anwendungsspezifische Überprüfung durch einen Datenschutzexperten kann dies selbstverständlich nicht ersetzen.
Datenschutzrechtliche Verantwortlichkeit beim KI-Einsatz
Zunächst stellt sich die Frage, welche datenschutzrechtliche Stellung die an der Datenverarbeitung beteiligten Unternehmen haben.
Das Unternehmen, das ein KI-basiertes System in eigene Prozesse integriert, wird dabei in aller Regel als Verantwortlicher einzustufen sein, denn es entscheidet über die Zwecke und Mittel der Datenverarbeitung.
Spannender ist die Frage, welche Rolle der Anbieter des KI-Systems innehat. Die eigentliche Datenverarbeitung erfolgt in der Regel auf Servern der Anbieter. Daher ist zunächst naheliegend, dass der KI-Anbieter ein Auftragsverarbeiter sein sollte, denn er verarbeitet die Daten im Auftrag und auf Weisung des Unternehmens, welches das System einsetzt. In einem solchen Fall wäre ein Auftragsverarbeitungsvertrag abzuschließen. Einige Anbieter bieten den Abschluss eines Vertrages zur Auftragsverarbeitung auch an (bspw. OpenAI für die Nutzung von ChatGPT).
Vor dem Abschluss eines Auftragsverarbeitungsvertrages ist zu prüfen, ob der Anbieter die darin enthaltenen Zusicherungen überhaupt einhalten kann. Dies ist nicht trivial, denn gewisse Aspekte des KI-Modells kann auch der Anbieter selbst nicht beeinflussen (daher werden KI-Modelle oft als Black Box bezeichnet). Ferner ist dafür zu sorgen, dass die im Auftrag zu erbringende Verarbeitung vertraglich ausreichend präzise festgelegt ist.
Da viele Anbieter die durch die Nutzung von KI-Systemen erhobenen Daten für die Weiterentwicklung von KI-Modellen nutzen, stellt sich die Frage, ob dies mit ihrer Stellung als Auftragsverarbeiter vereinbar ist. Den Leitlinien der französischen Aufsichtsbehörde (CNIL) folgend, ist dies nur mit Zustimmung des Auftraggebers möglich, wobei der Anbieter für diese Verarbeitung als Verantwortlicher anzusehen wäre.
Unternehmen sind gut beraten, eine solche Zustimmung nicht zu erteilen bzw. von einer etwaigen Opt-out-Möglichkeit Gebrauch zu machen (diese steht gewerblichen Nutzern bspw. beim ChatGPT zu). Der Grund dafür ist, dass die Weiterverwendung von Daten für eigene Zwecke des Anbieters im KI-Kontext über das hinausgeht, was etwa bei einem herkömmlichen IT-Anbieter der Fall wäre. Beim Training von KI-Modellen können die dafür genutzten Daten Teil des Modells werden, was wiederum bedeutet, dass sie an weitere Nutzer der jeweiligen KI-Anwendung offengelegt werden könnten und dass ihre vollständige Löschung kaum noch möglich sein dürfte. Das Unternehmen wäre somit nicht mehr in der Lage, die Verbreitung der Informationen zu kontrollieren oder gar richtig zu erfassen. Auch eine ausreichende Information von Betroffenen scheint in diesem Fall schwierig bis unmöglich.
Schließlich ist es auch möglich, dass das Unternehmen, das die KI-Anwendung nutzt, und das Unternehmen, das sie anbietet, gemeinsam für die Verarbeitung verantwortlich sind. Dies könnte bspw. dann der Fall sein, wenn beide Unternehmen eng an der Entwicklung der KI zusammenarbeiten und dabei gemeinsame Zwecke verfolgen oder wenn ihre Verarbeitungsvorgänge anderweitig untrennbar miteinander verbunden sind. Für den Fall, dass die KI mit den dort eingespeisten Daten trainiert werden soll, wird dies regelmäßig der Fall sein. Denn die Verarbeitung erfolgt dann auch zu Zwecken des KI-Anbieters.
Rechtsgrundlage für die Datenverarbeitung der KI
Unternehmen müssen ferner dafür sorgen, dass für die Verarbeitung eine gültige Rechtsgrundlage besteht.
Auch wenn dies von der jeweiligen Datenverarbeitung abhängig ist, wird oft keine andere Rechtsgrundlage als eine Einwilligung der betroffenen Person in Betracht kommen.
Berechtigte Interessen werden oft nicht einschlägig sein, da die mit einer Verarbeitung mittels KI verbundenen Risiken oft hoch sind und damit die Interessen betroffener Personen überwiegen dürften. Dies ist natürlich in jedem Einzelfall gesondert zu prüfen.
Informationspflichten und Betroffenenrechte im Rahmen der KI-Nutzung
Unternehmen müssen Betroffene gem. Art 13 DSGVO über die Verarbeitung ihrer Daten informieren. Neben den üblichen Informationen, die stets zur Verfügung gestellt werden müssen, sind, soweit es sich um eine automatisierte Entscheidungsfindung im Einzelfall gem. Art. 22 DSGVO handelt, auch Informationen diesbezüglich zur Verfügung zu stellen. Dabei sollten Betroffene aussagekräftig über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung informiert werden.
Unternehmen haben außerdem durch geeignete Prozesse dafür zu sorgen, dass Betroffene ihre Rechte nach der DSGVO ausüben können, etwa dass die Daten berichtigt werden, sollten die Outputs der KI-Anwendung nicht der Realität entsprechen. Ob Betroffenenrechte im KI-Kontext stets vollständig ausgeübt werden können, darf bezweifelt werden. Nachdem die Daten in das KI-Model eingeflossen sind und dieses verändert haben, dürfte es etwa schwierig sein, eine vollständige Löschung der Daten zu vollziehen, ohne das Modell zu beeinträchtigen.
Neben den üblichen Betroffenenrechten haben Betroffene bei manchen Unterkategorien der automatisierten Entscheidungsfindung nach Art. 22 DSGVO zudem das Recht auf Erwirkung des Eingreifens einer Person seitens des Verantwortlichen, auf Darlegung des eigenen Standpunktes und auf Anfechtung der Entscheidung. Auch das dürfte schwer bis überhaupt nicht umsetzbar sein, weil es dem Grundgedanken Künstlicher Intelligenz widerspricht.
Weitere datenschutzrechtliche Pflichten
Neben den oben dargestellten, haben Verantwortliche noch zahlreiche weitere datenschutzrechtliche Pflichten, insbesondere:
- Privacy by Design und Privacy by Default: Das Unternehmen hat die Anwendung so zu gestalten, dass Datenschutzgrundsätze wie etwa Datenminimierung wirksam umgesetzt werden. Dies sollte nicht nur während des Einsatzes der Anwendung, sondern bereits bei deren Entwicklung berücksichtigt werden (siehe unser Ratgeber zu Privacy by Design und Privacy by Default).
- Datenschutz-Folgenabschätzung (DSFA): Oft wird im Vorfeld der Datenverarbeitung mittels KI die Durchführung einer Datenschutz-Folgenabschätzung notwendig sein. Nach der Blacklist der deutschen Datenschutzkonferenz ist die Durchführung einer Datenschutz-Folgenabschätzung unter anderem beim Einsatz von KI zur Verarbeitung personenbezogener Daten zur Steuerung der Interaktion mit den Betroffenen oder zur Bewertung persönlicher Aspekte der betroffenen Person zwingend.
- Technische und organisatorische Maßnahmen: Unternehmen sollten ausreichende technische und organisatorische Maßnahmen (TOM) ergreifen, um die Vertraulichkeit, Verfügbarkeit und Integrität der Daten zu gewährleisten.
- Datenschutzbeauftragter: Unternehmen sollten schließlich prüfen, ob aufgrund der KI-gestützten Verarbeitungen die Bestellung eines Datenschutzbeauftragten verpflichtend ist.
Alternative: Keine Verarbeitung personenbezogener bzw. sonstiger sensibler Daten mittels KI
Wie die Analyse gezeigt hat, müssen Unternehmen, die KI einsetzen wollen, zahlreiche Anforderungen der DSGVO erfüllen, die einen erheblichen Aufwand verursachen dürften, soweit deren Erfüllung innerhalb des konkreten Anwendungsfalls überhaupt möglich ist.
Um dies zu vermeiden, können sich Unternehmen entscheiden, keine personenbezogenen oder sonstigen sensiblen Informationen – wie bspw. Geschäftsgeheimnisse – mittels der relevanten KI-Anwendung zu verarbeiten, bspw. indem sie solche Daten aus dem Text, der mittels KI übersetzt werden sollte, vorab entfernen. In einem solchen Fall wäre die DSGVO nicht anwendbar; das Unternehmen müsste demnach die oben dargestellten Anforderungen nicht erfüllen. Dies kommt freilich bei einigen Anwendungsszenarien wie bspw. bei einem Chatbot, der im Bereich des Kundensupports mit Kunden interagieren sollte, von vornherein nicht in Betracht. In einem solchen Fall ist eine Nutzung ohne die Verarbeitung personenbezogener Daten nämlich gar nicht möglich.
OpenAI im Fokus der Aufsichtsbehörden
Italienische Aufsichtsbehörde
Im März 2023 verbot die italienische Aufsichtsbehörde Garante dem Unternehmen OpenAI, das ChatGPT betreibt, vorläufig die Daten italienischer Nutzer zu verarbeiten. Die Behörde hatte Zweifel an dem Bestehen einer wirksamen Rechtsgrundlage für die Verarbeitung personenbezogener Daten zum Zwecke des Trainings des Algorithmus und monierte, dass den Informationspflichten nicht vollständig nachgekommen würde. Teilweise würden durch ChatGPT zudem unrichtige personenbezogene Daten verarbeitet.
Auch die Tatsache, dass das Alter der Nutzer nicht überprüft wurde (gemäß den allgemeinen Geschäftsbedingungen des Unternehmens ist die Nutzung erst ab 13 Jahren erlaubt), spielte eine Rolle, denn dadurch wurden Kindern ggfs. Antworten angezeigt, die für deren Alter unangemessen sind.
Inzwischen ist ChatGPT in Italien wieder verfügbar. Dafür hatte OpenAI diverse Auflagen der Garante zu erfüllen:
- So musste auf der Webseite von ChatGPT ein angepasstes Informationsschreiben zur Verfügung gestellt werden, in dem unter anderem über die Logik der Datenverarbeitung und über Betroffenenrechte informiert wird.
- OpenAI darf sich außerdem nicht mehr auf 6 Abs. 1 lit. b) DSGVO (Erfüllung des Vertrages) als Rechtsgrundlage stützen, sondern muss vielmehr auf eine Einwilligung des Betroffenen oder seine berechtigten Interessen zurückgreifen.
- Das Unternehmen muss zudem Mechanismen einführen, mit deren Hilfe Betroffene (sowohl ChatGPT-Nutzer als auch Nicht-Nutzer) Berichtigung und Löschung ihrer Daten beantragen können bzw. der Nutzung ihrer Daten widersprechen können.
- Des Weiteren muss OpenAI Minderjährige besser schützen. Diesbezüglich muss zunächst lediglich eine Bestätigung des Nutzers eingeholt werden, dass dieser volljährig ist. Bis September 2023 muss der ChatGPT-Betreiber jedoch ein Altersverifikationssystem einführen, um Nutzer unter 13 Jahren sowie Nutzer zwischen 13 und 18 Jahren, für die keine Einwilligung der Erziehungsberechtigten vorliegt, herauszufiltern.
- Schließlich musste OpenAI in Absprache mit der Garante eine Informationskampagne über verschiedene Kanäle (Radio, Fernsehen, Zeitungen, Internet) durchführen, um die Bürger über die Verwendung ihrer personenbezogenen Daten für das Training von Algorithmen zu informieren.
Die oben genannten Auflagen gelten zunächst nur für ChatGPT-Nutzer aus Italien.
Deutsche Aufsichtsbehörden
Die deutsche Datenschutzkonferenz (DSK) gründete im April 2023 die Taskforce KI, die sich mit dem Thema befassen soll. Die Taskforce soll eine koordinierte datenschutzrechtliche Prüfung von ChatGPT übernehmen.
In einem ersten Schritt haben sich die deutschen Behörden mit einem Fragebogen an OpenAI gewandt, um so zusätzliche Informationen bspw. über die Datenquellen und zu Algorithmen hinter der automatisierten Datenverarbeitung einzuholen. Die Frist für die Beantwortung der Fragen ist bereits einmal verlängert worden; daher wird erwartet, dass OpenAI demnächst seine Antworten vorlegt. Auf dieser Grundlage werden die deutschen Behörden sodann eine datenschutzrechtliche Prüfung von ChatGPT vornehmen.
EU-weite Koordination
Da OpenAI keine Niederlassung in der EU hat, sind die Aufsichtsbehörden aller Mitgliedsstaaten in ihrem jeweiligen örtlichen Zuständigkeitsbereich für die Überwachung der Einhaltung der DSGVO durch OpenAI zuständig.
Um die Zusammenarbeit und den Austausch von Informationen über mögliche Maßnahmen der Behörden auf EU-Ebene zu fördern und zu koordinieren, gründete der Europäische Datenschutzausschuss (EDSA) im April 2023 eine Task Force, die sich mit ChatGPT befassen soll.
Datenpannen bei ChatGPT
Im März 2023 ereignete sich bei OpenAI eine erste Datenpanne. Dabei konnten einige Nutzer von ChatGPT die Chatverläufe anderer Nutzer einsehen.
Im Juni 2023 wurde bekannt, dass eine Malware, die im Browser gespeicherte Daten wie bspw. im Browser gespeicherte Anmeldedaten abgreift, Zugangsdaten von mehr als 100.000 ChatGPT-Nutzern sammeln konnte. Diese könnten nun einer erhöhten Gefahr von Betrug und Cyberangriffen ausgesetzt sein. Obwohl neben ChatGPT auch Anmeldedaten für andere Onlinedienste durch die Malware gesammelt wurden, schätzen Experten, dass ChatGPT für Cyberkriminelle von besonderer Bedeutung ist, da sich in Chat-Verlaufen bei ChatGPT oft auch sehr sensible Daten befinden. Dazu kommt, dass die Chat-Historie bei ChatGPT nicht automatisch gelöscht wird. Vielmehr muss der Nutzer die Daten selbst manuell löschen. Um eigene Risiken zu minimieren, empfiehlt es sich daher, den Chatverlauf regelmäßig zu löschen.
Fazit: KI-Nutzung ist die nächste große Herausforderung
Die Nutzung von KI-gestützten Systemen stellt Unternehmen vor erhebliche datenschutzrechtliche Herausforderungen. Wie diese kurze Analyse gezeigt hat, müssen Unternehmen unter Umständen auch Anforderungen erfüllen, mit denen sie bisher möglicherweise noch gar nicht in Berührung gekommen sind, wie bspw. die Durchführung einer Datenschutz-Folgenabschätzung. Sollten solche Systeme rein privat im Rahmen der sog. Haushaltsausnahme genutzt werden, greifen diese Anforderungen freilich nicht.
Ferner sollten Unternehmen Anforderungen beachten, die sich aus anderen Rechtsgebieten wie etwa dem Urheber- oder Haftungsrecht ergeben. Mit der KI-Verordnung, die derzeit auf der EU-Ebene verhandelt wird, könnten zudem noch weitere Anforderungen auf Unternehmen zukommen.
Was im konkreten Fall datenschutzrechtlich gilt, ist stets von dem jeweiligen Anwendungsszenario abhängig. Die vorliegende Analyse soll mögliche Probleme lediglich grob aufzeigen. Um die Nutzung eines KI-gestützten Systems DSGVO-konform zu gestalten, sollten Unternehmen vor dessen Einführung unbedingt den Rat eines Datenschutzexperten einholen.
