Darf KI im Kundenservice Entscheidungen treffen? Art. 22 für Chatbots, Voicebots und KI-Agenten

Hinweis: Dieser Beitrag betrachtet den deutschen Rechtsraum. Er bezieht sich auf die DSGVO und auf ergänzendes deutsches Recht wie das BDSG. Andere EU-Mitgliedstaaten wenden dieselbe Verordnung an, können aber abweichende nationale Regelungen haben.

KI-Agenten beantworten heute Kundenanfragen per Chat, E-Mail und Telefon. Sie prüfen Bestellungen, bearbeiten Reklamationen, beantworten Fragen und können Aktionen in angebundenen Systemen ausführen.

Wie weit darf diese Automatisierung gehen? Darf ein Chatbot eine Erstattung ablehnen? Darf ein KI-Telefonassistent über eine Kündigung entscheiden, ohne dass vorher ein Mensch darüber schaut? Die Antwort darauf gibt Art. 22 DSGVO.

Die kurze Antwort: Ja, KI darf im Kundenservice grundsätzlich auch selbstständig handeln. Die meisten automatisierten Vorgänge im Kundenservice fallen gar nicht unter Art. 22 DSGVO. Bei Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung gelten allerdings zusätzliche Voraussetzungen.

Wann gilt Art. 22 DSGVO bei KI im Kundenservice?

Art. 22 DSGVO betrifft nicht jede Entscheidung, die eine KI trifft. Die Vorschrift greift, wenn eine Person einer Entscheidung unterworfen wird, die ausschließlich auf automatisierter Verarbeitung beruht und ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Beide Voraussetzungen müssen zusammenkommen.

1. Die Entscheidung wird ausschließlich automatisiert getroffen

Ein Chatbot, Voicebot oder KI-Agent trifft die Entscheidung selbstständig, ohne dass ein Mensch sie vorher inhaltlich überprüft und über sie entscheidet.

Eine rein formale menschliche Beteiligung reicht dabei nicht aus. Wenn ein Mitarbeiter eine automatisch erzeugte Entscheidung lediglich bestätigt, ohne sie eigenständig bewerten und ändern zu können, gilt die Entscheidung weiterhin als ausschließlich automatisiert.

2. Die Entscheidung hat eine rechtliche oder ähnlich erhebliche Wirkung

Nicht jede automatisierte Antwort ist eine automatisierte Entscheidung im Sinne von Art. 22 DSGVO. Relevant wird die Vorschrift, wenn die Entscheidung die Rechtsposition einer Person verändert oder sie auf vergleichbare Weise erheblich betrifft.

Die Frage ist also nicht, ob eine KI die Antwort gesendet hat, sondern ob die KI selbstständig eine Entscheidung über die Person getroffen hat, die rechtliche oder ähnlich erhebliche Auswirkungen hat.

Welche Entscheidungen im Kundenservice fallen meist nicht unter Art. 22 DSGVO?

Ein großer Teil der Arbeit eines KI-Agenten im Kundenservice erreicht diese Schwelle nicht. Wenn ein KI-Chatbot eine Frage zu einem Produkt beantwortet, ein KI-E-Mail-Agent den Bestellstatus mitteilt oder ein Voicebot Informationen aus einem Kundensystem abruft, wird dadurch keine rechtlich oder ähnlich erheblich wirkende Entscheidung über die Person getroffen. Das gilt auch für das Kategorisieren und Weiterleiten von Tickets, das Abfragen fehlender Informationen, das Ausfüllen von Ticketfeldern oder die Beantwortung allgemeiner Servicefragen.

Art. 22 DSGVO ist deshalb kein allgemeines Verbot automatisierter Kundenkommunikation. Ein KI-Agent muss nicht allein deshalb von einem Menschen kontrolliert werden, weil er selbstständig eine Antwort formuliert oder eine Aktion ausführt.

Welche Entscheidungen eines KI-Agenten können unter Art. 22 DSGVO fallen?

Anders kann es aussehen, wenn ein KI-Agent tatsächlich über Rechte, Ansprüche oder andere wesentliche Interessen eines Kunden entscheidet. Dazu können je nach Fall die Ablehnung eines Erstattungsanspruchs, die Ablehnung einer Kündigung, die Sperrung eines Kundenkontos, die Erhebung einer Gebühr oder eine vergleichbar erhebliche Entscheidung gehören.

Entscheidend ist der konkrete Einzelfall. Eine Kontosperrung bei einem unwichtigen Community-Account hat eine andere Bedeutung als die Sperrung eines Kontos, das für den Zugang zu einer wesentlichen Dienstleistung benötigt wird.

Auch eine für den Kunden positive Entscheidung fällt nicht automatisch aus Art. 22 heraus. Der Wortlaut der DSGVO stellt auf die rechtliche oder ähnlich erhebliche Wirkung der Entscheidung ab, nicht darauf, ob das Ergebnis positiv oder negativ ist.

Darf eine KI solche Entscheidungen trotzdem automatisch treffen?

Ja, unter bestimmten Voraussetzungen. Art. 22 DSGVO wird gelegentlich so gelesen, als dürfe eine KI niemals selbstständig eine rechtlich relevante Entscheidung treffen. Art. 22 Abs. 2 DSGVO sieht aber drei Ausnahmen vor, unter denen eine ausschließlich automatisierte Entscheidung zulässig ist.

Übersicht: Rechtsgrundlagen für automatisierte Entscheidungen

Rechtsgrundlage	Voraussetzung	Schutzmaßnahmen nach Art. 22 Abs. 3	Beispiel im Kundenservice
Art. 22 Abs. 2 lit. a: Erforderlichkeit für Vertragsschluss oder Vertragserfüllung	Die automatisierte Entscheidung muss für den Abschluss oder die Erfüllung eines Vertrags zwischen Kunde und Unternehmen tatsächlich erforderlich sein. Schneller, günstiger oder einfacher genügt nicht.	Ja. Der Kunde muss das Eingreifen eines Menschen verlangen, seinen Standpunkt darlegen und die Entscheidung anfechten können.	Automatische Prüfung, ob eine Retoure innerhalb der Rückgabefrist liegt, und Freigabe der Erstattung.
Art. 22 Abs. 2 lit. b: Rechtsvorschrift der EU oder eines Mitgliedstaats	Ein Gesetz erlaubt die automatisierte Entscheidung ausdrücklich und sieht selbst angemessene Maßnahmen zur Wahrung der Rechte der betroffenen Person vor.	Nicht über Art. 22 Abs. 3, sondern über die jeweilige Rechtsvorschrift.	Im Kundenservice selten. In Deutschland etwa § 37 BDSG für Leistungsentscheidungen privater Versicherungen.
Art. 22 Abs. 2 lit. c: Ausdrückliche Einwilligung	Der Kunde hat der automatisierten Entscheidung ausdrücklich zugestimmt. Die Einwilligung muss freiwillig, informiert und jederzeit widerrufbar sein.	Ja. Der Kunde muss das Eingreifen eines Menschen verlangen, seinen Standpunkt darlegen und die Entscheidung anfechten können.	Der Kunde wählt im Self-Service bewusst die sofortige automatische Bearbeitung seiner Reklamation statt der manuellen Prüfung.

Beruht die Entscheidung auf besonderen Kategorien personenbezogener Daten wie Gesundheitsdaten, gelten nach Art. 22 Abs. 4 DSGVO zusätzliche Einschränkungen.

Für den Kundenservice ist vor allem Art. 22 Abs. 2 lit. a DSGVO relevant, also die Erforderlichkeit für einen Vertragsschluss oder die Vertragserfüllung. Dabei bedeutet „erforderlich“ mehr als lediglich „praktisch“. Dass eine vollautomatische Entscheidung schneller, günstiger oder einfacher ist, reicht nicht aus. Unternehmen müssen für den jeweiligen Anwendungsfall prüfen, ob die automatisierte Entscheidung tatsächlich für den Abschluss oder die Durchführung des Vertrags erforderlich ist.

Muss ein Mensch die Entscheidung überprüfen können?

Wenn eine automatisierte Entscheidung auf Art. 22 Abs. 2 lit. a oder lit. c DSGVO gestützt wird, verlangt Art. 22 Abs. 3 zusätzliche Schutzmaßnahmen. Die DSGVO nennt dabei ausdrücklich das Recht der betroffenen Person, das Eingreifen eines Menschen zu verlangen, den eigenen Standpunkt darzulegen und die Entscheidung anzufechten.

Das bedeutet nicht, dass jede Antwort eines KI-Agenten zunächst von einem Mitarbeiter freigegeben werden muss. Wenn eine ausschließlich automatisierte Entscheidung unter Art. 22 fällt und über eine Ausnahme zulässig ist, muss für die betroffene Person aber ein wirksamer Weg bestehen, die Entscheidung durch einen Menschen überprüfen zu lassen. Der menschliche Eskalationsweg ist damit Bestandteil der technischen Umsetzung.

Human in the Loop oder Human on Demand?

Für die technische Gestaltung von KI im Kundenservice sind zwei Modelle relevant.

Menschliche Prüfung vor der Entscheidung

Prüft ein Mitarbeiter eine vorgeschlagene Entscheidung, bevor sie wirksam wird, bewertet sie selbst und kann sie ändern, liegt keine ausschließlich automatisierte Entscheidung mehr vor. Der Mensch muss dabei aber wirklich entscheiden. Ein automatisches Abnicken einer KI-Empfehlung ist nicht dasselbe wie eine eigenständige Prüfung.

Menschliche Prüfung auf Wunsch des Kunden

Alternativ kann eine Entscheidung zunächst automatisiert erfolgen. Wenn Art. 22 auf diese Entscheidung Anwendung findet, muss dafür eine Ausnahme aus Art. 22 Abs. 2 greifen. In den Fällen nach lit. a und lit. c muss der Kunde anschließend eine menschliche Überprüfung verlangen können.

Der Kunde muss also nicht vor jeder Entscheidung mit einem Mitarbeiter sprechen. Er muss aber die Möglichkeit erhalten, die automatisierte Entscheidung anzufechten und eine echte menschliche Neubewertung zu erreichen.

Gilt Art. 22 DSGVO auch für Chatbots?

Ja. Für einen KI-Chatbot im Kundenservice gelten dieselben Regeln. Entscheidend ist nicht, über welchen Kanal die Kommunikation stattfindet, sondern was der Chatbot tut.

Beantwortet der Chatbot Fragen, sucht Informationen heraus oder nimmt eine Anfrage entgegen, ist Art. 22 häufig gar nicht einschlägig. Entscheidet der Chatbot dagegen selbstständig über einen rechtlich relevanten Anspruch des Kunden, muss geprüft werden, ob die Voraussetzungen von Art. 22 vorliegen.

Gilt Art. 22 DSGVO für Voicebots und KI-Telefonassistenten?

Auch bei einem Voicebot oder KI-Telefonassistenten gelten dieselben Grundsätze. Ein KI-Telefonassistent kann selbstständig den Bestellstatus vorlesen, Informationen aufnehmen, einen Termin vereinbaren oder einen Vorgang an die richtige Abteilung weiterleiten. Solche Vorgänge sind nicht allein deshalb problematisch, weil kein Mitarbeiter am Telefon beteiligt ist.

Anders kann es aussehen, wenn der Voicebot während des Gesprächs selbstständig eine Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung trifft. Für solche Fälle sollte der KI-Telefonassistent einen klaren Handoff an einen Menschen ermöglichen.

Gilt Art. 22 DSGVO für KI-Agenten per E-Mail?

Auch ein KI-Agent für E-Mail im Kundenservice darf Kundenanfragen selbstständig bearbeiten und beantworten. Ob Art. 22 DSGVO greift, hängt nicht vom Medium E-Mail ab.

Ein KI-E-Mail-Agent kann Informationen aus CRM-, ERP- oder Shopsystemen abrufen, Antworten formulieren, Rückfragen stellen und Tickets kategorisieren, ohne dass dadurch eine Entscheidung im Sinne von Art. 22 entsteht. Erst wenn der KI-Agent selbstständig eine entsprechend erhebliche Entscheidung über den Kunden trifft, wird Art. 22 relevant.

Wie lässt sich die menschliche Eskalation technisch umsetzen?

Ein Unternehmen, das KI-Agenten eigenständig Kundenanfragen bearbeiten lässt, sollte für relevante Entscheidungen einen eindeutigen Weg zu einem Mitarbeiter vorsehen.

Mit botBrains kann dieser Eskalationsweg je nach Kanal unterschiedlich umgesetzt werden, zum Beispiel über @mensch in Zendesk, die Weiterverarbeitung einer Kundenantwort in Salesforce, einen Handoff an einen Mitarbeiter beim KI-Telefonassistenten oder die ausdrückliche Bitte um einen Menschen im Chatbot.

Dabei reicht es nicht, dass irgendwo theoretisch ein Mitarbeiter erreichbar ist. Bei einer unter Art. 22 fallenden Entscheidung muss die betroffene Person eine tatsächliche menschliche Überprüfung erreichen können, und der Mitarbeiter muss die Entscheidung inhaltlich neu bewerten und gegebenenfalls ändern können.

Darf eine KI eine Rückerstattung ablehnen?

Eine automatisierte Ablehnung einer Rückerstattung kann unter Art. 22 DSGVO fallen, insbesondere wenn damit über einen rechtlichen Anspruch des Kunden entschieden wird. Das bedeutet nicht, dass eine solche Entscheidung durch KI verboten ist.

Es muss geprüft werden, ob Art. 22 im konkreten Fall Anwendung findet und, falls ja, ob eine der Ausnahmen aus Art. 22 Abs. 2 greift. Bei einer auf Vertragserforderlichkeit oder ausdrücklicher Einwilligung gestützten Entscheidung müssen außerdem die Schutzmaßnahmen aus Art. 22 Abs. 3 gewährleistet werden.

Darf eine KI eine Kündigung ablehnen?

Auch hier kommt es auf den konkreten Vorgang an. Entscheidet ein KI-Agent selbstständig, dass eine Kündigung unwirksam sei, und behandelt das Vertragsverhältnis deshalb als fortbestehend, kann dies eine rechtlich relevante automatisierte Entscheidung darstellen.

Art. 22 DSGVO führt aber auch hier nicht zu einem vollständigen Verbot. Entscheidend sind die Voraussetzungen des Art. 22 und die gegebenenfalls einschlägigen Ausnahmen.

Muss jede Antwort eines KI-Agenten von einem Menschen überprüft werden?

Nein. Art. 22 DSGVO enthält keine allgemeine Pflicht, jede Antwort eines Chatbots, Voicebots oder KI-Agenten im Kundenservice von einem Menschen freigeben zu lassen. Die Vorschrift betrifft einen wesentlich engeren Bereich: ausschließlich automatisierte Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung. Für viele klassische Anwendungsfälle von KI im Kundenservice ist Art. 22 deshalb gar nicht einschlägig.

Fazit: KI darf im Kundenservice mehr als häufig angenommen

Die DSGVO verbietet weder KI im Kundenservice noch automatisierte Entscheidungen grundsätzlich. Für die meisten Aufgaben eines Chatbots, Voicebots, KI-Telefonassistenten oder E-Mail-Agenten ist Art. 22 DSGVO nicht relevant, weil keine rechtliche oder ähnlich erhebliche Entscheidung über den Kunden getroffen wird.

Relevant wird Art. 22 dort, wo ein KI-Agent selbstständig Entscheidungen mit entsprechenden Auswirkungen trifft. Auch solche Entscheidungen sind nicht pauschal verboten. Art. 22 Abs. 2 DSGVO sieht Ausnahmen vor. Wo Art. 22 Abs. 3 einschlägig ist, muss sichergestellt werden, dass der Kunde eine menschliche Überprüfung erreichen, seinen Standpunkt darlegen und die Entscheidung anfechten kann.

Die entscheidende Frage bei der Einführung von KI-Agenten ist deshalb nicht, ob die KI selbstständig antworten darf, sondern welche Entscheidungen sie in diesem Prozess treffen darf, welche rechtliche Wirkung diese haben und wie die menschliche Eskalation funktioniert.

Hinweis: Dieser Beitrag gibt einen allgemeinen Überblick über Art. 22 DSGVO im Zusammenhang mit KI im Kundenservice nach deutschem Recht und ersetzt keine rechtliche Beratung für einen konkreten Anwendungsfall.