Wer haftet wenn ein Copilot Agent eine Fehlentscheidung trifft?

Wenn ein Copilot Agent eine Fehlentscheidung trifft, haftet nicht die KI, sondern das Unternehmen, das sie einsetzt. Das ist die klare rechtliche Ausgangslage: KI-Systeme sind keine Rechtspersonen, und die Verantwortung für ihren Einsatz liegt bei den Organisationen und Menschen, die sie in Betrieb nehmen und nutzen. Die folgenden Fragen klären, was das konkret für deinen Copilot-Einsatz bedeutet.

Wer trägt die rechtliche Verantwortung für KI-Entscheidungen im Unternehmen?

Die rechtliche Verantwortung für KI-Entscheidungen liegt beim Unternehmen, das den KI-Agenten einsetzt. Das gilt unabhängig davon, ob ein Mensch die Entscheidung final bestätigt hat oder nicht. Wer einen Copilot Agent produktiv einsetzt, übernimmt damit auch die Verantwortung für dessen Ausgaben und Handlungen.

Rechtlich betrachtet gibt es zwei relevante Ebenen: die zivilrechtliche Haftung gegenüber Dritten, die durch eine fehlerhafte KI-Entscheidung geschädigt werden, und die interne Verantwortung gegenüber Mitarbeitenden und Regulierungsbehörden. In beiden Fällen steht das Unternehmen in der Pflicht. Konkret bedeutet das:

• Betreiberhaftung: Wer einen KI-Agenten in Geschäftsprozessen einsetzt, gilt als Betreiber und trägt die Verantwortung für dessen Verhalten.
• Aufsichtspflicht: Unternehmen müssen sicherstellen, dass KI-Systeme kontrolliert, überwacht und bei Bedarf korrigiert werden können.
• Delegation schützt nicht: Die Tatsache, dass eine KI die Entscheidung getroffen hat, entbindet das Unternehmen nicht von seiner Haftung gegenüber Kund*innen oder Geschäftspartner*innen.

Für Führungskräfte und IT-Verantwortliche bedeutet das: Der Einsatz von Copilot Agents im Unternehmen ist kein rein technisches Thema, sondern eine strategische und rechtliche Entscheidung, die Governance-Strukturen erfordert.

Was regelt der EU AI Act für Copilot Agents konkret?

Der EU AI Act stuft KI-Systeme nach Risikoklassen ein und legt je nach Klasse unterschiedliche Pflichten für Betreiber fest. Copilot Agents fallen je nach Einsatzzweck in unterschiedliche Kategorien. Für Hochrisiko-Anwendungen gelten strenge Anforderungen an Transparenz, Dokumentation und menschliche Aufsicht.

Entscheidend ist nicht das Tool selbst, sondern der Anwendungsfall. Ein Copilot Agent, der Urlaubsanträge zusammenfasst, ist anders zu bewerten als einer, der an Kreditentscheidungen, Personalauswahl oder medizinischen Empfehlungen beteiligt ist. Der EU AI Act definiert Hochrisiko-Anwendungen unter anderem in den Bereichen Beschäftigung, Bildung, kritische Infrastruktur und öffentliche Dienstleistungen.

Für Unternehmen, die Copilot Agents in solchen Bereichen einsetzen, gelten ab 2026 konkrete Pflichten:

• Technische Dokumentation des KI-Systems
• Risikomanagementsystem für den gesamten Lebenszyklus
• Transparenz gegenüber betroffenen Personen
• Menschliche Aufsicht als Pflichtbestandteil des Prozesses
• Protokollierung und Nachvollziehbarkeit von KI-Entscheidungen

Auch für KI-Systeme mit geringerem Risiko gibt es Transparenzpflichten: Wenn eine Person mit einem KI-Agenten interagiert, muss sie darüber informiert werden. Das betrifft auch interne Chatbots oder automatisierte Kommunikationsprozesse.

Haftet Microsoft, wenn ein Copilot Agent einen Fehler macht?

Microsoft haftet in der Regel nicht für Schäden, die durch fehlerhafte Ausgaben eines Copilot Agents entstehen. Die Nutzungsbedingungen von Microsoft 365 Copilot und Copilot Studio schließen eine direkte Produkthaftung für KI-generierte Inhalte weitgehend aus. Die Verantwortung für den konkreten Einsatz liegt beim Unternehmen als Betreiber.

Microsoft stellt die Infrastruktur, die Modelle und die Plattform bereit. Das Unternehmen ist dafür verantwortlich, wie diese Plattform konfiguriert, welche Daten eingebunden und welche Prozesse automatisiert werden. Wenn ein Agent auf Basis fehlerhafter Unternehmensdaten eine falsche Empfehlung gibt, ist das kein Produktfehler von Microsoft, sondern ein Governance-Problem auf Betreiberseite.

Es gibt allerdings Grenzen: Wenn Microsoft selbst nachweislich fehlerhafte Modelle oder Sicherheitslücken in der Plattform verantwortet, können andere Haftungsregeln greifen. Für den Alltag gilt jedoch: Unternehmen sollten nicht darauf vertrauen, dass Microsoft im Schadensfall einspringt, sondern eigene Absicherungsmaßnahmen treffen.

Welche internen Maßnahmen reduzieren das Haftungsrisiko beim Einsatz von KI-Agenten?

Das Haftungsrisiko beim Einsatz von Copilot Agents lässt sich durch klare Governance-Strukturen, technische Absicherungen und organisatorische Prozesse erheblich reduzieren. Wer KI-Agenten ohne Regeln und Kontrollen einsetzt, trägt das volle Risiko. Wer strukturiert vorgeht, kann dieses Risiko begrenzen und nachweisbar steuern.

Technische Absicherungen

Auf technischer Ebene ist es entscheidend, Zugriffsrechte und Freigabeprozesse für Copilot Agents sorgfältig zu steuern. Im Microsoft 365 Admin Center lässt sich unter Copilot-Einstellungen genau festlegen, wer Agenten erstellen, teilen und organisationsweit ausrollen darf. Agenten, die für die gesamte Organisation freigegeben werden sollen, durchlaufen einen Review-Prozess durch Administrator*innen. Das verhindert, dass unkontrollierte oder fehlerhafte Agenten in produktive Umgebungen gelangen.

Besondere Vorsicht gilt bei Wissensquellen: Wenn Berechtigungen für Datenquellen beim Freigeben eines Agenten angepasst werden, ist diese Änderung nicht automatisch rückgängig zu machen. Solche Konfigurationsentscheidungen sollten dokumentiert und bewusst getroffen werden.

Organisatorische Maßnahmen

Auf organisatorischer Ebene sind folgende Maßnahmen besonders wirksam:

• Richtlinien für den Agenten-Einsatz: Klare interne Regeln, welche Prozesse für KI-Agenten geeignet sind und welche nicht.
• Benannte Verantwortliche: Für jeden produktiv eingesetzten Agenten sollte eine Person oder ein Team die fachliche Verantwortung tragen.
• Regelmäßige Überprüfung: Agenten-Ausgaben sollten stichprobenartig geprüft werden, um Qualität und Korrektheit sicherzustellen.
• Schulung der Nutzenden: Mitarbeitende müssen verstehen, was ein Copilot Agent kann, wo seine Grenzen liegen und wann sie selbst urteilen müssen.

Wann sollte ein Mensch eine KI-Entscheidung zwingend überprüfen?

Menschliche Überprüfung ist zwingend erforderlich, wenn eine KI-Entscheidung rechtliche, finanzielle oder persönliche Konsequenzen für Menschen hat. Das ist keine bloße Empfehlung, sondern für bestimmte Anwendungsfälle eine gesetzliche Anforderung, die der EU AI Act ausdrücklich vorschreibt.

Als Faustregel gilt: Je höher der Schaden bei einer Fehlentscheidung, desto stärker muss die menschliche Aufsicht sein. Konkret sollte immer ein Mensch einbezogen werden, wenn:

• der Agent Empfehlungen zu Personalentscheidungen gibt (Einstellungen, Beförderungen, Kündigungen)
• finanzielle Transaktionen oder Vertragsabschlüsse auf KI-Ausgaben basieren
• medizinische, rechtliche oder sicherheitsrelevante Informationen verarbeitet werden
• der Agent mit externen Personen kommuniziert und dabei das Unternehmen repräsentiert
• die Ausgabe des Agenten direkt in automatisierte Folgeprozesse einfließt, ohne weitere Prüfung

Gerade bei Copilot Agents, die über Copilot Studio mit Power Automate verbunden sind und Prozesse automatisieren, ist besondere Sorgfalt geboten. Hier können Fehlentscheidungen kaskadieren, bevor jemand eingreift. Ein menschlicher Kontrollpunkt vor kritischen Aktionen ist deshalb nicht nur rechtlich klug, sondern operativ notwendig.

Wie sollten Unternehmen Copilot-Agent-Fehler dokumentieren und melden?

Fehler von Copilot Agents sollten systematisch dokumentiert werden: Was hat der Agent ausgegeben, in welchem Kontext, welche Folgen hatte das, und welche Maßnahmen wurden ergriffen. Diese Dokumentation ist sowohl für interne Lernprozesse als auch für regulatorische Anforderungen des EU AI Acts unverzichtbar.

Ein einfaches, aber wirkungsvolles Vorgehen sieht so aus:

1. Fehler erfassen: Datum, betroffener Agent, Ausgabe, genutzter Kontext und Datenquellen festhalten.
2. Auswirkungen bewerten: Wurde eine Entscheidung auf Basis der Ausgabe getroffen? Welche Konsequenzen hatte das?
3. Ursache analysieren: Lag das Problem an der Konfiguration, den Datenquellen, dem Prompt oder einem Modellverhalten?
4. Korrekturmaßnahmen einleiten: Agent anpassen, Wissensquellen aktualisieren oder Prozess unterbrechen.
5. Intern melden: Zuständige Stellen informieren, z. B. IT-Sicherheit, Datenschutzbeauftragte oder Compliance-Team.

Bei schwerwiegenden Vorfällen, etwa wenn personenbezogene Daten betroffen sind oder Dritte geschädigt wurden, können zusätzlich Meldepflichten gegenüber Aufsichtsbehörden greifen. Das betrifft insbesondere Datenschutzverletzungen nach DSGVO, die innerhalb von 72 Stunden gemeldet werden müssen.

Technische Probleme mit dem Agenten selbst, also Fehler in der Plattform oder unerwartetes Verhalten, sollten über den internen IT-Support eskaliert werden, der das Thema bei Bedarf an Microsoft weiterleiten kann.

Communardo Smart Work unterstützt Unternehmen dabei, Copilot Agents verantwortungsvoll einzuführen und zu betreiben. Als zertifizierter Microsoft-Partner begleitet Communardo Smart Work den gesamten Prozess: von der Governance-Strategie und dem strukturierten Copilot-Einführungsprozess über Datenschutz und Compliance nach DSGVO bis hin zu konkreten Maßnahmen für den sicheren Betrieb von KI-Agenten. Das Angebot umfasst unter anderem einen Copilot Readiness and Governance Health Check, KI-Strategie-Workshops sowie Enablement-Formate für Führungskräfte und Mitarbeitende. Wenn du wissen möchtest, wie dein Unternehmen Copilot Agents rechtssicher und wirksam einsetzen kann, nimm jetzt Kontakt auf.