In der Personalabteilung priorisiert eine KI eingehende Bewerbungen. Ein Büro weiter erstellt die Marketingabteilung mit ChatGPT Entwürfe für den nächsten LinkedIn-Post und im Vertrieb fasst Copilot Kundengespräche zusammen.
Auf den ersten Blick ist das alles einfach „KI im Unternehmen“. Ab 2027 ordnet der EU AI Act diese Anwendungen unter bestimmten Voraussetzungen jedoch unterschiedlich ein und knüpft daran gesetzliche Pflichten für Betreiber und Anbieter.
Inhaltsverzeichnis
Zwei potenzielle Mythen, die hier aufkommen, werden müssen vorab vom Tisch geräumt werden, um den EU AI Act richtig einzuordnen:
- „Jede KI-Nutzung ist ein Hochrisikofall.“
Nein. Ob ein System unter die strengeren Regeln fällt, hängt vor allem vom konkreten Zweck und Einsatzkontext ab. - „Nur wer eigene KI-Modelle entwickelt, ist betroffen.“
Ebenfalls nein. Auch Unternehmen, die ein fertiges System einkaufen und einsetzen, können eigene Pflichten haben.
Konkret geht es bei der folgenden Einordnung des AI Acts nicht darum, KI zu restringieren, sondern bei den Anwendungen genau hinzusehen, wie viel Verantwortung man einer KI tatsächlich überträgt.
Von AI-Skillsets bis Agenten-Systeme: KI im Unternehmen wird mehr zum Entscheidungsträger
KI im Unternehmen beginnt oft unspektakulär. Mitarbeitende lassen sich über Prompts Texte verfassen, Bilder generieren oder mit Skillsets komplexe Konzepte ausarbeiten. Häufig kommen dafür allgemeine Werkzeuge wie ChatGPT, Claude AI oder Microsoft Copilot zum Einsatz. Mittlerweile setzt laut der Bundesnetzagentur jedes fünfte Unternehmen in Deutschland KI-Technologien ein und zwei Drittel davon entwickeln ihre KI-Lösungen sogar selbst.
Das bedeutet, die Rolle von KI entwickelt sich zunehmend dahin, dass sie in Geschäftsprozesse immer mehr Verantwortung übernimmt. Aus einem einzelnen Prompt wird ein standardisierter Workflow, aus dem wiederum komplette KI-Systeme entstehen, welche Daten aus CRM-, DMS-, HR- oder ERP-Anwendungen verarbeiten. Oft endet dieser KI-Verdauungsprozess bei den sehr beliebten KI-Agenten-Systemen, die Informationen abrufen, Tools nutzen und vorbereitete Folgeaktionen anstoßen.
| Stufe | Beispiel |
|---|---|
| Assistenz | ChatGPT, Claude AI oder Copilot erstellt einen Textentwurf |
| Standardisiertes Prompting | Ein gespeicherter Prompt erzeugt wiederholt dieselbe Art des Ergebnisses |
| Systemintegration | KI verarbeitet Daten aus CRM, DMS, HR- oder ERP-Systemen |
| KI-Agent | Ein System ruft Informationen ab, nutzt Werkzeuge und stößt Folgeaktionen an |
| Bewertung | KI priorisiert, scored oder bewertet Personen |
Wichtig ist hier allerdings zu beachten, dass die Komplexität eines KI-Prozesses nicht automatisch bestimmt, welches rechtliche Risikoniveau er im Sinne des EU AI Acts einnimmt. Ein komplexer KI-Agent, der intern Informationen zusammenträgt, ist nicht zwangsläufig problematischer als ein einfaches System, das Bewerbungen sortiert.
Für den EU AI Act zählt vor allem die Frage:
Welche Daten fließen in das System ein, welche Handlung oder Entscheidung bereitet sein Ergebnis vor und welche Folgen kann das für betroffene Menschen haben?
Wann wird KI im Unternehmen zur Hochrisikofall? KI-Chat versus Bewerber-Ranking
Die Grenze verläuft also nicht zwischen „einfacher“ und „komplexer“ KI. Entscheidend ist vielmehr, ob ein System in Bereichen eingesetzt wird, in denen die Ergebnisse über Chancen, Zugang oder Sicherheit von Menschen mitentscheiden.
Ein typisches Beispiel sind KI-Systeme im Recruiting. Sie werten eingehende Bewerbungsunterlagen anhand festgelegter Kriterien aus, vergeben Eignungsscores und erstellen eine Rangfolge der Kandidaten. Die Personalabteilung verwendet diese Rangfolge, um zu entscheiden, welche Bewerbungen zuerst geprüft und welche Personen zu einem Gespräch eingeladen werden. Das Ergebnis der KI fließt damit unmittelbar in die Auswahl ein und beeinflusst den weiteren Verlauf des Bewerbungsverfahrens.
Das Recruiting ist allerdings nur einer von mehreren Bereichen, für die der EU AI Act eine gesonderte Einordnung vorsieht. Im Anhang III des EU AI Acts findet man alle Einsatzfelder aufgelistet, die genauer betrachtet werden müssen. Für die meisten mittelständischen Unternehmen sind dabei vor allem fünf Bereiche relevant:
- Beschäftigung und Personalmanagement: KI, die Bewerbungen filtert, Kandidaten rankt oder die Leistung von Beschäftigten bewertet.
- Zugang zu Krediten und Versicherungen: KI, die Kreditwürdigkeit prüft, einen Score berechnet oder Prämien für Lebens- und Krankenversicherungen bemisst.
- Bildung: KI, die über Zulassungen entscheidet oder Prüfungen bewertet.
- Kritische Infrastruktur: KI, die sicherheitsrelevante Prozesse steuert, etwa bei Energie- oder Wasserversorgung.
- Biometrie: KI, die Personen erkennt oder kategorisiert.
Bildhinweis: Diese Abbildung wurde mit generativer KI erstellt.
Einkaufen oder selbst entwickeln: Wo und wann KI-Anbieter und Betreiber in der Pflicht sind
Nicht nur der Einsatzzweck ist für die Einordnung nach dem Gesetz entscheidend, sondern auch die Rolle des Unternehmens: Ist man Anbieter oder Betreiber der KI?
| Rolle | Trifft zu, wenn ein Unternehmen … | Beispiel |
|---|---|---|
| Anbieter | ein KI-System selbst entwickelt oder ein fremdes Modell unter eigener Marke anbietet | ein SaaS-Anbieter vertreibt ein eigenes HR-Scoring-Modul |
| Betreiber | ein eingekauftes System im eigenen Betrieb einsetzt | ein Arbeitgeber nutzt ein KI-Recruiting-Tool eines SaaS-Anbieters |
Die meisten Unternehmen werden beim Einsatz eines eingekauften KI-Systems als Betreiber handeln. Dennoch entstehen auch für sie Pflichten. Nach Art. 26 EU AI Act müssen Betreiber von Hochrisiko-KI unter anderem dafür sorgen, dass:
- geschulte Personen mit echter Eingriffsbefugnis einsetzen,
- den Einsatz laufend überwachen,
- Beschäftigte vor dem Einsatz am Arbeitsplatz informieren und
- Auffälligkeiten an den Anbieter melden.
Besonders relevant wird es aber dann, wenn ein Unternehmen ein vorhandenes System wesentlich verändert oder für einen neuen Zweck einsetzt. Wer beispielsweise ein allgemeines Sprachmodell mit eigenen Daten, Prompt-Ketten, Bewertungsregeln und Agentenlogik kombiniert, um Bewerbungen eigenständig zu analysieren oder zu priorisieren, sollte die eigene rechtliche Rolle genau prüfen.
Nicht jede Konfiguration eines Standardtools macht ein Unternehmen automatisch zum Anbieter. Bei entscheidungsnahen Anwendungen kann eine weitreichende Anpassung aber dazu führen, dass weitergehende Anbieterpflichten entstehen.
KI-Nachweispflicht für Anbieter und Betreiber: Was ab dem Stichtag 2027 dokumentiert werden muss
Setzt ein Unternehmen nach der vorstehenden Einordnung ein Hochrisiko-KI-System ein, muss es dessen Einsatz nachvollziehbar organisieren. Anbieter belegen vor allem die technische Konformität ihres Systems. Betreiber müssen dagegen sicherstellen, dass die KI im Unternehmen kontrolliert eingesetzt und überwacht wird.
Für die Praxis verschafft Brüssel den Unternehmen dabei etwas mehr Luft. Für die typischen Anwendungsfälle aus Anhang III war ursprünglich ein früherer Starttermin vorgesehen, doch durch die Änderungsverordnung (EU) 2026/1744 (den sogenannten Digitalomnibus) gilt die Nachweispflicht nun verbindlich ab dem 2. Dezember 2027.
Wichtig zur Einordnung:
- Für KI im Unternehmen, als Sicherheitskomponente in bereits regulierten Produkten (wie Maschinen oder Medizinprodukten) gelten die entsprechenden Vorgaben erst ab dem 2. August 2028.
- Bestimmte Basis-Transparenzpflichten, wie etwa die Pflicht, Chatbots oder KI-generierte Inhalte kenntlich zu machen, gelten bereits seit dem 2. August 2026, völlig unabhängig von einer Hochrisiko-Einstufung.
| Wer | Was | Wie lange | Rechtsgrundlage |
|---|---|---|---|
| Anbieter | Technische Dokumentation, Qualitätsmanagement und Konformitätserklärung für Behörden bereithalten | Mindestens 10 Jahre | Art. 18 |
| Betreiber | Den Einsatz überwachen, menschliche Aufsicht sicherstellen und automatisch erzeugte Protokolle aufbewahren | Protokolle mindestens 6 Monate, sofern kein anderes Recht abweicht | Art. 26 |
| Bestimmte Betreiber bei Kreditwürdigkeitsprüfungen sowie Lebens- und Krankenversicherungen | Eine Grundrechte-Folgenabschätzung vor dem ersten Einsatz erstellen und bei wesentlichen Änderungen aktualisieren | Vor dem Einsatz und anschließend aktuell halten | Art. 27 |
Für den Büroalltag bedeutet das an diesem Punkt Entwarnung. Der Gesetzgeber verlangt kein gigantisches Prompt-Archiv für alltägliche Bürorecherchen oder flüchtige ChatGPT-Chatverläufe. Die strengen Fristen gelten gezielt für jene Systeme, die echte Entscheidungen treffen oder vorbereiten.
Tipp
Für die eigene KI im Unternehmen kann es trotzdem sinnvoll sein, bei wichtigen Automatisierungen festzuhalten, welches System, welche Version, welche Freigabe und gegebenenfalls welcher feste Prompt oder welche Bewertungslogik eingesetzt wurde.
Bildhinweis: Diese Abbildung wurde mit generativer KI erstellt.
KI-Compliance mit DMS: So bleiben Nachweise, Freigaben und Protokolle prüfbar
Dass es beim Thema KI im Unternehmen noch an allen Ecken knirscht, überrascht wenig. Laut Destatis (Statistisches Bundesamt) nennen Unternehmen vor allem fehlendes Fachwissen (71%) und rechtliche Unsicherheit (58%) als größte Hürden beim KI-Einsatz. Um das eigene Haftungsrisiko zu minimieren, braucht es daher Klarheit über folgende Punkte:
- Welches KI-System ist in welchem Prozess im Einsatz?
- Ist das Unternehmen Betreiber oder möglicherweise Anbieter?
- Wer ist für Freigabe, Überwachung und Änderungen verantwortlich?
- Welche Nachweise müssen vorliegen?
- Wo werden diese Unterlagen zentral und nachvollziehbar abgelegt?
In der Praxis liegen die wichtigen Dokumente oft verteilt in E-Mails, Teams-Chats, Projektordnern oder bei einzelnen Verantwortlichen. Im Prüfungsfall wird daraus schnell ein organisatorisches Problem.
In humbee liegen Anbieterunterlagen, Freigaben und die zugehörigen Protokollnachweise im selben Vorgang wie die digitale Personalakte oder die Kreditakte, versioniert und über die GoBD-konforme Archivierung revisionssicher abgelegt. Sollen Zuständigkeiten und Freigabewege dazu schriftlich festgehalten werden, bietet die Verfahrensdokumentation den passenden Rahmen. Ein DMS ersetzt damit keine Konformitätsbewertung nach dem AI Act und keine Prüfung, ob ein Prozess überhaupt ein Hochrisikofall ist. Es sorgt aber dafür, dass Nachweise nicht auf Postfächer, Laufwerke und einzelne Köpfe verteilt bleiben.
Fazit: KI im Unternehmen bleiben erlaubt, aber mit Pflichten für Unternehmen
Der EU AI Act verbietet KI im Unternehmen nicht. Auch Systeme, die Personal- oder Bonitätsentscheidungen vorbereiten, bleiben nach dem 2. Dezember 2027 vollkommen zulässig. Neu ist vor allem die Beweislast im Ernstfall. Wer Software dieser Tragweite einsetzt, muss Auskunft über die menschliche Aufsicht, über Freigaben und über mindestens sechs Monate lückenlose Systemprotokolle geben können.
