Tech

Hochrisiko KI Systeme Beispiele: 12 Fälle aus dem Mittelstand

Hochrisiko KI Systeme Beispiele: 12 Praxisfälle aus Personal, Finanzen und Produktion, die Grenzfälle und deine Betreiberpflichten ab Dezember 2027.

Von Redaktion Tech 10 Min. Lesezeit
Symbolbild für Hochrisiko KI Systeme Beispiele im Unternehmen
Foto: Wendelin Jacober / Openverse (CC0 1.0)

Hochrisiko KI Systeme Beispiele findest du im Mittelstand an Stellen, an denen kaum jemand mit strenger Regulierung rechnet: in der Bewerbersoftware der Personalabteilung, im Bonitätsmodul des Onlineshops oder in der Lernplattform der eigenen Akademie. Die KI-Verordnung der EU ordnet solche Anwendungen der höchsten erlaubten Risikostufe zu. Ab dem 2. Dezember 2027 gelten für sie umfangreiche Pflichten.

Zusammengefasst: Typische Beispiele sind Software zur Bewerberauswahl, KI zur Leistungsbewertung von Beschäftigten, Kreditscoring von Privatkunden und automatische Prüfungsbewertung in der Ausbildung. Hinzu kommen KI-Funktionen in Medizinprodukten und Sicherheitsbauteile in Versorgungsnetzen.

Dieser Beitrag zeigt dir zwölf konkrete Praxisfälle aus Personal, Finanzen, Ausbildung, Infrastruktur und Produktion. Du erfährst außerdem, welche Grenzfälle es gibt, wann eine Ausnahme greift und was du als Betreiber bis Ende 2027 vorbereiten solltest. Einen Überblick über alle vier Stufen liefert unser Beitrag zu den Risikoklassen im EU AI Act.

Was macht ein KI-System zum Hochrisiko-System?

Die KI-Verordnung (EU) 2024/1689 kennt zwei Wege in die Hochrisiko-Klasse. Der erste führt über Anhang I: KI ist Sicherheitsbauteil eines Produkts oder selbst ein Produkt, das unter bestimmte EU-Produktvorschriften fällt und eine Konformitätsbewertung durch Dritte braucht. Beispiele sind Medizinprodukte, Aufzüge oder Spielzeug.

Der zweite Weg führt über Anhang III. Dort listet die Verordnung acht Bereiche, in denen KI-Anwendungen grundsätzlich als hochriskant gelten: Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, Zugang zu wesentlichen Dienstleistungen, Strafverfolgung, Migration sowie Justiz und demokratische Prozesse. Für Unternehmen der Privatwirtschaft sind vor allem die ersten fünf relevant.

Entscheidend ist dabei nicht die Technik, sondern der Verwendungszweck. Dasselbe Sprachmodell kann im Marketing harmlos sein und in der Bewerberauswahl hochriskant. Genau deshalb helfen Hochrisiko KI Systeme Beispiele mehr als abstrakte Definitionen.

Die neuen Fristen nach dem Digital Omnibus

Ursprünglich sollten die Pflichten ab August 2026 gelten. Mit dem Vereinfachungspaket hat die EU die Termine verschoben. Der Rat der EU hat die Änderung am 29. Juni 2026 endgültig gebilligt:

  • Eigenständige Hochrisiko-Systeme nach Anhang III: ab dem 2. Dezember 2027.
  • Hochrisiko-KI in Produkten nach Anhang I: ab dem 2. August 2028.
  • Maschinen: Produkte nach der Maschinenverordnung sollen nicht mehr direkt unter den AI Act fallen. Anforderungen an KI kommen dort über das Maschinenrecht.

Hochrisiko KI Systeme Beispiele: 12 Fälle aus der Praxis

Die folgenden Hochrisiko KI Systeme Beispiele orientieren sich an Anhang III und Anhang I. Sie zeigen typische Anwendungen in mittelständischen Unternehmen. Ob ein konkretes Tool tatsächlich darunter fällt, hängt immer vom genauen Einsatzzweck ab.

Nr.BeispielBereichRechtsgrundlage
1Software, die Bewerbungen filtert oder Kandidaten ranktPersonalAnhang III Nr. 4
2Gezielte Schaltung von Stellenanzeigen per KIPersonalAnhang III Nr. 4
3KI-Auswertung von Video-InterviewsPersonalAnhang III Nr. 4
4Leistungsbewertung und Überwachung von BeschäftigtenPersonalAnhang III Nr. 4
5Aufgabenverteilung nach Verhalten oder PersönlichkeitsmerkmalenPersonalAnhang III Nr. 4
6Kreditscoring von Privatkunden, etwa beim RatenkaufFinanzenAnhang III Nr. 5
7Risikobewertung und Preisgestaltung in Lebens- und KrankenversicherungFinanzenAnhang III Nr. 5
8Automatische Bewertung von Prüfungen in der beruflichen BildungAusbildungAnhang III Nr. 3
9Zulassungsentscheidungen für WeiterbildungsprogrammeAusbildungAnhang III Nr. 3
10KI als Sicherheitsbauteil in Strom-, Gas-, Wasser- oder WärmenetzenInfrastrukturAnhang III Nr. 2
11Biometrische Fernidentifizierung oder Kategorisierung von PersonenBiometrieAnhang III Nr. 1
12KI-Funktion in einem MedizinproduktProdukteAnhang I

Personal: der häufigste Brennpunkt

Fünf der zwölf Beispiele betreffen die Personalarbeit. Das ist kein Zufall. Die Verordnung erfasst ausdrücklich KI für Einstellung und Auswahl, für Entscheidungen über Beförderung und Kündigung, für die Zuweisung von Aufgaben und für die Überwachung und Bewertung von Leistung.

In der Praxis betrifft das viele gängige Tools. Ein Bewerbermanagementsystem, das Lebensläufe automatisch nach Passung sortiert, ist ein klassischer Fall. Ebenso eine Software, die Video-Interviews auswertet und Kandidaten Punkte gibt. Auch eine Schichtplanung, die Aufgaben nach individuellem Verhalten zuteilt, kann darunter fallen.

Wichtig für dich als Arbeitgeber: Beim Einsatz solcher Systeme am Arbeitsplatz musst du Beschäftigte und ihre Vertretung vorab informieren. Welche Mitbestimmungsrechte der Betriebsrat zusätzlich hat, erklärt unser Beitrag zu Betriebsrat und KI im Unternehmen.

Finanzen und Versicherungen

Bewertet eine KI die Kreditwürdigkeit natürlicher Personen oder erstellt ein Kreditscoring, gilt sie als hochriskant. Das betrifft nicht nur Banken. Auch ein Händler, der beim Ratenkauf ein eigenes KI-Scoring einsetzt, kann betroffen sein. Ausdrücklich ausgenommen ist KI, die allein der Aufdeckung von Finanzbetrug dient.

In der Versicherung sind Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen erfasst. Für Betreiber dieser Systeme kommt eine zusätzliche Pflicht hinzu: eine Grundrechte-Folgenabschätzung vor der ersten Nutzung.

Abstrakte Darstellung von Daten und Algorithmen in einem KI-System
Foto: Wendelin Jacober / Openverse (CC0 1.0)

Ausbildung und Weiterbildung

Viele Mittelständler betreiben eigene Akademien oder Lernplattformen. Bewertet dort eine KI Lernergebnisse, entscheidet über den Zugang zu Programmen oder überwacht Prüfungen auf Täuschung, liegt ein Hochrisiko-Fall nahe. Der Grund: Solche Entscheidungen prägen Bildungs- und Berufswege.

Eine KI, die Lernenden Inhalte vorschlägt oder Fragen beantwortet, ist dagegen in der Regel kein Hochrisiko-System. Es kommt darauf an, ob die KI über Menschen urteilt oder sie nur unterstützt.

Infrastruktur, Biometrie und Produkte

Stadtwerke, Netzbetreiber und Versorger müssen prüfen, ob KI als Sicherheitsbauteil im Betrieb von Strom-, Gas-, Wasser- oder Wärmenetzen eingesetzt wird. Eine KI, die nur Verbräuche prognostiziert, ist etwas anderes als eine KI, die Schaltvorgänge im Netz steuert.

Bei Biometrie ist die Unterscheidung besonders wichtig. Biometrische Fernidentifizierung und Kategorisierung sind hochriskant. Eine reine Verifizierung, bei der jemand bestätigt, dass er die Person ist, für die er sich ausgibt, ist von Anhang III ausgenommen. Datenschutzrechtlich bleibt sie trotzdem anspruchsvoll.

Hersteller von Medizinprodukten, Aufzügen oder Spielzeug mit KI-Funktionen fallen über Anhang I in die Hochrisiko-Klasse. Für sie gilt die spätere Frist im August 2028.

Industrieroboter: KI in Produkten ist ein Grenzfall unter den Hochrisiko KI Systeme Beispiele
Foto: Oleg Yunakov / Openverse (CC BY-SA 4.0)

Grenzfälle: Was nicht hochriskant ist

Nicht jede KI in einem sensiblen Bereich ist automatisch hochriskant. Die Verordnung sieht in Artikel 6 Absatz 3 Ausnahmen vor. Ein System aus Anhang III gilt danach nicht als hochriskant, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte birgt. Das ist der Fall, wenn die KI

  • nur eine eng begrenzte Verfahrensaufgabe erledigt, etwa unstrukturierte Dokumente in Kategorien einordnet,
  • das Ergebnis einer bereits abgeschlossenen menschlichen Tätigkeit verbessert, etwa den Stil eines Textes glättet,
  • Muster oder Abweichungen erkennt, ohne eine menschliche Bewertung ohne angemessene Prüfung zu ersetzen oder zu beeinflussen,
  • eine vorbereitende Aufgabe für eine Bewertung übernimmt, etwa Übersetzungen oder Dateiablage.

Eine wichtige Einschränkung gilt immer: Führt ein System ein Profiling natürlicher Personen durch, bleibt es hochriskant. Wer sich auf eine Ausnahme beruft, muss seine Bewertung als Anbieter dokumentieren und das System registrieren.

Typische Grenzfälle aus dem Alltag

  • Chatbot im Kundenservice: kein Hochrisiko-System, aber Transparenzpflicht. Kunden müssen wissen, dass sie mit einer KI sprechen.
  • Absatz- und Lagerprognosen: in der Regel minimales Risiko, weil keine Entscheidungen über Menschen fallen.
  • Predictive Maintenance: meist kein Hochrisiko-Fall, solange die KI kein Sicherheitsbauteil eines regulierten Produkts ist.
  • Emotionserkennung am Arbeitsplatz: nicht hochriskant, sondern seit Februar 2025 grundsätzlich verboten, mit Ausnahmen für medizinische und Sicherheitsgründe.
  • Textassistent für Stellenanzeigen: formuliert nur Texte, die ein Mensch freigibt, und fällt damit eher unter die Ausnahme der Verbesserung menschlicher Arbeit.

Diese Hochrisiko KI Systeme Beispiele und Grenzfälle zeigen: Die Einordnung braucht einen genauen Blick auf den Prozess. Ein und dasselbe Produkt kann je nach Konfiguration auf beiden Seiten der Linie landen.

Was du als Betreiber bis Dezember 2027 tun musst

Die meisten Mittelständler entwickeln keine eigene KI, sondern kaufen Software ein. Sie sind damit Betreiber, nicht Anbieter. Die schwersten Pflichten wie Konformitätsbewertung und technische Dokumentation trägt der Anbieter. Betreiber haben aber eigene, gut umsetzbare Aufgaben.

  • Bestimmungsgemäße Nutzung: Setze das System nur nach der Gebrauchsanweisung des Anbieters ein.
  • Menschliche Aufsicht: Benenne Personen, die das System überwachen und über die nötige Kompetenz, Schulung und Befugnis verfügen.
  • Eingabedaten: Sorge dafür, dass die Daten, die du einspeist, für den Zweck relevant und ausreichend repräsentativ sind.
  • Überwachung und Meldung: Beobachte den Betrieb und melde schwerwiegende Vorfälle an Anbieter und Behörden.
  • Protokolle aufbewahren: Bewahre automatisch erzeugte Logs mindestens sechs Monate auf, soweit sie unter deiner Kontrolle stehen.
  • Information: Informiere Beschäftigte vor dem Einsatz am Arbeitsplatz und Betroffene, über die das System Entscheidungen vorbereitet.

Die menschliche Aufsicht setzt Kompetenz voraus. Die Pflicht zur KI-Kompetenz gilt bereits seit Februar 2025 für alle Unternehmen, die KI einsetzen. Wie du sie aufbaust, zeigt unser Beitrag zur Schulungspflicht im EU AI Act.

Vorsicht beim Umbau eingekaufter Systeme

Ein Detail wird oft übersehen: Wer ein eingekauftes System wesentlich verändert oder unter eigenem Namen anbietet, kann selbst zum Anbieter werden. Dasselbe gilt, wenn du ein allgemeines KI-Tool für einen Hochrisiko-Zweck umwidmest, etwa einen Chatbot für die Bewerbervorauswahl. Dann treffen dich die vollen Anbieterpflichten.

Prüfe deshalb vor jeder Eigenentwicklung oder Konfiguration, ob du die Rolle wechselst. Das gilt besonders für Projekte, die IT oder Fachabteilungen in Eigenregie mit Sprachmodellen aufsetzen.

Wer im Unternehmen was prüfen sollte

Die Hochrisiko KI Systeme Beispiele verteilen sich über mehrere Abteilungen. Deshalb funktioniert die Einordnung nur, wenn jede Fachabteilung ihren Teil beiträgt. Eine klare Aufgabenteilung sieht so aus:

  • Personalabteilung: prüft Bewerbermanagement, Interview-Tools, Leistungsbewertung, Schicht- und Einsatzplanung sowie Software für Beförderungs- und Trennungsentscheidungen.
  • Finanzen und Vertrieb: prüfen Scoring-Funktionen bei Ratenkauf, Leasing oder Kundenkrediten für Privatpersonen.
  • Akademie und Ausbildung: prüfen Lernplattformen, Prüfungssoftware und Auswahlverfahren für Programme.
  • Technik und Produktentwicklung: prüfen KI-Funktionen in eigenen Produkten und in sicherheitsrelevanten Anlagen.
  • IT und Einkauf: führen das zentrale Inventar, fragen Anbieter nach Einstufungen und verankern Pflichten in Verträgen.

Viele Unternehmen bündeln diese Arbeit bei einer zentralen Person. Wichtig ist, dass die zentrale Stelle die Hochrisiko KI Systeme Beispiele kennt und Fachabteilungen gezielt danach fragt.

Was bei Verstößen droht

Die KI-Verordnung sieht empfindliche Bußgelder vor. Verstöße gegen Pflichten für Hochrisiko-Systeme können mit bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes geahndet werden. Bei verbotenen Praktiken liegt die Obergrenze höher. Für kleine und mittlere Unternehmen gilt jeweils der niedrigere der beiden Beträge.

Neben Bußgeldern zählen die praktischen Folgen. Ein Bewerbungstool, das Kandidaten unzulässig benachteiligt, kann zu Klagen nach dem Gleichbehandlungsrecht führen. Ein fehlerhaftes Scoring belastet Kundenbeziehungen. Wer die Hochrisiko KI Systeme Beispiele aus seinem Haus früh identifiziert, reduziert beide Risiken.

In 5 Schritten zur eigenen Hochrisiko-Liste

Mit den Hochrisiko KI Systeme Beispiele im Kopf kannst du deine eigene Landschaft systematisch prüfen. Diese fünf Schritte haben sich bewährt.

1. KI-Inventar erstellen

Erfasse alle Anwendungen mit KI-Funktionen, auch in Standardsoftware. Frag Fachabteilungen aktiv nach Tools, die sie selbst eingeführt haben. Viele Hochrisiko-Kandidaten stecken in Modulen, die bei einem Update dazugekommen sind.

2. Verwendungszweck beschreiben

Halte pro System fest, wofür es genutzt wird und ob es Entscheidungen über Menschen vorbereitet oder trifft. Diese Beschreibung ist die Grundlage für jede weitere Einordnung.

3. Mit Anhang III abgleichen

Vergleiche jeden Einsatzzweck mit den acht Bereichen aus Anhang III und mit der Liste der Hochrisiko KI Systeme Beispiele in diesem Beitrag. Markiere Treffer und unklare Fälle.

4. Anbieter in die Pflicht nehmen

Frage bei Anbietern markierter Systeme nach ihrer Einstufung, der geplanten Konformitätsbewertung und der Gebrauchsanweisung. Nimm entsprechende Zusagen in Verträge und Verlängerungen auf.

5. Betreiberpflichten organisieren

Lege fest, wer die menschliche Aufsicht übernimmt, wie Logs gespeichert werden und wie Beschäftigte informiert werden. Plane dafür realistisch mehrere Monate ein. Der 2. Dezember 2027 klingt fern, ist bei Einkaufs- und Vertragszyklen aber knapp.

Häufige Fragen zu Hochrisiko KI Systeme Beispiele

Was sind Beispiele für Hochrisiko-KI-Systeme?

Typische Beispiele sind Software zur Bewerberauswahl, KI zur Leistungsbewertung von Beschäftigten, Kreditscoring von Privatkunden und automatische Prüfungsbewertung in der Ausbildung. Hinzu kommen KI-Funktionen in Medizinprodukten und Sicherheitsbauteile in Versorgungsnetzen.

Ab wann gelten die Pflichten für Hochrisiko-KI?

Für eigenständige Hochrisiko-Systeme nach Anhang III gelten die Pflichten ab dem 2. Dezember 2027. Für KI in Produkten nach Anhang I gilt der 2. August 2028.

Ist ein Chatbot ein Hochrisiko-KI-System?

In der Regel nicht. Ein Chatbot im Kundenservice unterliegt vor allem Transparenzpflichten. Wird er aber für einen Hochrisiko-Zweck wie die Bewerbervorauswahl eingesetzt, kann er hochriskant werden.

Welche Pflichten haben Unternehmen als Betreiber?

Betreiber müssen das System bestimmungsgemäß nutzen, menschliche Aufsicht sicherstellen, Eingabedaten prüfen, Logs aufbewahren und Beschäftigte informieren. Bei Kreditscoring und bestimmten Versicherungen kommt eine Grundrechte-Folgenabschätzung hinzu.

Gibt es Ausnahmen von der Hochrisiko-Einstufung?

Ja. Nach Artikel 6 Absatz 3 gilt ein System nicht als hochriskant, wenn es etwa nur eine eng begrenzte Verfahrensaufgabe erledigt oder menschliche Arbeit vorbereitet. Führt es ein Profiling von Personen durch, bleibt es aber immer hochriskant.

Ressort Tech

Redaktion Tech

Software, KI, Cybersicherheit und digitale Werkzeuge: Die Redaktion Tech prüft, was Unternehmen technisch weiterbringt, und erklärt es ohne Fachjargon.

Newsletter

Das Manager Journal Briefing

Die wichtigsten Analysen für Entscheider – kompakt und werktags in Ihrem Postfach.

Mehr erfahren
Nach oben scrollen