Eine KI lehnt einen Bewerber ab. Warum? „Das Modell hat es so entschieden.“ Eine KI vergibt keinen Kredit. Warum? „Die Algorithmen haben ein Risiko erkannt.“ Eine KI empfiehlt eine Therapie nicht. Warum? „Das System sieht keine Indikation.“ Die Antwort ist immer dieselbe: Wir wissen es nicht. Black Box.
Was ist eine Black Box?
Eine Black Box ist ein System, dessen innere Funktionsweise nicht nachvollziehbar ist. Input rein, Output raus. Was dazwischen passiert, bleibt verborgen. Bei KI ist das besonders problematisch: Die Modelle treffen Entscheidungen, aber niemand kann erklären, warum.
GPT-4 hat 1,76 Billionen Parameter. Das sind mathematische Gewichtungen, die bestimmen, wie das Modell auf Eingaben reagiert. Welcher Parameter welche Rolle spielt, wissen selbst die Entwickler nicht genau. Das Modell wurde trainiert, nicht programmiert. Es hat gelernt, nicht wurde ihm beigebracht.
Das macht Nachvollziehbarkeit unmöglich. Wenn GPT-4 einen Text generiert, können Sie nicht rekonstruieren, warum es Wort A statt Wort B gewählt hat. Das Modell „weiß“ es selbst nicht. Es hat statistisch berechnet, dass A wahrscheinlicher ist als B. Warum A wahrscheinlicher ist, bleibt unklar.
Der EU AI Act fordert Transparenz
Art. 13 EU AI Act schreibt für Hochrisiko-KI Transparenzpflichten vor. Nutzer müssen verstehen, wie das System funktioniert, welche Daten es nutzt, wie es Entscheidungen trifft. Bei Black-Box-Systemen ist das nicht möglich.
Konkret verlangt der AI Act: „Hochrisiko-KI-Systeme sind so zu gestalten und zu entwickeln, dass ihre Funktionsweise hinreichend transparent ist, um den Nutzern eine sachgerechte Interpretation der Ergebnisse des Systems zu ermöglichen.“
OpenAI, Google, Anthropic erfüllen diese Anforderung nicht. Ihre Modelle sind proprietär, der Code ist geschlossen, die Trainingsdaten sind geheim. Sie können nicht erklären, warum GPT-4 eine bestimmte Antwort gibt. Sie können nur sagen: Das Modell hat es berechnet.
Mistral AI: Open Source als Lösung
Mistral AI aus Paris macht den Code seiner Modelle öffentlich. Auf GitHub können Entwickler einsehen, wie die Modelle aufgebaut sind, wie sie trainiert wurden, welche Daten genutzt wurden. Das ist keine Wohltätigkeit, sondern regulatorische Voraussicht. Der EU AI Act wird Transparenz erzwingen. Mistral ist vorbereitet.
Arthur Mensch, CEO von Mistral AI, sagte 2024: „Open Source ist nicht nur Philosophie. Es ist Compliance. Wenn Regulierung Transparenz verlangt, müssen Modelle nachvollziehbar sein. Closed Source wird zum Haftungsrisiko.“
Aleph Alpha: Explainability Features
Aleph Alpha bietet „Explainability“ als Feature. Das System kann zu jeder Antwort anzeigen, welche Textpassagen aus den Trainingsdaten die Entscheidung beeinflusst haben. Das ist keine vollständige Erklärung – die innere Funktionsweise bleibt komplex – aber es ist nachvollziehbar.
Für Hochrisiko-Anwendungen ist das entscheidend. Wenn eine KI einen Bewerber ablehnt, muss das Unternehmen erklären können, warum. „Die KI hat es so entschieden“ reicht nicht. Das Allgemeine Gleichbehandlungsgesetz (AGG) verlangt, dass Diskriminierung ausgeschlossen werden kann. Eine Black Box kann das nicht garantieren.
Warum Intransparenz zum Problem wurde
Amazon entwickelte 2018 ein KI-System für HR-Screening. Es sollte Bewerbungen analysieren und die besten Kandidaten identifizieren. Das System bevorzugte systematisch Männer. Warum? Niemand wusste es. Das Modell hatte gelernt, dass in den Trainingsdaten (vergangene Einstellungen) mehr Männer erfolgreich waren. Also bevorzugte es Männer. Amazon musste das System einstellen.
COMPAS, ein US-System zur Rückfallprognose bei Straftätern, diskriminierte systematisch Schwarze. Studien zeigten: Bei gleicher Vorgeschichte bekamen Schwarze höhere Rückfallscores als Weiße. Warum? Black Box. Die Entwickler konnten es nicht erklären.
Diese Fälle zeigen: Intransparenz ist nicht nur ein theoretisches Problem. Es führt zu realer Diskriminierung. Und niemand kann es verhindern, weil niemand versteht, wie die Entscheidung zustande kommt.
Was Unternehmen tun müssen
Ab August 2026 verlangt der EU AI Act bei Hochrisiko-KI Dokumentation der Entscheidungswege. Unternehmen müssen nachweisen können, wie ihre KI funktioniert. Black-Box-Systeme erfüllen diese Anforderung nicht.
US-Anbieter arbeiten an Lösungen. Aber die Grundarchitektur bleibt: geschlossene Modelle, proprietärer Code, keine Einblicke. Europäische Anbieter bauen Transparenz von Anfang an ein. Open Source bei Mistral, Explainability bei Aleph Alpha, dokumentierte Entscheidungswege bei BRYTER.
Der Unterschied ist nicht technisch, sondern regulatorisch. Europa fordert Transparenz. Also bauen europäische Anbieter transparente Systeme. Die USA fordern es nicht. Also bleiben US-Systeme Black Boxes.
Die Frage ist: Können Sie es sich leisten, Hochrisiko-Entscheidungen einer Black Box zu überlassen? Ab 2026 rechtlich nicht mehr. Aber auch vorher ethisch fragwürdig.

Woah! I’m really loving the template/theme of this website.
It’s simple, yet effective. A lot of times it’s very hard to
get that „perfect balance“ between usability and appearance.
I must say you’ve done a great job with this.
In addition, the blog loads super fast for me on Firefox.
Outstanding Blog!