KI entscheidet – doch wer haftet?

Auch in der Schweiz trifft künstliche Intelligenz zunehmend eigenständig Entscheidungen – in Verwaltungen, bei Versicherungen, in Banken und zunehmend auch im juristischen Umfeld. Die Systeme priorisieren Dossiers, bewerten Risiken oder schlagen konkrete Massnahmen vor. Doch je leistungsfähiger diese Anwendungen werden, desto schwieriger wird es, ihre Entscheidungsfindung nachzuvollziehen – und zu klären, wer letztlich die Verantwortung trägt.

Diese Entwicklung bringt ein Spannungsfeld mit sich, das auch hierzulande an Brisanz gewinnt: Auf der einen Seite stehen Effizienzgewinne und Kostendruck, auf der anderen Seite stehen Fragen nach Kontrolle, Transparenz und Haftung. Gerade in sensiblen Bereichen wie Sozialversicherungen, Steuerverfahren oder der Strafverfolgung kann die zunehmende Automatisierung weitreichende Folgen für Betroffene haben.

Vor diesem Hintergrund hat der Softwareanbieter Pegasystems sechs Prinzipien für die Zusammenarbeit von Mensch und KI formuliert. Was zunächst wie ein typisches PR-Listicle erscheint, berührt zentrale Fragen, mit denen sich auch Schweizer Behörden und Unternehmen konfrontiert sehen.

Florian Lauck-Wunderlich, Pegasystems

Im Kern steht die Forderung, dass die Verantwortung beim Menschen bleiben soll. KI könne Entscheidungen vorbereiten, aber nicht verantworten. „Eine produktive und sichere Zusammenarbeit von Mensch und KI entsteht nicht von selbst. Sie erfordert klare Prinzipien, eine bewusste Gestaltung und ein tiefes Verständnis für die jeweiligen Stärken und Grenzen“, erklärt Florian Lauck-Wunderlich, Global Director Business Excellence bei Pegasystems. „Wie diese Zusammenarbeit konkret aussieht, hängt natürlich immer vom Kontext ab: von der Aufgabe, den Risiken und den Zielen. Es gibt keine universellen Lösungen, sondern nur individuell passende Ausprägungen.“

Bundesgericht in Lausanne

Grenzen verschwimmen

Dieses Prinzip ist insbesondere für die Schweiz relevant, da staatliches Handeln hier stark an rechtsstaatliche Prinzipien gebunden ist. Entscheidungen müssen nachvollziehbar, überprüfbar und anfechtbar sein. Doch genau hier entsteht ein Problem: Wenn eine Empfehlung eines Algorithmus von Sachbearbeitenden übernommen wird, verschwimmt die Grenze zwischen menschlicher und maschineller Entscheidung.

Ein Beispiel dafür sind automatisierte Risikobewertungen bei Versicherungen oder im Kreditwesen. Auch in der Schweiz setzen Unternehmen zunehmend auf solche Systeme, um Anträge effizienter zu prüfen. Formal entscheidet zwar weiterhin ein Mensch, faktisch folgt er jedoch oft der Einschätzung des Algorithmus. Die Verantwortung bleibt damit zwar auf dem Papier beim Menschen, verschiebt sich in der Praxis aber teilweise in Richtung System.

Eng damit verbunden ist das Konzept des „Human in the Loop“, also der menschlichen Kontrolle über KI-Systeme. Laut Pegasystems soll diese nicht nur am Ende eines Prozesses stattfinden, sondern entlang des gesamten Lebenszyklus – von der Entwicklung bis zum Einsatz. In der Realität zeigt sich jedoch, dass diese Kontrolle häufig an ihre Grenzen stösst. Gerade bei komplexen Modellen oder bei Echtzeitentscheidungen fehlt oft die Möglichkeit, jeden einzelnen Schritt nachzuvollziehen oder zu überprüfen.

Diese Problematik könnte auch für die öffentliche Verwaltung in der Schweiz an Bedeutung gewinnen. Erste Anwendungen zur Unterstützung von Entscheidungsprozessen, etwa bei der Priorisierung von Fällen oder der Analyse grosser Datenmengen, sind bereits im Einsatz oder in Planung. Je stärker solche Systeme integriert werden, desto wichtiger wird die Frage, wie echte Kontrolle sichergestellt werden kann und wie verhindert werden kann, dass Mitarbeitende Entscheidungen unkritisch übernehmen.

Equinix-Rechenzentrum (Bild: zVg)

Zu viel Spielraum

Besonders heikel ist der Einsatz sogenannter agentenbasierter KI. Diese Systeme agieren zunehmend autonom, verfolgen definierte Ziele und treffen eigenständig Entscheidungen innerhalb eines vorgegebenen Rahmens. Selbst Pegasystems warnt davor, diesen Systemen zu viel Spielraum zu geben. Ohne klare Regeln und Begrenzungen drohten Stabilitätsprobleme und ein Verlust an Vorhersehbarkeit.

Für regulierte Branchen wie den Finanzsektor oder das Gesundheitswesen ist das ein zentrales Thema. In der Schweiz unterliegen Banken und Versicherungen beispielsweise durch die FINMA strengen Vorgaben. Der Einsatz autonomer Systeme wirft hier neue Fragen auf: Wie lassen sich Entscheidungen auditieren? Wie kann sichergestellt werden, dass regulatorische Anforderungen eingehalten werden? Und wer haftet im Fehlerfall?

Neben den technischen Herausforderungen betont Pegasystems auch die Bedeutung von „AI Literacy“, also dem Verständnis für die Funktionsweise und die Grenzen von KI. Diese Kompetenz wird zunehmend zur Voraussetzung für den verantwortungsvollen Einsatz von Technologie. Auch in der Schweiz wächst der Druck auf Organisationen, entsprechendes Know-how aufzubauen.

Gerade in kleineren Verwaltungen oder Unternehmen dürfte dies jedoch eine Herausforderung darstellen. Während grosse Konzerne eigene KI-Teams aufbauen, fehlen vielerorts die Ressourcen und das Fachwissen, um Systeme fundiert zu beurteilen. Es besteht die Gefahr, dass Entscheidungen auf Basis von Technologien getroffen werden, die intern kaum jemand wirklich versteht.

KI wird Teil eines Teams

Hinzu kommt ein grundlegender Wandel in der Zusammenarbeit. KI entwickelt sich vom Werkzeug zum aktiven Bestandteil von Teams. Sie liefert Empfehlungen, priorisiert Aufgaben und beeinflusst Entscheidungen. In der Praxis kann das dazu führen, dass sich Mitarbeitende zunehmend auf algorithmische Vorschläge verlassen – insbesondere unter Zeitdruck oder bei hoher Komplexität.

Gerade in Bereichen wie der Justiz oder der Verwaltung stellt sich somit eine zentrale Frage: Wie lässt sich verhindern, dass menschliche Urteilsfähigkeit schleichend durch automatisierte Systeme ersetzt wird? Und wie kann sichergestellt werden, dass Entscheidungen weiterhin individuell geprüft und begründet werden?

Auch regulatorisch ist die Schweiz gefordert. Während die EU mit dem AI Act bereits konkrete Vorgaben macht, verfolgt die Schweiz bislang einen sektoralen Ansatz. Dennoch ist klar: Schweizer Unternehmen, die im europäischen Markt tätig sind, werden sich an den dortigen Regeln orientieren müssen. Themen wie Transparenz, Risikobewertung und menschliche Kontrolle werden damit auch hierzulande verbindlicher.

Die von Pegasystems formulierten Prinzipien bieten dafür eine Orientierung, bleiben aber auf einer abstrakten Ebene. Die eigentliche Herausforderung liegt in der Umsetzung. Denn je komplexer und autonomer KI-Systeme werden, desto schwieriger wird es, die geforderte Kontrolle tatsächlich sicherzustellen.

Für die Schweiz bedeutet das: Der Einsatz von KI ist nicht nur eine Frage der Effizienz, sondern auch eine Frage der Governance. Unternehmen und Behörden müssen klären, wie Verantwortung, Kontrolle und Transparenz konkret organisiert werden, bevor sich neue Abhängigkeiten und Risiken verfestigen.

Denn eines zeichnet sich bereits ab: Die technologische Entwicklung schreitet schneller voran als die organisatorischen und regulatorischen Antworten darauf. Die Frage ist nicht mehr, ob KI Entscheidungen beeinflusst, sondern wie viel Entscheidungsmacht wir ihr in Zukunft tatsächlich überlassen wollen.

Die sechs vorgeschlagenen Leitprinzipien von Pegasystems:

1. KI entscheidet schnell, der Mensch verantwortungsvoll. KI kann in kürzester Zeit grosse Datenmengen verarbeiten und daraus Entscheidungen ableiten. Aber verantwortungsvolle Entscheidungen erfordern mehr als Daten und Wahrscheinlichkeiten: Sie basieren auf Faktoren wie komplexen Wertsystemen, implizitem Wissen und Erfahrung, die sich nur schwer vollständig formalisieren lassen. Deshalb kann KI zwar Entscheidungen vorbereiten, die Verantwortung dafür muss beim Menschen verbleiben.
2. Menschliche Kontrolle ist ein Sicherheitsnetz. Die menschliche Verantwortung für die Entscheidungen macht menschliche Kontrolle unverzichtbar. Der „Human in the Loop“ ist kein optionales Feature, sondern eine grundlegende Voraussetzung für den sicheren Einsatz von KI. Diese Kontrolle sollte nicht nur am Ende eines Prozesses stattfinden, sondern entlang des gesamten Lebenszyklus: vom Design über das Training bis zum operativen Einsatz von KI.
3. Agentenbasierte KI braucht klare Regeln. Mit der zunehmenden Verbreitung agentenbasierter KI wächst die Versuchung, Systeme möglichst autonom agieren zu lassen. KI-Agenten benötigen aber von Menschen definierte Mandate, feste Regeln und eine Einbettung in kontrollierte Abläufe. Völlig autonome Agenten verlieren mit wachsendem Kontext an Stabilität und Vorhersehbarkeit und bieten dadurch keine verlässliche Grundlage für den Einsatz in Unternehmen.
4. AI Literacy wird zur Kernkompetenz für alle. Mit der wachsenden Verbreitung von KI wird ein Verständnis ihrer Funktionsweise, Stärken und Grenzen zur Schlüsselkompetenz. Jede Rolle benötigt dabei ein für ihren jeweiligen Aufgabenbereich angemessenes Verständnis. Anwender müssen einschätzen können, wann Ergebnisse plausibel und vertrauenswürdig sind, Fachbereiche müssen ihre Anforderungen so formulieren können, dass sie sich sinnvoll umsetzen lassen, und Entwickler wiederum benötigen ein tiefes Verständnis für die technischen Zusammenhänge und die Qualität der Ergebnisse.
5. Technische und soziale Kompetenzen sind entscheidend. Der Einsatz von KI ist keine rein technische Herausforderung. Es handelt sich um ein sozio-technisches System, in dem Technologie und menschliche Faktoren eng miteinander verzahnt sind. Technische Exzellenz reicht nicht aus, wenn sie nicht durch Kommunikation, Verständnis und Zusammenarbeit ergänzt wird. Die Einführung von KI ist daher immer auch ein Change-Projekt, das nicht nur Systeme, sondern Organisationen, Arbeitsweisen und Denkmodelle betrifft.
6. Zusammenarbeit im Team ist erfolgskritisch. Mit ihrer fortschreitenden Entwicklung wird KI von einem Werkzeug zunehmend zu einem aktiven Bestandteil von Teams. Sie übernimmt Aufgaben, liefert Impulse und beeinflusst Entscheidungen. Damit verändert sich die Art der Team-internen Zusammenarbeit. Es braucht eine klare Rollenverteilung und ein gemeinsames Verständnis dafür, wer welche Aufgaben übernimmt. Mensch und Maschine arbeiten nicht nebeneinander her, sondern zusammen und überlappen sich dabei.