Mendix Meetup Insights: Kontrolle basiert auf Grenzen, nicht auf blindem Vertrauen

Teil 2 von 4, vom Mendix Community Round Table in Amersfoort am 2. Juni 2026. In Teil 1 ging es um die Frage, welche Aufgaben dem Berater noch bleiben; hier fragen wir, ob wir einem Agenten vertrauen können, diese zu übernehmen.

Sie gab einer KI Zugriff auf ihren Rechner und ihr Postfach und bat sie, etwas Arbeit zu erledigen. Die KI begann, echte E-Mails zu löschen – tausende davon. Sie wies sie an, aufzuhören. Die KI machte weiter. Hinterher fragte sie das System nach dem Warum. Die Antwort: Ja, ich wusste, dass es falsch war, aber ich habe es trotzdem getan.

Diese Geschichte wurde an einem Tisch am 2. Juni erzählt. Dann tauchte sie wie von selbst an einem anderen auf. Zwei Räume voller Mendix-Berater am selben Abend, die unabhängig voneinander zur gleichen warnenden Geschichte griffen.

Letztes Mal schrieb ich, dass der Agent das Gebäude übernehmen wird und unsere Aufgabe darin besteht, zu entscheiden, was es wert ist, gebaut zu werden, und hinter dem zu stehen, was wir veröffentlichen. Dies ist die nächste Frage, und die Runde konnte sie nicht ignorieren. Wenn ein Agent eigenständig handeln kann, lassen wir ihn dann?

‍

Lassen wir ihn also einfach nicht handeln?

Kurz gesagt: Das war die erste Antwort des Abends. Die einhellige Meinung am Tisch war, dass jedes agentische Feature, das wir ausliefern, einen Menschen in der Schleife haben sollte. 69 % stimmten dafür, den Agenten zu begrenzen (neun von dreizehn). Nicht, weil der Raum die Technologie für immer für gefährlich hält. Sondern weil das Vertrauen noch nicht verdient wurde – und das ist etwas anderes. Erst Vorschläge, dann beaufsichtigte Aktionen, und erst wenn eine Erfolgsbilanz vorliegt, Autonomie. Wie ein Entwickler es ausdrückte: Wenn es beweist, dass es funktioniert, gehen wir von eins zu zwei zu drei über.

Soweit, so vernünftig. Behalten Sie einen Menschen dabei, bis sich das System bewährt hat. Aber dieser Ansatz hat einen Haken, und jemand am Tisch hat den Finger genau darauf gelegt.

‍

Was das Gespräch veränderte

Das Scharfsinnigste, was den ganzen Abend gesagt wurde, hatte gar nichts mit Vertrauen zu tun. Es ging um die technische Infrastruktur.

„So wie Agenten derzeit funktionieren“, sagte ein Support-Ingenieur, „legt man einfach einen Wrapper um die gesamte API und sagt: Hier ist die API, leg mal los. Und es gibt keinen Unterschied zwischen dem Lesen von Daten und dem Löschen von Daten.“

Das ist das eigentliche Problem. Nicht, ob der Agent vertrauenswürdig ist, sondern dass wir ihm ein Werkzeug in die Hand geben, das nicht zwischen einer sicheren und einer destruktiven Aktion unterscheiden kann, und dann über den Charakter des Agenten streiten. Ändern Sie das Werkzeug, und das Argument ändert sich. Hier sind eure APIs, so die neue Perspektive, aber sie sind schreibgeschützt. Ich gebe dir nicht das Werkzeug, um etwas Gefährliches zu tun.

Eine Person wollte eine physische Lösung. Keine Einstellung, keine Zeile in einem System-Prompt. Ein echter Schalter, der gedrückt werden muss, bevor etwas Gefährliches passieren kann – und der Agent darf ihn nicht selbst drücken. Das klingt paranoid. Es klingt deutlich weniger paranoid, wenn man die E-Mail-Geschichte gehört hat.

Das ist der Schritt weg von der Begrenzung des Agenten hin zur Begrenzung der Werkzeuge. Versuchen Sie nicht, den Agenten vertrauenswürdig zu machen. Entscheiden Sie, worauf er zugreifen kann.

‍

Was Kontrolle wirklich bedeutet

Hier herrschte im Raum die größte Einigkeit. Auf die Frage, ob wir noch kontrollieren, was KI baut, kamen 86 % zu demselben Ergebnis (sechs von sieben): Es hängt von den Grenzen ab. Nicht die Antwort des Optimisten, nicht die des Pessimisten. Die des Ingenieurs.

Die Begründung war konkret und in beiden Räumen identisch. Begrenzen Sie die Werkzeuge, die der Agent erhält. Trennen Sie Lesezugriffe von destruktiven Aktionen. Sorgen Sie für Backups und Wiederherstellungspfade. Setzen Sie einen Menschen vor alles, was nicht rückgängig gemacht werden kann. Ein Berater zog die Grenze präzise: Aufträge zu erstellen ist kein Problem; Aufträge zu löschen hingegen schon. Lassen Sie den Agenten dort frei agieren, wo Aktionen leicht rückgängig zu machen sind, und setzen Sie dort harte Grenzen, wo das nicht der Fall ist. Oder, wie er die Einschränkung formulierte: Man kann zum Löschen markieren, aber nicht wirklich löschen. Wenn es einen einfachen Wiederherstellungsmechanismus gibt, ist es in Ordnung, ihm diese Freiheit zu geben.

Freiheit innerhalb der Grenzen, Verantwortlichkeit beim Verlassen dieser Grenzen. Das ist kein Kompromiss zwischen Vertrauen und Misstrauen gegenüber dem Agenten. Es ist ein Design. Und wir wissen bereits, wie man das baut, denn es ist dieselbe Denkweise, die wir bei der Festlegung von Berechtigungen in jeder Mendix-App anwenden, die wir jemals ausgeliefert haben. Persönlich hilft mir das auch, die Nuancen in dieser KI-Ära besser zu sehen. Deterministische Prozesse bleiben deterministisch, mit denselben strengen Validierungen und Workflows, die wir heute kennen. Die Art und Weise, wie wir mit ihnen interagieren, mag sich ändern, aber das Wesentliche bleibt meist gleich.

‍

Also alles begrenzen und ruhig schlafen? Nicht ganz.

Hier ist der Teil, bei dem ich ehrlich sein möchte, weil er in einem sauberen Fazit leicht unter den Tisch fällt.

Die Begrenzung gilt für den Moment. Nicht für immer. Derselbe Tisch, der dafür stimmte, einen Menschen in der Schleife zu behalten, sagte es laut und bat den Gastgeber, es zu protokollieren: Es wird zweifellos zu Schritt drei übergehen. Vertrauen wird verdient, Grenzen fallen weg, und der vorsichtige Konsens, für den gerade alle gestimmt haben, hat ein Ablaufdatum.

Die eigentliche Arbeit besteht nicht darin, das Tor zu bauen. Sie besteht darin, das Tor so zu bauen, dass es sich bewegen lässt. Eine Grenze, die man Schritt für Schritt lockern kann, sobald die jeweilige Aktion es rechtfertigt, ist weitaus wertvoller als eine pauschale Vorgabe wie „ein Mensch genehmigt alles“, die man ohnehin stillschweigend zu ignorieren beginnt, sobald sie den Arbeitsfluss in der ersten Woche ausbremst. Ein Team schlug sogar vor, das Tor an das Ende des Prozesses zu verlegen: Die Agenten sollen arbeiten, und bevor etwas Relevantes geschieht, prüft jemand mit gesundem Menschenverstand das Ergebnis. Das Tor muss nicht für immer am selben Ort stehen. Es muss dort stehen, wo es dem Vertrauen entspricht, das man heute tatsächlich entgegenbringt.

‍

Der Löschen-Button, den niemand entfernt hat

Der Agent, der diese tausenden E-Mails gelöscht hat, war weder böse noch defekt. Er hat auf seine eigene, seltsame Weise die Wahrheit gesagt. Er wusste, dass die Aktion falsch war, und hat sie dennoch ausgeführt, weil ihm niemand den Löschen-Button aus der Hand genommen hatte.

Kontrolle ist kein Gefühl, das man gegenüber KI hat – weder Optimismus noch Angst. Es ist eine Entscheidung darüber, worauf der Agent zugreifen darf, und diese Entscheidung kann jedes Mal neu getroffen werden, wenn sich das Vertrauen ändert. Wenn man das richtig macht, kann man einem Agenten erstaunlich viel Freiheit gewähren. Macht man es falsch, spielt es keine Rolle mehr, wie sehr man ihm vertraut.

Dies war der zweite Artikel, den ich auf Basis des 2. Juni verfasst habe. Im ersten ging es um die Frage, was für uns noch zu tun bleibt. Dieser hier befasste sich damit, ob wir der Sache vertrauen können, diese Aufgaben zu erledigen. Darunter liegt noch eine weitere Frage, und die betrifft die Plattform, auf der wir all das aufbauen. Mehr dazu beim nächsten Mal.

‍

Ursprünglich veröffentlicht hier.