Zum Inhalt springen

Labor · Grundlage

Das Werkzeug, mit dem wir uns selbst betreiben

open-bridge ist ein Verzeichnis aus schlichten Textdateien, das ein KI-Assistent zu Beginn jeder Sitzung liest — damit er weiß, wer wir sind, welche Projekte es gibt und was gestern passiert ist. Wir haben es gebaut, um BKS-Lab zu betreiben, und dann unter MIT-Lizenz freigegeben. Die drei Zeichnungen sind aus seinem Quelltext abgeleitet, nicht aus seiner Beschreibung.

Hier können Sie nachsehen. Das ist der Unterschied zu jedem anderen Blatt dieses Labors: der Quelltext ist öffentlich, jede Aussage unten ist in Minuten nachprüfbar. Deshalb ist die Prüfung schärfer ausgefallen, nicht milder. Sechs Eigenschaften wurden untersucht und jede einzeln gegengeprüft — von einer zweiten Lesung, deren Auftrag ausdrücklich lautete, sie zu widerlegen. Drei stehen hier. Was die drei anderen gekostet hat, steht unten.

Isometrische Illustration: ein schmales Tor liest nur ein Anhänge-Schild, ein Dokument läuft glühend hindurch, ein zweites wird in einen separaten, gestrichelt umrandeten Kasten abgeleitet.

Versuch 1

Ein Posten am Ausgang, der nichts liest

In einem solchen Verzeichnis liegen zwei Sorten Text nebeneinander: das allgemeine Gerüst, das jeder haben darf, und die eigenen Notizen — Kundennamen, Projektstände, Zugänge. Ein einziger falscher Handgriff schiebt beides gemeinsam nach draußen, und danach ist es draußen.

AbsenderScharfstellenZielprüfungFrachtprüfungSchrankeAngehaltenMENSCHEigenes ZielDurchgelassenVorbeiweg

Quelle Aus dem Quelltext von open-bridge abgeleitet — öffentlich einsehbar, MIT-Lizenz; der Posten läuft auf dem eigenen Gerät und ist nach einem frischen Klon zunächst aus Ein Halt durch einen Menschen: Eigenes Ziel

In der Zeichnung Alles, was hinausgeht, kommt am selben Posten vorbei. In ihn laufen zwei voneinander unabhängige Prüfungen — wem gehört das Ziel, und steckt eine private Ablage im Paket — und ein Schritt, der ihn überhaupt erst scharf stellt. Heraus kommt genau eines von beidem: durchgelassen oder angehalten. Wer angehalten wird, richtet ein eigenes, nicht-öffentliches Ziel ein; danach fließt auch Privates. Der Vorbeiweg unten hat mit Absicht keine rechte Kante.
Woraus die Zeichnung gebaut ist

Was der Versuch nicht zeigt: nichts darüber, was hinter dem Vorbeiweg passiert — ein Posten auf dem eigenen Gerät lässt sich überspringen, und aus einem zweiten Klon, über die Weboberfläche oder eine Schnittstelle wird er nie gerufen. Ebenfalls nicht: eine Prüfung des INHALTS. Ein Kundenname oder eine Vertragssumme mitten in einer erlaubten Datei geht unbeanstandet durch. Und keine Aussage darüber, wie vollständig die Liste der privaten Ablagen ist.

Der Posten ist die einzige der sechs untersuchten Eigenschaften mit dem Reifegrad „gebaut". Er bricht wirklich ab — Fehlercode, kein Hinweis —, er entscheidet am NAMEN des Ziels und nicht am Namen des Absenders, und bei einem unbekannten Gegenüber hält er an, statt durchzulassen. Umgekehrt gilt: ist im Paket nichts Privates, darf es zu jedem Gegenüber. Nach einem frischen Klon ist er zunächst AUS; ein einzelner Einrichtungsbefehl stellt ihn scharf, und dass jemand diesen Befehl ausführt, ist eine Bitte in einer Textdatei, kein Automatismus. Es gibt Tests, die bei jedem Änderungsantrag mitlaufen — was sie abdecken, behaupten wir hier nicht, dazu unten mehr.

Warum der Prüfstand nicht mitgezeichnet ist. Es gibt einen, er läuft bei jeder Änderung, und er ist grün — trotzdem steht er nicht im Bild. Die Gegenprüfung hat gezeigt, dass er eine engere Liste privater Ablagen benutzt als der Posten selbst und dabei ausgerechnet einen Filter wieder herstellt, den der Posten in seinem eigenen Quelltext als Lücke führt. Er beweist also, dass die Tür für einige Fälle hält — nicht, dass sie dicht ist. Ihn als Beleg zu zeichnen wäre genau die Sorte Überzeichnung, die dieses Labor abgelegt hat.

Versuch 2

Was den Anfang erzwingt, ist ein beschriebenes Blatt

Ein Assistent, der ein solches Verzeichnis öffnet, kann in sehr verschiedenen Lagen stecken: frisch geklont und noch gar nicht eingerichtet, auf dem falschen Zweig, mit halber Konfiguration, oder ganz normal mitten in der Arbeit. Antwortet er, bevor er das geprüft hat, arbeitet er im schlechtesten Fall an der falschen Stelle weiter.

AuftragAktueller ZweigEigener ZweigEinstellungenHauptzweigWeicheErstaufbauZweig wechselnNormalbetriebKernarbeit

Quelle Aus dem Quelltext von open-bridge abgeleitet — was den Ablauf auslöst, ist ein geschriebener Auftrag und kein eingeschaltetes Programm

In der Zeichnung Vier billige Blicke und ein beschriebenes Blatt laufen in dieselbe Stelle. Von dort geht pro Sitzung genau ein Weg weiter, nie zwei. Der auffälligste Kasten ist der mit der abgeknickten Ecke: das ist kein Bauteil, sondern das Blatt, auf dem steht, dass dieser ganze Ablauf stattfinden soll.
Woraus die Zeichnung gebaut ist

Was der Versuch nicht zeigt: keine Zahl der Lagen — gezeichnet sind vier Stellvertreter, keine Aufzählung. Ebenfalls nicht gezeigt: was passiert, wenn ein Assistent die Anweisung schlicht nicht liest. Genau das ist der Punkt, und die Zeichnung kann ihn nicht darstellen, weil dann gar nichts passiert.

Der Ablauf ist beschrieben, aber nichts im Quelltext erzwingt ihn: es gibt keinen eingetragenen Sitzungsstart-Haken, keinen Prüfschritt und keinen Test dafür. Ein fertiges, funktionierendes Hilfsskript liegt sogar im Verzeichnis — es ist in der ausgelieferten Einstellungsdatei nur nicht eingetragen. Auch das Scharfstellen des Postens aus Versuch 1 hängt an derselben Sorte Bitte. Wir schreiben das hierhin, weil es die ehrlichste verfügbare Aussage darüber ist, wie diese Werkzeuge heute funktionieren: sie folgen Anweisungen, sie werden nicht von Schlössern geführt. Wer das weiß, beurteilt alles andere richtig.

Warum hier keine Zahl steht. Die Regel im Verzeichnis unterscheidet mehr Lagen, als das Handbuch daneben auflistet — die beiden Dokumente sind sich nicht einig, und das ist in zwei Minuten nachzählbar. Eine nachzählbare Falschzahl wäre der billigste Angriffspunkt, den diese Seite haben kann. In der Zeichnung steht deshalb nur,dass sich der Weg hier verzweigt.

Ein Fund, den wir nicht wegformulieren. Das erwähnte Hilfsskript ermittelt den Hauptzweig nicht, sondern nimmt einen festen Namen an. In unserem eigenen Verzeichnis heißt der Hauptzweig zufällig genau so, deshalb fällt es hier nicht auf; in einem Verzeichnis mit anderem Hauptzweig meldet es die falsche Lage. Die Gegenprüfung hat das in unter einer Minute nachgestellt. Es ist gemeldet und wird behoben.

Versuch 3

Ein Ordner, drei Türschilder — und ein Programm, das wir wirklich ausprobiert haben

Wer Arbeitsanleitungen für einen KI-Assistenten schreibt, schreibt sie üblicherweise für ein bestimmtes Programm. Wechselt man das Programm, fängt man von vorn an — und wer zwei benutzt, pflegt alles doppelt.

ArbeitsplatzMENSCHAusbessernErprobtZugesagtUngeprüftTürschilderFähigkeitenPrüflaufStufenwächter

Quelle Aus dem Quelltext von open-bridge abgeleitet — die drei Verweise sind nachgezählt, belegt erprobt ist bisher genau eines der Programme Ein Halt durch einen Menschen: Ausbessern

In der Zeichnung Rechts der Ordner mit den Anleitungen, davor die drei Türschilder, und von links greifen drei Klassen von Programmen darauf zu: das eine, das wir belegt erprobt haben, die, denen wir es zusagen, und die, die im Verzeichnis ausdrücklich als ungeprüft geführt sind. Unten der Weg, der von einer bestimmten Sorte Arbeitsplatz kommt und über einen Menschen läuft. Ganz rechts die einzige Stelle dieser Zeichnung, an der eine Maschine prüft.
Woraus die Zeichnung gebaut ist

Was der Versuch nicht zeigt: keine Programmnamen — die Klasse ist die Aussage, der Name wäre Schmuck. Nicht gezeigt ist auch, was ein nicht erprobtes Programm konkret kann oder nicht kann: wir haben es nicht ausprobiert, also behaupten wir dazu nichts.

Selbst nachgezählt statt übernommen: es sind genau drei eingecheckte Verweise, und alle drei tragen buchstäblich denselben Eintrag mit demselben Inhalt — drei Namen für ein Ziel, ohne Reihenfolge und ohne Stufen. Belegt erprobt ist genau ein Programm, und das steht so im Verzeichnis selbst; die anderen Angaben sind Zusagen. Auf einer bestimmten Sorte Arbeitsplatz zerfallen zwei der drei Türschilder beim Auschecken zu gewöhnlichen Textdateien, und dann findet das betroffene Programm gar nichts — ausgebessert wird das von Hand. Es gibt ein Skript dafür, aber nichts ruft es von allein auf.

Die unangenehmste Verbindung der Zeichnung. Der Wächter ganz rechts ist das einzige an dieser Eigenschaft, was eine Maschine wirklich durchsetzt — er weist eine Anleitung mit falscher Weitergabe-Stufe ab. Aber der Prüflauf, der ihn startet, läuft auf genau einem Betriebssystem, und der oben beschriebene Bruch tritt auf einem anderen auf. Die einzige Maschine, die hier prüft, kann den einzigen bekannten Bruch also nicht sehen.

Und eine Zusage, die zu weit ging. Das Handbuch sagt an einer Stelle, alles funktioniere über alle Programme hinweg gleich, mit genau einer Ausnahme. Die Gegenprüfung hat den Satz an einer mitgelieferten Anleitung widerlegt, die fest ein bestimmtes Programm aufruft — und an der eigenen Übersichtsdatei desselben Verzeichnisses. Der Satz ist zu absolut; korrigiert wird er dort, nicht hier.

Was hier belegt ist — und was drei Facetten gekostet hat
Alle drei Zeichnungen sind aus dem Quelltext abgeleitet, nicht aus einer Beschreibung — und weil dieser Quelltext öffentlich ist, können Sie jede Aussage selbst nachsehen. Sechs Eigenschaften wurden untersucht und jede einzeln gegengeprüft. Anders als beim eigenen, geschlossenen Werkzeug ist diesmal keine ganz durchgefallen — aberalle sechs kamen mit Einschränkungen zurück, und bei zweien hielt der Kernsatz nicht. Drei stehen deshalb nicht hier: zwei, weil ihr Kernsatz fiel, und eine, weil sie in erster Linie ein Befund über eine offene Schwachstelle ist — der gehört gemeldet und behoben, nicht auf eine Website. Bemerkenswert war, dass die Gegenprüfung open-bridge ähnlich oft verteidigt wie angegriffen hat: mehrere „das ist ungetestet“-Funde der ersten Lesung waren selbst falsch, weil die Suche zu eng gestellt war.

Quelltext und Dokumentation: github.com/bks-lab/open-bridge · Dokumentation · warum wir es freigegeben haben · wie wir damit arbeiten

Weiter im Labor: Werkzeug · Unterlagen · Vorgänge · Agenten · Meldungen · zurück zur Übersicht

Wer stellt bei Ihnen sicher, dass die Anweisung befolgt wird?

Ein Posten, den man scharf stellen muss, und eine Regel, die jemand lesen muss: an beiden Stellen entscheidet nicht die Technik, sondern wer dafür zuständig ist.

Gespräch vereinbaren