KI-Agenten-Überprüfung eines FPGA-Designs auf Basis dieser Website

Eine gezielte Überprüfung des FPGA-Designs

Wenn du Claude Code oder ein anderes agentisches KI-Werkzeug verwendest, hast du vielleicht schon versucht, dein FPGA-Design von einer KI überprüfen zu lassen. Wenn du mit dem Ergebnis nicht zufrieden warst, findest du hier einen Vorschlag, wie du das verbessern kannst.

Und zwar lässt sich die Überprüfung (Review) durch den KI-Agenten auf bestimmte Themen fokussieren, und man kann ihm auf verschiedene Weise vorgeben, wie er sie durchführen soll. Ein Skill-Set macht genau das: Es formt das Verhalten des Agenten so, dass die Überprüfung auf korrekten Informationen basiert – und nicht auf irgendetwas, worauf das neuronale Netz trainiert wurde. Was sind „korrekte Informationen"? Es sind die Fakten, die im Skill-Set stehen.

Ein Skill-Set auf Basis der Inhalte dieser Website steht zur Verwendung bereit. Wenn du das ausprobieren möchtest, lege die Dateien deines FPGA-Designs dort ab, wo der KI-Agent sie erreichen kann, und schreibe einen Prompt wie diesen:

> Using the skill set from https://github.com/billauer/01signal-review,
  perform a review of the FPGA project. Write out the HTML files.

Der KI-Agent (Claude Code oder was auch immer du verwendest) führt die Überprüfung in erster Linie auf Basis des Skill-Sets in diesem GitHub-Repository durch, das wiederum die Inhalte dieser Website widerspiegelt. Dementsprechend konzentriert sich der Prüfbericht auf die Themen, die hier behandelt werden. Auf dieser Website gibt es zum Beispiel eine Reihe von Seiten, die sich mit Resets beschäftigen. Ist dein Design damit auf Augenhöhe? Vielleicht hast du vergessen, ein kleines Register zurückzusetzen, und vielleicht steckt ja ein grundlegenderer Fehler dahinter? Der Prüfbericht wird es dir sagen. Hoffentlich. Eine KI-Überprüfung ist nicht deterministisch.

KI zur Kontrolle des Designs einsetzen: Das Gute und das Schlechte

Wie sich zeigt, sind KI-Agenten ziemlich gut darin, Code zu lesen und Fehler zu finden. Das Problem mit ihnen ist aber, dass sie oft Fehler erfinden, die es gar nicht gibt. Und wenn sie das tun, liefern sie meist eine sehr überzeugende Erklärung, die auf einer oder mehreren falschen Tatsachenbehauptungen beruht. Vielleicht wurde das neuronale Netz mit falschen Informationen trainiert, vielleicht zieht es aus korrekten Informationen eine falsche Schlussfolgerung, und vielleicht ist es etwas ganz anderes. Manche Leute nennen das Halluzinationen, ich nenne es Unsinn.

Ein weiteres ärgerliches Problem ist die Priorisierung: Ein KI-Agent neigt zum Beispiel dazu, Syntaxfehler und andere „Build-Breaker" im Bericht mit hoher Priorität zu versehen. Das hat durchaus seinen Sinn, denn das Design lässt sich erst kompilieren, wenn diese Fehler behoben sind. Aber es bringt selten etwas, solche Fehler in einem Prüfbericht zu erwähnen: Die Werkzeuge zeigen in der Regel auf das Problem, wenn sie die Kompilierung verweigern. Nur wenn das Problem nicht offensichtlich ist, lohnt es sich, es in der Überprüfung zu erwähnen.

Und allzu oft bleiben KI-Werkzeuge an einer Kleinigkeit hängen und machen aus einer Mücke einen Elefanten. Es ist leicht, die gesamte Überprüfung zu verwerfen, wenn die ersten Themen wie Unsinn klingen.

Diese Probleme lassen sich mit einem Skill-Set weitgehend lösen.

Wie ein Skill-Set hilft

Ein Skill-Set besteht aus mehreren Dateien, die überwiegend aus einfachem, für Menschen lesbarem Text bestehen. Es ist ein bisschen wie ein Handbuch für den KI-Agenten, wie er die Design-Überprüfung durchführen soll (oder jede andere Aufgabe, nebenbei bemerkt). Dieser Text leistet im Wesentlichen drei Dinge:

• Er definiert, was wahr ist: Was ist korrekt und was nicht, und zwar in Bezug auf Fakten und Design-Praktiken.

• Er definiert Prioritäten: Er beschreibt, was wichtig und was relativ verzeihlich ist.

• Er definiert, wie die Überprüfung durchgeführt wird. Hier erhält der Agent systematische Anweisungen, die die Prüfaufgabe in einzelne Teilaufgaben zerlegen, damit die Überprüfung methodisch abläuft. Das geschieht üblicherweise in der Haupt-Skill-Datei (typischerweise SKILL.md genannt).

Der erste und der zweite Teil helfen, Unsinn im Prüfbericht zu reduzieren. Sie wirken wie ein kompaktes Tutorial zu den Themen, die bei der Design-Überprüfung untersucht werden sollen, und legen sowohl Fakten als auch Prioritäten fest. Indem eine Liste der zu prüfenden Punkte ausdrücklich genannt wird, stützt sich der KI-Agent stärker auf Fakten, die korrekt und solide sind, und weniger auf sein eigenes eingebautes Wissen.

Der dritte Teil organisiert den Überprüfungsprozess, spielt im Skill-Set von 01signal aber eine wichtigere Rolle: Er enthält zwei abschließende Schritte, in denen der KI-Agent seinen eigenen Bericht überprüft.

Im letzten Schritt startet ein separater KI-Agent von vorn und agiert als Prüfer. Er geht den gesamten Bericht durch und kontrolliert, ob alle Tatsachenbehauptungen direkt aus dem Skill-Set stammen. Tatsachenbehauptungen, die so nicht belegt sind, werden im Bericht so umformuliert, dass sie zweifelnde Formulierungen verwenden (zum Beispiel eine rhetorische Frage) – im Gegensatz zu dem bekannten selbstsicheren Ton, den KI-Werkzeuge üblicherweise an den Tag legen. Allerdings kann das KI-Werkzeug keine Schlussfolgerung ziehen, ohne sein eigenes eingebautes Wissen zu verwenden. Trotzdem sollte im Bericht klar erkennbar sein, welcher Teil belegt ist (aus dem Skill-Set, in selbstsicherer Formulierung) und welcher nicht (das Gegenteil).

Und der Inhalt des Skill-Sets ist natürlich ebenso wenig in Stein gemeißelt. Er kann falsch und lückenhaft sein. Es ist kein Zufall, dass er auf GitHub veröffentlicht ist.

Das ist kein Ersatz für Wissen

Ich habe es an anderer Stelle auf dieser Website schon gesagt, und ich sage es gern noch einmal: Es gibt keinen Ersatz für unser Gehirn, und es gibt keinen Ersatz dafür, sich Wissen anzueignen. Debugging-Werkzeuge und KI-Werkzeuge sind hilfreich, aber letztlich liegt es an uns Menschen, die Entscheidungen zu treffen.

Eine KI-Überprüfung sorgt nicht dafür, dass dein FPGA-Design funktioniert. Aber sie kann dir die richtige Richtung weisen. Und weil das Skill-Set auf den Seiten dieser Website basiert, erfährst du in der Überprüfung nicht nur, was möglicherweise falsch ist, sondern auch, wo du mehr darüber nachlesen kannst.

Wenn du also einen Fehler gemacht hast, weil dir einfach ein menschliches Versehen unterlaufen ist, dann behebe ihn und gut ist. Wenn es aber daran lag, dass du etwas nicht wusstest, dann halte inne und nimm dir die Zeit, diese Lücke zu schließen. Das ist schließlich der Vorteil eines Skill-Sets, das von einer Website abgeleitet ist.