Projekt

Agent Evaluation Benchmark

Ein confidence-aware Evaluationsrahmen fuer openclaw-aehnliche persoenliche Assistenten, der mehr misst als Demo-Performance.

Python · Wilson CI · Cohen's kappa · Bootstrap · Browser Automation

2026-heute

Product Snapshot

Role: Unabhaengige Forschung und Evaluation Engineering
Focus: Ein Vier-Saeulen-Modell fuer browser-use- und personal-assistant-Agenten plus breitere Real-workflow-Coverage.
Validation: Statistical Confidence, Judge Agreement, Coverage und Cross-run Stability angewendet; ein separater Ausbau ergaenzte 40 RPA-, IM-, Cross-system- und Email-Tasks.
Public Proof: 120 gelabelte Tasks und 17 Chrome-Skripte; ein 50-Task-Batch protokollierte 1.152 Aktionen und 1.020 Screenshots, dazu 72 Run-Audits. Die 40 neuen Tasks sind integriert, aber nicht vollstaendig run-validiert.

Next Step

Portfolio PDF About the Founder Email

Warum ich damit begonnen habe

Sobald Agenten von Chat zu Task Execution uebergehen, veraendert sich das Evaluationsproblem vollstaendig.

Ich wollte einen Benchmark, der eine haertere Frage beantwortet als “sieht faehig aus”: wie verlaesslich ist dieser Agent und mit welcher Unsicherheit?

Das Framework

Die von mir entworfene Struktur hat vier Saeulen:

statistische Confidence bei begrenzten Samples
Judge Agreement statt blindem Vertrauen in die Bewertung
Coverage entlang realer Task-Verteilungen
Stability ueber wiederholte Runs

Was fuer mich am wichtigsten ist

Am staerksten finde ich die These, dass Coverage nicht automatisch moeglichst gleichverteilt sein sollte. Sie sollte die reale Verteilung wichtiger Aufgaben widerspiegeln, sonst wirkt ein Benchmark fair und verpasst trotzdem die Verhaltensweisen, die in Produktion zaehlen.

Evidenz im Einsatz

Das Framework ist mehr als ein Konzept. Vorhanden sind 120 gelabelte Tasks und 17 Chrome-Automationsskripte. Ein 50-Task-Batch protokollierte 1.152 Aktionen und 1.020 Screenshots; 72 Run-Audits unterstuetzen die Pruefung der Cross-run Stability.

Der Benchmark waechst weiter, soll aber kein glattes Leaderboard sein. Er macht Confidence, Judge-Abweichung, Coverage-Luecken und Schwankungen zwischen Runs sichtbar.

Real-workflow-Ausbau

In einem separaten LexBench-Browser-Workstream nutzte ich eine Cognitive-complexity-Matrix und Probe Tasks, um die Ausfuehrbarkeit zu pruefen. Danach entwarf und integrierte ich:

10 RPA-Tasks
10 Instant-Messaging-Tasks
10 Cross-system-Tasks
10 Email-Tasks

Diese 40 Cases sind im browseruse-bench-Datensatz integriert, aber noch nicht vollstaendig als Benchmark ausgefuehrt. Die 210 Baseline Tasks des Ausgangsdatensatzes beanspruche ich ebenfalls nicht als individuelle Arbeit.