Die Frage hinter dem Tool
Bevor ein Modell in einen Prozess wandert, müssen zwei Dinge feststehen: Schafft die vorhandene Hardware die Aufgabe im verfügbaren Zeitfenster, und reicht die Qualität der Antworten? Allgemeine Benchmarks beantworten beides nicht, denn sie messen nicht deine Aufgabe auf deiner Hardware.
OpenModelBench vergleicht lokale Ollama-Modelle deshalb an eigenen Aufgaben und macht die Antwort messbar.
Was gemessen wird
- Durchsatz und Latenz des Modells auf der tatsächlich vorhandenen Hardware
- Check-Pass-Rate: Wie viele Antworten bestehen die Regel-Checks, die du für die Aufgabe definierst?
- LLM-Judge für Aufgaben, bei denen sich die Qualität nicht allein per Regel prüfen lässt
- Verdict: Schafft ein Batch-Job die Aufgabe auf CPU-only-Hardware im geplanten Zeitfenster, ja oder nein?
Aufbau
OpenModelBench ist ein Kommandozeilen-Tool (openmodelbench) ohne externe Abhängigkeiten. Es braucht nur Node.js ab Version 18. Der Code ist Open Source unter MIT-Lizenz. Beispiel-Aufgaben liegen im Repository und zeigen, wie ein eigener Test aufgebaut wird.
Stand
Das Tool ist in Entwicklung. Die Veröffentlichung als npm-Paket ist geplant, die Dokumentation entsteht auf Deutsch und Englisch.