Ich baue ein LLM-Bewertungssystem mit Schutzvorrichtungen und einem CI-Qualitätscheck auf

Deine LLM-App funktioniert im Demo. Die Frage ist, was nach der nächsten Prompt-Änderung an die Nutzer ausgeliefert wird – und die meisten Teams wissen das nicht. Genau das baue ich: die LLM-Bewertungsschicht für dein Feature.

Was du bekommst:

1. Eval-Harness: ein goldener Satz an gekennzeichneten Testfällen für deine Pipeline, automatisch bewertet. Exakte Prüfungen, wo Exaktheit fair ist, und Beurteilungsbewertungen bei variierender Formulierung – eine korrekt formulierte Antwort, die anders klingt, besteht trotzdem.
2. CI-Qualitätsgate (Standard+): Das Harness läuft bei jeder Änderung und schlägt fehl, wenn die Qualität schlechter wird. Stille Regressionen stoppen den Versand.
3. Guardrails (Fortgeschritten): ein Eingabeschutz gegen Prompt-Injection und Jailbreaks, ein Ausgabeschutz, der geleakte Geheimnisse und PII schwärzt – jeweils mit eigener Testbatterie, inklusive False-Positive-Checks bei harmlosen Lookalikes. Ein Schutz, der echte Nutzer blockiert, ist nur eine andere Art von Ausfall.

Wie ich arbeite: nur ehrliche Zahlen. Jede Metrik, die ich melde, ist reproduzierbar anhand der committed Testfälle – du kannst alles selbst erneut laufen lassen. Wenn dein Setup davon nicht profitiert, sage ich dir das, bevor du zahlst, nicht danach.

Funktioniert mit OpenAI, Claude, Gemini oder deinen eigenen Modellen. Python-basiert, integriert sich mit GitHub Actions oder jedem CI.