Ich baue eine LLM-Bewertungs-Suite oder prüfe deinen LLM-Jury

Deine LLM-Funktion hat das Demo bestanden. Gilt sie auch nach dem nächsten Prompt oder einer Änderung am Modell?

Ich erstelle Bewertungssuiten, die diese Frage beantworten. Du bekommst eine Rubrik, die auf deinen Anwendungsfall zugeschnitten ist, einen Testsatz mit erwarteten Antworten und, falls ein LLM deine Ausgaben bewertet, eine Prüfung, wie zuverlässig dieser Judge ist.

Was du bekommst:

• Eine Rubrik und einen Testsatz, der um deine echten Fehlermuster herum aufgebaut ist
• Eine LLM-als-Juror-Audit: Übereinstimmung mit menschlichen Bewertungen, korrigiert um Zufalls- bzw. Zufallswörter (Cohen's Kappa, Krippendorffs Alpha), plus Bias-Untersuchungen
• Eine CI-Regressionstür (Premium), damit jede Änderung gegen die Suite getestet wird

Warum ich: Ich habe judgecheck entwickelt, einen Zuverlässigkeitsbericht für LLM-Jurys, der zeigt, wie 96% rohe Übereinstimmung Zufalls-korrigierte Scores von bis zu 0,60 verbergen kann, und coding-eval, das Codierungsversuche in einer Sandbox nachstellt (20 von 21 behaupteten Erfolgen; 5 gelang). Ich bewerte Frontier-Modell-Code professionell und baue Rubrik- und Kalibrierungstools für arabische klinische KI.

Schreib mir eine Nachricht, beschreibe, was die Funktion tut, gib ein paar echte Eingaben und Ausgaben und sag mir, wie eine gute Antwort für dich aussieht.