Ich führe rotes Teaming der Sicherheitsbewertung für Chatbots Rag Agent durch


Über diesen Service
Automatische Übersetzung
Ich werde deinen KI-Chatbot auf Halluzinationen, Prompt Injection und unsichere Ausgaben testen
Beschreibung:
Vor dem Start muss jemand versuchen, deinen Assistenten zu knacken. Ich mache das systematisch: Prompt Injection, Jailbreaks, Off-Topic-Drift, PII-Lecks, erfundene Zitate und domänenspezifische Fehlermodi (Medizin, Recht, Finanzen). Du erhältst ein Schweregrad-basiertes Befundlog mit reproduzierbaren Fällen und Abhilfemaßnahmen sowie eine Regressionstichprobe, damit die Korrekturen dauerhaft bleiben.
Lerne Bharath kennen
LLM AI Model Evaluation Specialist , QA automation Architect ,Eval pipelines
- AusIndien
- Mitglied seitSept. 2021
- ⌀ Antwortzeit1 Stunde
- Letzte Lieferung8 Monate
Sprachen
Englisch, Tamil, Hindi
Automatische Übersetzung
Meine weiteren Dienstleistungen im Bereich KI-Entwicklung
FAQ
Automatische Übersetzung
Muss ich meine Produktionsdaten teilen?
Nein. Ich arbeite mit Mustern, die du auswählst, mit synthetischen Daten oder einem redigierten Export. Alles bleibt unter deiner NDA und wird bei Lieferung gelöscht.
Welche Evaluierungstools verwendest du?
Promptfoo, LangSmith, Ragas, DeepEval oder ein schlichtes Python/pytest-Harness. Ich wähle das, was zu deinem Stack passt
Kannst du ein RAG-System oder einen Agenten bewerten, nicht nur einen einzelnen Prompt?
Ja. Bei RAG bewerte ich Abruf und Generierung getrennt ( Kontextpräzision/Rückruf, Zuverlässigkeit, Relevanz der Antworten). Bei Agenten bewerte ich Korrektheit von Tool-Aufrufen und Aufgabenerfüllung.
Was bedeutet "LLM-as-judge" und ist das zuverlässig?
Ein zweites Modell bewertet Ausgaben nach einem von dir erstellten Rubrum. Ich kalibriere es an einer von Menschen gelabelten Stichprobe, damit du weißt, wie viel du den Scores trauen kannst.
Machst du auch Red-Teaming oder Modellvergleiche?
Ja — beides sind eigene Gigs auf meinem Profil oder als Extras hier möglich.

