Ich bewerte und teste deine LLM-Prompts und KI-Ausgaben auf Herz und Nieren

Stellst du LLMs bereit, hast aber Angst vor Halluzinationen oder Prompt-Injektionen? Standard-Qualitätssicherung scheitert bei nicht-deterministischer KI. Ich schließe die Lücke zwischen KI-Entwicklung und Softwarezuverlässigkeit, indem ich deine LLM-APIs teste, aufbreche und absichere.

### Was ich tun werde:

1. LLM API & Endpunkt-Tests: Statuscodes, Payload-Schemas und Latenz-Benchmarks prüfen (OpenAI, Anthropic, eigene Modelle).

2. Prompt-Validierung & Schwachstellen-Tests: Prompts mit Promptfoo oder DeepEval bewerten. Tests auf Injektionen, Drift und Toxizität.

3. Halluzinations-Audits: Programmgesteuerte Aussagen einrichten, um Faktengenauigkeit und semantische Ähnlichkeit zu messen.

4. CI/CD-Integration: Regression-Pipelines bauen, um Prompts bei jeder Backend-Änderung automatisch zu validieren.

### Technik & Tools:

- Python / TypeScript

- Promptfoo / DeepEval / TruLens

- Postman / Newman / PyTest / Playwright

- CI/CD (GitHub Actions, GitLab CI)

### Warum dieses Gig wählen?

Traditionelle QA prüft statische Ergebnisse. LLMs erfordern eine Engineering-Mentalität, um Wahrscheinlichkeit, semantische Metriken und adversariale Prompt-Strukturen zu verfolgen.

Sorge dafür, dass dein KI-Verhalten genau so ist, wie du es willst. Schreib mir noch heute mit deinen Projekt-Details!