Unsere Agentur stellt selbst gehostete KI mit Open WebUI und RAG bereit

Suchst du einen KI-Assistenten, der auf deiner eigenen Infrastruktur läuft, mit deinen eigenen Dokumenten?

WZ-IT setzt selbst gehostete LLM- und RAG-Stacks für Unternehmen ein, die keine internen Daten an eine US-API senden können. Open WebUI als Schnittstelle, LiteLLM als Gateway, Qdrant oder pgvector für die Suche, Langfuse für Nachverfolgung und Kostenkontrolle.

Je nach Umfang decken wir ab:

- Open WebUI mit SSO, Nutzergruppen und modellbezogenem Zugriff pro Team

- LiteLLM Gateway: eine API für lokale und externe Modelle, Budgets pro Team

- vLLM oder Ollama Inferenz, passend für dein GPU- oder CPU-Budget

- RAG-Pipeline: Ingestion, Chunking, Embeddings, Qdrant oder pgvector

- permission-aware Retrieval, damit Nutzer nur Dokumente sehen, die sie sehen dürfen

- Langfuse für Nachverfolgung, Bewertung und Kosten pro Team

- Deployment auf deinem GPU-Server, in der europäischen Cloud oder vor Ort

Der schwierige Teil ist nicht das Chat-Fenster. Es ist, dafür zu sorgen, dass die Retrieval die bereits vorhandenen Berechtigungen respektiert und die tatsächlichen monatlichen Kosten zu kennen.

Beginne mit der Beratung: eine Stunde mit den Gründern von WZ-IT, plus eine schriftliche Empfehlung, die du auf jeden Fall behältst. Alles Größere wird als individuelles Angebot kalkuliert, abgestimmt auf deine tatsächlichen Bedürfnisse.

Mehr von unserer Arbeit: wz-it.com