Ich richte einen lokalen, privaten AI-Chatbot auf deiner eigenen Hardware ein

Betreibe deine eigene KI vollständig auf deinem eigenen Rechner.

Keine Cloud-API. Kein monatliches Abonnement. Keine Daten verlassen jemals deinen Computer.

Ich spezialisiere mich auf self-hosted LLM-Infrastruktur, aufgebaut auf über 13 Jahren Erfahrung in Unternehmens-IT und Netzwerkadministration.

Was ich einrichte:

Ein lokales Sprachmodell, das auf deinem eigenen GPU/CPU läuft (über llama.cpp)

llama-swap konfiguriert, sodass du zwischen Modellen (z.B. Coding-Assistent, allgemeiner Chat usw.) hot-swappen kannst, ohne etwas neu starten zu müssen

Ein sauberes lokales API-Endpunkt, an den deine eigenen Apps anschließen können

Optional: eine einfache, mobilfreundliche Web-Chat-Oberfläche

Warum lokal gehen:

Deine Gespräche bleiben deine. Keine Token-Kosten, keine Rate-Limits, keine Dritten lesen deine Daten.

Was ich von dir brauche:

Deine GPU/CPU-Spezifikationen und VRAM, dein Betriebssystem und wofür du das Modell verwenden möchtest (Coding, allgemeiner Chat, Schreiben). Ich empfehle eine Modellgröße, die zu deiner Hardware passt.

Hinweis: Eine dedizierte GPU wird dringend für gute Leistung empfohlen. Weißt du nicht, ob dein Rechner dafür geeignet ist? Schreib mir vor der Bestellung und ich berate dich gern.