Ich richte eine private lokale LLM auf deiner eigenen Maschine mit Ollama ein

Deine Daten bleiben auf deiner Hardware. Das ist der ganze Punkt.

Ich installiere und konfiguriere einen lokalen LLM-Stack auf deinem Rechner oder Server, inklusive Ollama und einer Web-UI, die du tatsächlich nutzen kannst. Modelle werden passend für den RAM und die GPU ausgewählt, die du besitzt, nicht für eine Benchmark-Tabelle. Keine API-Schlüssel, keine monatliche Rechnung, keine Prompts verlassen dein Netzwerk.

Wo das meistens relevant wird: bei einem Anwalt, der Klientendateien nicht in einen Cloud-Chat kopieren kann. Bei einer Klinik mit Patientennotizen. Bei einem Laden mit eigenen Preislisten. Bei jedem, der ein Cloud-Modell ausprobiert, die Bedingungen liest und dann aufhört.

Was du bekommst:

• Ollama installiert und als Dienst laufend, damit es auch nach einem Neustart funktioniert
• Open WebUI auf einem normalen Chat-Fenster in deinem Browser, kein Terminal im Alltag nötig
• Modelle passend für deine tatsächliche Hardware ausgewählt und geladen, mit kurzer Erklärung, wofür jedes gut ist
• Eine einseitige Anleitung: wie man es startet, wie man ein Modell hinzufügt, was zu tun ist, wenn es stoppt

Funktioniert auf Linux, Windows oder einem VPS. Ich betreibe seit 1999 Linux-Server und hoste meine eigenen Projekte selbst, deshalb ist das die Konfiguration, die ich selbst nutze.

Nicht enthalten: Feinabstimmung oder Training deines eigenen Modells, Hardware-Kauf für dich, RAG über dein Dokumentenarchiv, Verbindung zu deinem CRM oder deiner Webseite. Sag mir einfach, wenn du das möchtest, und ich helfe weiter.