Ich richte auf deinem Server einen privaten self-hosted LLM mit Ollama, vLLM und Open WebUI ein


Level 1
Geprüft von Fiverr Pro
Junaid Aslam wurde vom Fiverr Pro-Team aufgrund besonderer Expertise ausgewählt.
Über diesen Service
Automatische Übersetzung
Bitte schreibe mir vor der Bestellung eine Nachricht, um die Anforderungen zu besprechen.
Möchtest du einen KI-Assistenten, der deine Daten auf deinem eigenen Server hält? Ich richte dir einen privaten LLM auf deiner VPS- oder GPU-Server ein. Kein Prompt oder Dokument geht zu einem Dritten.
Was ich einrichte
- Ollama oder vLLM, die ein offenes Modell bedienen: Llama 3, Mistral, DeepSeek, Qwen, Gemma oder jedes Hugging Face-Modell
- Open WebUI als Chat-Bildschirm, mit Benutzerkonten und Rollen
- Eine OpenAI-kompatible API, sodass deine Apps sie so aufrufen wie OpenAI
- Optionales RAG auf deinen PDFs und Dokumenten, mit pgvector oder Qdrant
- Docker-Compose-Setup, Nginx, HTTPS und eine schriftliche Übergabeanleitung
Wo es läuft
Jeder Linux-Server: dein VPS, On-Premise-Maschine, AWS, Azure, Google Cloud oder eine gemietete GPU bei RunPod. GPUs: NVIDIA H100, A100, L40S, RTX 4090. Die monatlichen Kosten nenne ich dir zuerst.
Datenstandort
Ich kann in der EU, im UK, in den USA oder in jedem Land/Region deiner Wahl hosten. Das unterstützt Datenresidenzregeln wie GDPR, UK GDPR und CCPA.
Was ich nicht mache
Ich fine-tune oder quantisiere Modelle nicht. Ich setze offene Modelle ein und verbinde sie.
Vor der Bestellung
Lass uns Typ der Dokumente, Anzahl der Benutzer und Budget besprechen. Dann empfehle ich dir ein Modell und eine Servergröße.
Lerne Junaid Aslam kennen
ASP Dot NET Core, Web API, React, JS, TS, SQL, NoSQL, AWS, Azure, AI Chatbot RAG
Level 1
Junaid Aslam ist Teil des Fiverr Pro-Katalogs und wurde von einem spezialisierten Fiverr Pro-Team basierend auf Fähigkeiten und Fachwissen sorgfältig ausgewählt.
Geprüft für
Software-Entwicklung
- AusPakistan
- Mitglied seitSept. 2015
- ⌀ Antwortzeit1 Stunde
- Letzte Lieferung1 Monat
Sprachen
Urdu, Englisch
Automatische Übersetzung
Mein Portfolio
Meine weiteren Dienstleistungen im Bereich KI-Entwicklung
FAQ
Automatische Übersetzung
Brauche ich einen eigenen Server oder GPU?
Nein. Ich kann es auf einem VPS, deinem Cloud-Konto oder einer gemieteten GPU bei RunPod einrichten. Die Größe und die monatlichen Kosten nenne ich dir, bevor ich starte. Du zahlst direkt an den Anbieter.
Welche Server und GPUs kannst du verwenden?
Jeder Linux-Server mit SSH-Zugang: AWS, Azure, Google Cloud, RunPod oder deine eigene Hardware. GPUs umfassen NVIDIA H100, A100, L40S und RTX 4090.
Welche offenen LLMs kannst du betreiben?
Llama 3, Mistral, DeepSeek, Qwen und Gemma, in den Größen, die deine Hardware unterstützt. Ich helfe dir, das beste Modell für deinen Anwendungsfall auszuwählen.
Sind meine Daten privat?
Ja. Das Modell läuft auf deinem Server. Kein Prompt oder Dokument geht an einen externen KI-Dienst, es sei denn, du bittest mich, eine Verbindung herzustellen.
Ollama oder vLLM, welches brauche ich?
Ollama ist einfach und gut für kleine Teams. vLLM ist schneller bei vielen Nutzern auf einer GPU. Ich empfehle eins, nachdem du mir deine Benutzeranzahl genannt hast.
Kann meine App es wie die OpenAI API aufrufen?
Ja. Ollama und vLLM bieten beide eine OpenAI-kompatible API. Deine Apps ändern nur die Basis-URL und den Modellnamen.
Kann es aus meinen eigenen Dokumenten antworten (RAG)?
Ja, im Premium-Paket. Ich füge RAG auf deinen PDFs und Dateien mit pgvector oder Qdrant hinzu.
Kannst du im EU-, UK- oder US-Raum für GDPR hosten?
Ich kann in der von dir gewählten Region hosten. Das unterstützt Datenresidenzregeln wie GDPR, UK GDPR und CCPA. Ich gebe keine Rechtsberatung oder Zertifizierungen.
Fine-tunest du oder quantisierst du Modelle?
Nein. Ich setze offene Modelle ein und verbinde sie. Ich trainiere oder feintune sie nicht.
