Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich werde dein LLM auf Kubernetes mit vLLM, Docker und GPU-Unterstützung deployen
AI-Sprach- und Automatisierungsingenieur, DevOps
Hallo 👋 Ich bin Khuzaima Ahmed. Ich brenne dafür, kleinen Unternehmen zu helfen, die Kraft von KI-Automatisierungen zu nutzen, um Zeit zu sparen, Kosten zu senken und wettbewerbsfähig zu bleiben.
Ic...
Level 1
Hat bestimmte Leistungskriterien erfüllt und zeigt großes Potenzial auf dem Marktplatz.
Schnelle Antwortzeit
Zeichnet sich durch besonders schnelle Antwortzeit aus.
Über diesen Service
Hast du ein Open-Source-LLM-Modell, das lokal läuft, aber brauchst es als produktionsbereite API?
Ich helfe dir, dein Hugging Face oder Open-Source-LLM auf Kubernetes mit einem produktionsreifen AI-Deployment-Stack zu deployen: vLLM, Docker, CUDA, Kubernetes Deployment, GPU-Knoten, Service, Ingress und OpenAI-kompatible API-Endpunkte.
Wobei ich dir helfen kann:
- Überprüfung deines Modells, Anwendungsfalls und Hardware-Anforderungen
- Auswahl eines kompatiblen Hugging Face- oder benutzerdefinierten Modells
- Konfiguration des passenden Inferenz-Engines: vLLM, TensorRT-LLM oder SGLang
- Verpackung des Modells, der Bibliotheken und der Laufzeit in einen deploybaren Container
- Vorbereitung der Kubernetes-Manifeste für deinen AI-Service
- GPU-optimierte Deployment-Konfiguration für kompatible Cluster
- Einrichtung von Service oder Ingress für API-Zugriff
- Erstellung eines OpenAI-kompatiblen Endpunkts, wo unterstützt
- Test des vollständigen Anfrage- und Antwortflusses
- Bereitstellung klarer Übergabedokumentation
Unterstützte Modellfamilien können Qwen, Llama, Mistral, Gemma, DeepSeek und andere kompatible Hugging Face-Modelle umfassen.
Bitte schreibe mir vor der Bestellung, damit ich dein Modell, Cloud-Anbieter, Kubernetes-Setup, GPU-Verfügbarkeit und Deployment-Anforderungen prüfen kann.
Tools:
Kubernetes
•
Docker
Frameworks:
Terraform
•
Pulumi
•
Ansible
•
Crossplane
•
Andere
Programmiersprache:
Bash
•
Go
•
JavaScript
•
Python
•
Andere
Expertise:
Installation
•
Debuggen
•
Konfiguration
Mein Portfolio
FAQ
Automatische Übersetzung
Warum sollte ich Ihnen vor der Bestellung eine Nachricht senden?
LLM-Deployment hängt stark von Modellgröße, GPU-Speicher, Kubernetes-Setup und API-Anforderungen ab. Eine vorherige Nachricht hilft, die Kompatibilität zu bestätigen, Verzögerungen zu vermeiden und das passende Paket auszuwählen.
Kannst du bei der Auswahl des richtigen Modells für meine Hardware helfen?
Ja. Ich kann deine GPU, VRAM, Anwendungsfall und Leistungsziele prüfen, um eine passende Modellgröße und Deployment-Ansatz vorzuschlagen, bevor ich mit dem Projekt beginne.
Welchen Zugriff benötigst du, um das Deployment abzuschließen?
Ich benötige möglicherweise Zugriff auf dein Kubernetes-Cluster, Cloud-Konsole, Container-Registry, Modell-Repository, Domain- oder Ingress-Details sowie die Deployment-Umgebung. Der genaue Zugriff hängt von deinem Setup ab.
Kannst du ein feinabgestimmtes oder benutzerdefiniertes Modell deployen?
Ja, wenn das Modell mit dem gewählten Inferenz-Engine kompatibel ist und deine Hardware es unterstützt. Bitte teile mir die Modell-Details vor der Bestellung mit, damit ich die Machbarkeit bestätigen kann.
Sind Cloud-, GPU- oder Serverkosten inbegriffen?
Nein. Kosten für Cloud, GPU, Domain, Speicher und Infrastruktur sind im Gig-Preis nicht enthalten. Du bist verantwortlich für die Bereitstellung der erforderlichen Server-, Cluster- und Cloud-Ressourcen.
Muss ich bereits ein Kubernetes-Cluster haben?
Ja, du solltest Zugriff auf ein Kubernetes-Cluster oder eine Cloud-Umgebung haben. Falls du noch keines hast, schreibe mir zuerst, und ich kann dich beraten, welche Setup-Schritte vor dem Deployment notwendig sind.
Stellst du GPU-Setup und -Konfiguration bereit?
Ich kann GPU-optimiertes Kubernetes-Deployment für kompatible Cluster konfigurieren. Das kann die Auswahl der GPU-Knoten, Ressourcen-Konfiguration, CUDA-kompatibles Runtime-Setup und grundlegende Validierung umfassen.
Welche LLM-Modelle kannst du deployen?
Ich kann bei der Deployment kompatibler Hugging Face- oder Open-Source-Modelle wie Qwen, Llama, Mistral, Gemma, DeepSeek und ähnlichen helfen. Die endgültige Kompatibilität hängt von deiner GPU, VRAM, Modellgröße und Deployment-Setup ab.
Unterstützt du vLLM, TensorRT-LLM und SGLang?
Ja. vLLM ist die Standardoption für die meisten Deployments. Je nach Modell, GPU und Leistungsanforderungen kann ich auch mit TensorRT-LLM oder SGLang für fortgeschrittene Inferenz-Setups arbeiten.
Wirst du eine OpenAI-kompatible API bereitstellen?
Ja, wo vom Inferenz-Engine und Modell-Setup unterstützt, kann ich einen OpenAI-kompatiblen API-Endpunkt bereitstellen, damit deine App die private LLM ähnlich wie bei Standard-Chat-Completion-APIs aufrufen kann.
