Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich richte eine private, serverlose LLM-Implementierung auf Google Cloud Run ein
Senior Software-Ingenieur und KI-Ingenieur
Ich kombiniere viele jahre erfahrung im software engineering (einschließlich für BMW und Airbus) mit modernen AI-technologien, um unternehmen bei der implementierung skalierbarer und produktionsbereit...
Über diesen Service
Möchtest du die volle Kontrolle über deine AI-Daten haben, ohne Tausende für dedizierte Server auszugeben? Ich richte dir eine private, Open-Source-LLM (z.B. Gemma 4, Llama 3, Mistral) in deiner eigenen Google Cloud (GCP) Umgebung ein.
Warum dieses Setup?
- 100% Datenhoheit: Deine Eingaben verlassen niemals deine Cloud. Keine Abhängigkeit von Drittanbieter-APIs. Perfekt für sensible Firmendaten.
- Grenzenlose Skalierbarkeit: Im Gegensatz zu starren Hosting-Lösungen oder lokalen Servern skaliert diese Architektur automatisch. Sie klont Instanzen bei Traffic-Spitzen und skaliert bei Leerlaufzeiten auf null (Pay-per-Use).
- Hohe Leistung: Das Modell läuft auf leistungsstarken NVIDIA L4 GPUs.
Was du bekommst:
- Detaillierte Anleitung (Englisch): Schritt-für-Schritt-Anleitung für GCP-Infrastruktur, IAM-Berechtigungen und GPU-Quotenanfragen.
- Automatisierungsskript 1: Ein intelligentes Bash-Skript, das dein gewünschtes Modell automatisch herunterlädt und vorbereitet.
- Automatisierungsskript 2: Ein Deployment-Skript für den gesamten Cloud-Stack (Cloud Run & Storage Bucket).
- Support: Kurze Anleitung während deiner ersten Einrichtung, um sicherzustellen, dass alles perfekt funktioniert.
Cloud-Provider:
Google Cloud Platform
Expertise:
Bereitstellung
Frameworks:
Andere
FAQ
Automatische Übersetzung
Welche Modelle können gehostet werden?
Jedes Modell im GGUF-Format, das in den 24 GB VRAM der NVIDIA L4 GPU passt. Modelle mit 8B bis 14B Parametern sind ideal.
Was sind die laufenden Kosten bei Google?
In Leerlaufzeiten zahlst du nur minimale Speichergebühren (~0,20 $/Monat). Bei aktiver Nutzung zahlst du für die Rechenleistung (~2,25 $/Stunde, abgerechnet pro Sekunde).
Ist die API mit meinen Apps kompatibel?
Ja! Der Inference-Engine bietet einen OpenAI-kompatiblen /v1/chat/completions Endpoint.
Wie geht das System mit mehreren Nutzern um?
Das System ist hoch elastisch. Google skaliert automatisch auf mehrere GPU-Instanzen bei Traffic-Spitzen und schaltet sie ab, wenn der Verkehr nachlässt.
