Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich werde Open-Source-LLM auf Runpod oder deinem GPU-Server mit FastAPI bereitstellen
Inferon Labs
Über diesen Service
Automatische Übersetzung
Du hast einen GPU-Server (RunPod, Vast.ai, AWS oder deinen eigenen). Ich bringe ein Open-Source-LLM in wenigen Tagen in Betrieb, einsatzbereit für die Produktion.
Was du bekommst:
- Das passende Modell für deine Hardware: Llama 3.1, Qwen 2.5 oder Mistral, quantisiert (4-Bit AWQ/GPTQ/GGUF), damit es in dein VRAM passt, ohne die Antwortqualität zu beeinträchtigen
- Schnelle Inferenz: vLLM oder Ollama, konfiguriert für deine Latenz- und Durchsatzanforderungen
- Streaming FastAPI-Endpunkt (SSE oder WebSocket), den deine App wie die OpenAI API aufrufen kann, aber dein eigener
- Mit einem Skript neu startbar + README mit allen Befehlen, um den Server in Minuten neu aufzusetzen
- Deine Daten verlassen niemals deine Infrastruktur. Keine API-Kosten pro Token, niemals.
Warum ich: Ich habe quantisierte Open-Source-LLMs auf der GPU-Infrastruktur von RunPod mit Streaming FastAPI-Endpunkten bereitgestellt, inklusive SLM-Training und Deployment-Pipelines. Über 8 Jahre Erfahrung in Software- und Datenengineering. Python, vLLM, Ollama, Docker, AWS.
Bevor du bestellst, schick mir eine Nachricht mit deiner GPU-Spezifikation (oder deinem Anwendungsfall, falls du noch keinen Server gemietet hast, empfehle ich die günstigste GPU, die passt). Das dauert 2 Minuten und garantiert das richtige Paket.
Lerne Inferon Labs kennen
Inferon Labs
AI and LLM Deployment Engineer, RAG Chatbots, FastAPI Backends
- AusIndien
- Mitglied seitJuni 2026
- ⌀ Antwortzeit1 Stunde
Sprachen
Englisch
I deploy open-source LLMs to production — quantized models on GPU infra (RunPod, AWS), streaming FastAPI endpoints, and RAG chatbots grounded in your documents.
What I deliver:
- RAG chatbots that answer from YOUR docs — not hallucinations
- LLM deployment & quantization (Llama, Qwen, Mistral)
- FastAPI backends, automation, document data extraction
- WhatsApp & chat integrations
Every delivery includes a README and reproducible setup — no lock-in.
8+ yrs in software & data engineering. Python, FastAPI, LangChain, PostgreSQL, Docker, AWS.
Automatische Übersetzung
FAQ
Automatische Übersetzung
Welche GPU brauche ich?
Kommt auf die Modellgröße an: 7–8B-Modelle laufen gut auf 16–24GB (RTX 4090/A5000), 14B+ benötigen 24–48GB. Schick mir deinen Anwendungsfall, und ich empfehle die günstigste passende Option.
Ich habe noch keinen Server gemietet — kannst du mir bei der Auswahl helfen?
Ja, inklusive kostenlos. Ich zeige dir die beste Preis-Leistung bei RunPod oder Alternativen, bevor du etwas ausgibst.
Kostet mich das monatliche API-Gebühren?
Nein. Open-Source-Modelle auf deinem eigenen GPU = du zahlst nur die Servermiete. Keine Kosten pro Token.
Kannst du auch meine Dokumente verbinden (RAG)?
Ja — das ist das Premium-Paket, oder schau dir mein spezielles RAG-Chatbot-Gig an.
Brauchst du Zugriff auf meinen Server?
SSH oder die RunPod-Konsole, ganz wie du willst. Alles, was ich installiere, ist im README dokumentiert, und du kannst den Zugriff sofort widerrufen, wenn wir fertig sind.
