Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich stelle lokale KI mit vllm auf jeder Cloud oder deinem eigenen Server bereit
Softwareentwickler, Leser und Forscher
Ich bin vor sieben Jahren in die Tech-Welt eingestiegen. Zuerst habe ich Datenpipelines gebaut. Danach habe ich an Sensorfusion für autonome Fahrzeuge (ego) gearbeitet. Anschließend war ich für amerik...
Über diesen Service
Wenn du LLMs in großem Maßstab nutzt oder in einer regulierten Branche arbeitest oder dir Privatsphäre wichtig ist, dann musst du die KI besitzen. Ich setze LLMs/vision-llms/tiefenlernmodelle vollständig auf DEINER Infrastruktur ein und optimiere sie.
WAS DU BEKOMMST
- vLLM, SGLang, Ollama, llama.cpp und MLX-Serving
- API-Endpunkt kompatibel mit OpenAI/Anthropic
- Quantisierung, abgestimmt auf deine Hardware
- P99 TTFT, Durchsatz und Batch-Größe, angepasst an deine SLOs
- KV-Cache und Prefix-Caching
- Spekulatives Decoding und Chunked Prefill für mehr Geschwindigkeit
- NVIDIA CUDA, AMD ROCm, Apple Silicon oder nur CPU
- AWS, GCP, Azure, RunPod, Lambda oder dein eigener Server
- Lasttest: P50/P99 Latenz, Tokens/sec, maximale gleichzeitige Nutzer
AUCH VERFÜGBAR
- In-Browser-KI mit WebLLM (MLC)
- On-Device iOS/Android und Faster-Whisper-Sprachfunktion
Schnelle Inferenz ist ein Balanceakt: TTFT, tokens/sec und gleichzeitige Nutzer konkurrieren um dasselbe VRAM. Ich passe es an deine SLO an.
FAQ
Automatische Übersetzung
Welchen Inference-Engine sollte ich wählen?
Kommt auf deine Last an: Ollama für kleine Teams (~10 Nutzer), vLLM für Produktionsdurchsatz, SGLang für Multi-Turn/Agent-Workloads. Ich prüfe deinen Fall, bevor du bestellst.
Welche Hardware unterstützt du?
NVIDIA CUDA, AMD ROCm, Vulkan, Apple MLX und CPU-only Server. Die Hardware-Generation ist entscheidend. Ampere, Hopper und Blackwell unterscheiden sich.
Kannst du auf Mobilgeräten oder im Browser bereitstellen?
Ja. Im Browser via WebLLM. Auf Geräten mit iOS/Android nur für unterstützte Modelle.
Wie schnell ist mein Modell?
Geschwindigkeit ist ein Dreieck: Time-to-first-token, tokens pro Sekunde und wie viele Nutzer in den Speicher passen. Du kannst nicht alle drei maximieren. Sag mir deine Grenzen, und ich konfiguriere die Engine so, dass sie das richtige Gleichgewicht findet.
