Ich stelle dein privates, selbst gehostetes LLM auf deinem eigenen GPU-Server bereit und optimiere es

S
stchopko
S
stchopko
Stepan C.
Einige Informationen wurden automatisch übersetzt.
deploy and tune a private self hosted llm on your own GPU server
Vollbild
deploy and tune a private self hosted llm on your own GPU server
Vollbild
Vollbild
deploy and tune a private self hosted llm on your own GPU serverdeploy and tune a private self hosted llm on your own GPU serverdeploy and tune a private self hosted llm on your own GPU server

Über diesen Service

Automatische Übersetzung

ChatGPT-ähnliche KI, die auf deiner eigenen Hardware läuft und bei der keine Daten an Dritte gesendet werden? Ich richte alles ein und sorge für Tempo.


Die meisten Setups installieren nur einen Runner mit Standard-Einstellungen und erzielen 2–3 Mal mehr Leistungsfähigkeit. Ich erstelle Benchmark-Tests und optimiere sie genau für deine GPU und deinen RAM. Reale Ergebnisse von meinem eigenen Server (Tesla P100 16GB + EPYC):

  • MoE-Modell mit 177 Milliarden Parametern auf drei alten 16GB-GPUs mit 13,5 Tokens/s
  • 3,4-mal schnellerer Prompt-Verarbeitung (75 bis 254 Tokens/s) durch Optimierung der Batch-Größen
  • 80B-Coding-Modell mit 30 Tokens/s auf zwei älteren GPUs
  • Die richtige Quantisierung für deine CPU-/GPU-Generation

Was du bekommst:

  • llama.cpp-Server mit einer OpenAI-kompatiblen API
  • Web-Chat-Oberfläche
  • Modellauswahl passend zu deiner Hardware und deinem Anwendungsfall
  • Auto-Start-Service und sichere Fern-Zugänge
  • Benchmark-Bericht: Welche Geschwindigkeit du bekommst und warum

Schick mir deine GPU, deinen RAM und was die KI tun soll, und ich sage dir, was realistisch ist, bevor du bestellst.

  • KI-Engine

    • Claude
    • Meta Llama
    • Hugging Face
    • Andere

  • Tools & Frameworks

    • Andere

  • Art der KI-Lösung

    • KI-Chatbot
    • KI-Assistent
    • Internes KI-Tool

  • Zweck

    • Wissensmanagement
    • Dokumentenverarbeitung
    • Mitarbeiterproduktivität
    • Interne Abläufe

Lerne Stepan C. kennen

Stepan C.

PHP Developer and Self Hosted LLM Engineer

  • AusUkraine
  • Mitglied seitMai 2021

  • Sprachen

    Ukrainisch, Englisch
Backend developer with 9 years of commercial PHP (Symfony, Laravel, legacy code), including 6 years as Senior PHP Developer at an Irish software company, and hands-on experience running large language models on my own hardware. I fix and upgrade PHP sites that broke after a PHP 8.x update, migrate projects to modern Linux servers, and deploy private, self-hosted LLMs that run on your own GPU - no data leaves your server. I don't guess: I find the root cause, fix it, and tell you what was wrong. Clear written communication, fast replies.

Automatische Übersetzung

Verwandte Tags