Ich richte deinen AI-GPU-Server und deine private LLM-API ein


Über diesen Service
Automatische Übersetzung
Ich setzte einen Linux-NVIDIA-Server auf, der eine private OpenAI-kompatible LLM-API auf der Hardware deiner Wahl bereitstellt.
Du bekommst Ubuntu, den NVIDIA-Treiber, einen lokalen Inferenz-Server und HTTPS davor. Das Modell bleibt auf deiner Maschine. Aufrufer verwenden ein Token. Ich verkaufe keine Cloud-Credits, Wallets oder Handelssysteme.
Am besten geeignet: ein Arbeitssystem oder ein kleiner GPU-Host (RTX PRO, RTX-50er-Serie oder eine ähnliche NVIDIA-Karte). Sende vor der Bestellung den GPU-Namen, RAM und Festplattengröße.
Basis: ein schriftlicher Plan für diese Box. Treiber, ob das Modell passt, Netzwerk und was ich nicht installiere.
Standard: ein Host läuft: Treiber, Inferenz auf localhost, Reverse-Proxy mit TLS und einem Client-Token, sowie ein kurzer Runbook.
Premium: derselbe Host plus einen Zeitplan, damit die API nur in deinem Fenster offen ist, eine Gesundheitsprüfung, bevor es als bereit markiert wird, und ein Übergabe-Anruf.
Nach Start der Bestellung benötige ich SSH oder eine Remote-Konsole. Bitte keine Austausch-Logins oder Wallet-Keys.
Nicht enthalten: Hardware-Kauf, Colocation, Stromrechnungen oder Betrieb des Boxes nach Übergabe. Eine Betreuungsphase ist optional.
Lerne Eqan Ahmad kennen
Launching your Trading Strategies to success
- AusPakistan
- Mitglied seitAug. 2019
- Letzte Lieferung8 Monate
Sprachen
Urdu, Englisch
Automatische Übersetzung
Mein Portfolio
FAQ
Automatische Übersetzung
Baut ihr ein komplettes Rechenzentrum?
Nein. Dieser Gig ist ein GPU-Server oder ein kleiner Host, den du bereits hast. Ein Rack mit vielen Maschinen ist ein Sonderangebot, nachdem ich die Hardwareliste gesehen habe.
Welches Modell installierst du?
Wir einigen uns auf das Modell, bevor die Arbeiten beginnen. Bei einer 32-GB-NVIDIA-Karte passt in der Regel ein 27B Qwen GGUF. Ich installiere kein Modell, das nicht zur GPU passt.
Welchen Zugriff benötigst du?
Nach Start der Bestellung: SSH oder eine Remote-Konsole, das GPU-Modell und das OS. Wallet-Keys oder Austausch-Logins benötige ich nicht.
Wem gehört der Server nach der Lieferung?
Du. Ich hinterlasse ein Runbook. Ich behalte keinen Login, es sei denn, du kaufst eine Betreuungsoption.
Kann die API privat bleiben?
Ja. Der Inferenz-Port bleibt auf localhost. Käufer erreichen ihn über HTTPS mit einem Token oder über ein VPN, das du bereits betreibst.

