Ich richte die Inferenz für deine Open-Source-Modelle ein

R
rickymuchiri
R
rickymuchiri
Erick
5,0
5,0
Einige Informationen wurden automatisch übersetzt.

Über diesen Service

Automatische Übersetzung

Ich baue die Inferenz für deine Open-Source-Modelle mit Engines wie TensorRT-LLM, vLLM und sGLang auf. Für Workflows mit niedriger Latenz helfe ich dir, eine geringe Latenz durch Methoden wie Quantisierung, Model-Compilation, Batching und Streaming zu erreichen. Außerdem richte ich Sicherheitsmaßnahmen für deine Inferenz-Endpunkte mit API-Keys und RAG-Unterstützung ein, um Dokumente an deine Prompts anzuhängen. Dieser Service gilt sowohl vor Ort als auch in der Cloud – sowohl auf CPUs als auch auf GPUs.

Lerne Erick kennen

Erick

Selfhosted solutions

4,9(10)
  • AusKenia
  • Mitglied seitSept. 2022
  • ⌀ Antwortzeit19 Stunden
  • Letzte Lieferung3 Monate
  • Sprachen

    Englisch, Suaheli
I'm Erick, a Software Engineer and System Administrator specializing in self-hosted solutions. I deploy and manage secure server environments to help businesses operate independently from third-party SaaS platforms. My expertise includes Linux server administration, Docker containerization, virtualization with Proxmox, and VPN configuration using Tailscale, Wireguard and OpenVPN. I set up, troubleshoot, and optimize self-hosted services, ensuring efficient and reliable infrastructures tailored to your needs. I also provide Twilio services to help businesses efficiently reach out to customers.

Automatische Übersetzung

Bewertungen

1 Bewertungen für diesen Service
5,0

(1)
(0)
(0)
(0)
(0)
Zusammensetzung der Bewertung
  • Kommunikation
    5
  • Qualität der Lieferung
    5
  • Preis-Leistungs-Verhältnis der Lieferung
    5
Sortieren nach:
Am relevantesten
  • B

    benrudidi82

    CM

    Kamerun

    Laufende Zusammenarbeit
    5

    for me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...

    50 $-100 $

    Preis

    4 Tagen

    Dauer

    Hilfreich?
    Ja
    Nein
Bewertungen

1 Bewertungen für diesen Service
5,0

(1)
(0)
(0)
(0)
(0)
Zusammensetzung der Bewertung
  • Kommunikation
    5
  • Qualität der Lieferung
    5
  • Preis-Leistungs-Verhältnis der Lieferung
    5
Sortieren nach:
Am relevantesten
  • B

    benrudidi82

    CM

    Kamerun

    Laufende Zusammenarbeit
    5

    for me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...

    50 $-100 $

    Preis

    4 Tagen

    Dauer

    Hilfreich?
    Ja
    Nein