Ich quantisiere dein KI-Modell

Sind deine Cloud-GPU-Rechnungen außer Kontrolle, oder ist dein feinabgestimmtes Modell zu schwer, um auf Edge-Hardware zu laufen?

Ich bin Systemingenieur für maschinelles Lernen, spezialisiert auf Low-Bit-Quantisierung, Inferenzoptimierung und Edge-Deployment. Ich nehme große Sprach-, Vision- und Mixture-of-Experts (MoE)-Modelle und verkleinere deren Speicherbedarf um 50 % bis 80 %, ohne die Genauigkeit zu zerstören.

Egal, ob du ein 70B-Modell auf Consumer-GPUs unterbringen, ein 7B-Modell auf einem Apple Silicon Mac/iPhone laufen lassen oder eine kalibrierte GGUF-Datei für lokale Unternehmenskonformität brauchst – ich erstelle die genaue Runtime-Pipeline, die du benötigst.

Worin ich mich auskenne:

* Formate & Runtimes: GGUF (llama.cpp), MLX (Apple Silicon Mac/iOS), EXL2, AWQ, GPTQ, bitsandbytes (NF4/FP8).

* Modelarchitekturen: Llama 3, Qwen 2.5 / 3.8, Mistral, Gemma, MoE-Modelle (OLMoE, Mixtral) und Vision-Language-Modelle (VLMs).

* Zielhardware: Einzelne NVIDIA-GPUs (L4, A10, RTX 4090), Apple Silicon (M-Serie, einheitlicher Speicher, iOS) und CPU-Inferenz.

* Präzision & Qualität: Fortgeschrittene Kalibrierung (imatrix), aktivierungsbewusste Quantisierung und deterministische Qualitätsprüfung (Perplexity & Downstream-Evaluierungen).