Ich stimme LLMS mit PyTorch und Huggingface fein ab und trainiere sie

Ich passe offene Modelle mit deinen Daten so an, dass sie deine Terminologie, deine Dokumente und deinen Anwendungsfall wirklich verstehen.

Was ich mache

• Feinabstimmung von open-weights LLMs mit LoRA oder vollständiger Feinjustierung, auf PyTorch und HuggingFace
• Reinigen und Strukturieren deiner Rohdaten zu einem nutzbaren Trainingssatz, meist der schwierigste Teil
• Aufbauen eines Evaluierungsrahmens, damit die Qualität gemessen wird und nicht geraten
• Export für die Produktion: ONNX, TorchScript oder eine deployte Inferenz-API
• Ausführen auf deiner Infrastruktur, damit keine API-Kosten pro Token anfallen

Aktuelle Arbeiten: Ein Modell auf die interne Dokumentation eines Kunden feinabgestimmt. Die Genauigkeit bei ihrem Benchmark stieg von etwa 60 % auf über 90 %, läuft auf ihrer eigenen Hardware.

So arbeite ich

Ich erstelle das Eval-Set, bevor ich mit dem Training beginne. Ohne das kann man nicht sagen, ob eine Verbesserung erreicht wurde oder sich verschlechtert hat, und die meisten Feinjustierungsprojekte überspringen diesen Schritt.

Ich sage dir auch, wann Feinabstimmung nicht die beste Lösung ist, manchmal bringen RAG oder besseres Prompting dich viel günstiger ans Ziel.

Schreib mir mit deinem Anwendungsfall und deiner Dataset-Größe, und ich sage dir, was realistisch ist.