Kategorien durchsuchen
Entdecken
Fiverr Pro
Deutsch
$
USD
Ich werde private, on device ai desktop applications
Shashank
Level 2
Über diesen Service
Automatische Übersetzung
Deine Kunden werden dir nicht erlauben, ihre Daten an ChatGPT zu schicken. Ich verstehe das. Ich werde dir eine Windows-Desktop-Anwendung bauen, die ein echtes LLM Phi-3, Llama 3, Mistral, Qwen oder Gemma vollständig auf dem Rechner des Nutzers laufen lässt
Keine Cloud. Keine API-Schlüssel. Keine Datenlecks. Keine wiederkehrenden OpenAI-Rechnungen. Keine DSGVO-Probleme. Keine HIPAA-Bedenken.
Ich bin ein erfahrener Windows-Entwickler (seit über 13 Jahren) und arbeite derzeit an Hardware-Debugging-Tools bei einem globalen Halbleiterunternehmen. Ich verstehe ONNX Runtime, DirectML, GPU/NPU-Beschleunigung und wie man ein 24 GB großes Modell in einem MSIX- oder Inno Setup-Installer verschickt, ohne es zu zerbrechen.
Perfekt für:
- Anwaltskanzleien, die vertrauliche Kundendaten verarbeiten
- Gesundheitsdienstleister (HIPAA-konform)
- Finanzberater und Buchhalter
- Verteidigung und Regierungsauftragnehmer (ITAR, CMMC)
- HR-Tools mit Mitarbeiter-PII
- Jede Gruppe, die an GDPR, SOC 2 oder internen Datenresidenzregeln gebunden ist
- Unternehmen in Regionen mit schlechter Internetverbindung
Technologie-Stack: C# / WPF/ WinUI, ONNX Runtime GenAI, llama.cpp, Microsoft.ML.OnnxRuntime, DirectML, Semantic Kernel (lokaler Modus), LiteDB für Vektorspeicherung, MSIX / Inno Setup Verpackung
Hardware-Anforderungen, bei deren Planung ich dir helfe: Ich empfehle Mindestanforderungen für deine Endnutzer basierend auf der Modellgröße
Lerne Shashank kennen
Shashank
Windows Desktop Developer C Sharp, C plus plus , Python , WPF, XAML, AI
Level 2
- AusIndien
- Mitglied seitJan. 2018
- ⌀ Antwortzeit1 Stunde
- Letzte Lieferung3 Wochen
Sprachen
Englisch, Deutsch, Portugiesisch, Französisch
Accomplished Software Developer with 14 years of experience by acting as individual contributor mainly towards Windows Desktop Applications and C++ Programming.
I'm also an AI integration specialist with 4 years of experience in bringing cutting-edge AI capabilities to applications and websites just like yours. With a focus on creating seamless, intuitive interactions, I've helped numerous clients enhance their digital platforms with AI, improving user engagement and operational efficiency.
Automatische Übersetzung
Mein Portfolio
FAQ
Automatische Übersetzung
Wie gut sind lokale Modelle im Vergleich zu GPT-4?
Ehrlich gesagt, nicht in allem so gut — aber überraschend nah bei vielen Aufgaben. Phi-3-mini und Llama 3 8B bearbeiten Fragen & Antworten, Zusammenfassungen, Extraktionen und Entwürfe sehr gut. Für Aufgaben, die breites Weltwissen oder komplexes Denken erfordern, führen Cloud-Modelle weiterhin.
Wie groß ist der finale Installer?
Zwischen 2 GB und 8 GB, abhängig vom Modell. Ich verwende Installer, die das Modell beim ersten Start herunterladen, falls du eine kleinere Anfangsdownload bevorzugst.
Wird das auf einem 5 Jahre alten Laptop funktionieren?
Ja, mit einem kleineren Modell (Phi-3-mini, 3,8B Parameter) auf CPU — langsamer, vielleicht 3–6 Tokens pro Sekunde. Für Echtzeit-reaktionen werden 16 GB RAM und ein moderner Prozessor empfohlen.
Kann es die NPU auf neueren Copilot+ PCs nutzen?
Ja. ONNX Runtime mit DirectML kann die NPU auf Qualcomm Snapdragon X und neueren Intel / AMD NPUs ansteuern, was die Inferenz deutlich beschleunigt und den Stromverbrauch senkt.
Was, wenn ich das Modell später aktualisieren möchte?
Die Standard- und Premium-Pakete enthalten einen Mechanismus zum Modellwechsel, sodass du (oder deine Nutzer) ein neueres oder anderes Modell einfügen kannst, ohne einen neuen Installer zu benötigen.
Übernimmst du Fine-Tuning?
Fine-Tuning ist eine separate Aufgabe. Für die meisten Anwendungsfälle liefert RAG (Retrieving from your own documents) das gleiche praktische Ergebnis, ohne die Kosten und Komplexität des Fine-Tunings. Ich berate ehrlich, was du brauchst.
Kannst du eine HIPAA BAA unterschreiben?
Ich unterschreibe keine BAAs als Einzel-Freelancer, aber deine App kann von Grund auf HIPAA-konform sein — genau das, was ich baue. Ich erkläre den Unterschied in unserem ersten Gespräch.
Was ist mit der kommerziellen Lizenzierung der Modelle?
Ich verwende nur Modelle mit permissiven Lizenzen (Phi-3 MIT, Llama 3 mit Meta's kommerzieller Lizenz, Mistral Apache 2.0, Qwen). Ich werde Lizenzimplikationen ansprechen, bevor wir uns auf ein Modell einigen.
