Ich richte Ollama ein und öffne WebUI, damit du ein privates LLM lokal laufen lassen kannst


Level 2
Über diesen Service
Automatische Übersetzung
Möchtest du KI auf deinen Dokumenten verwenden, ohne Daten in die Cloud zu schicken? Ich richte Ollama und Open WebUI auf deiner Maschine oder deinem Server ein, damit dein Team privat mit einem lokalen Modell chatten kann – ganz ohne pro Nachricht anfallende API-Gebühren.
Was ich einrichte
- Ollama installiert und konfiguriert, mit einem Modell, das zu deiner Hardware passt (ich empfehle die Größe basierend auf deinem RAM und deiner GPU)
- Open WebUI mit Benutzerkonten, damit dein Team eine saubere Chat-Oberfläche hat, nicht eine Kommandozeile
- Ab Standard: deine Dokumente als Wissensbasis (RAG) hinzugefügt, sodass das Modell aus deinen Dateien antwortet
- Eine Setup-Anleitung: wie man es startet, Benutzer hinzufügt, Dokumente ergänzt und Modelle aktualisiert
Sicherheit, ganz einfach erklärt
Allein Ollama hat kein Login. Ich lasse eine Einrichtung nie unge schützt dem Internet ausgesetzt. Open WebUI-Konten kommen zuerst, und wir vereinbaren HTTPS und Zugriffskontrolle, bevor jeglicher Fernzugriff in Betrieb geht.
Was du brauchst
Ausreichend RAM für die Größe deines Modells. Als Richtwert läuft mit 16 GB RAM ein 7B bis 8B Modell gut, und eine GPU ist deutlich schneller. Sag mir dein Betriebssystem (Windows, Mac oder Linux), RAM und GPU in deiner ersten Nachricht und ich sage dir, was du vor der Bestellung erwarten kannst.
Lerne M Talha Zahid kennen
AI Specialist, Data Analytics and Python Automation
Level 2
- AusPakistan
- Mitglied seitOkt. 2021
- ⌀ Antwortzeit1 Stunde
- Letzte Lieferung3 Wochen
Sprachen
Urdu, Englisch, Deutsch
Automatische Übersetzung
Mein Portfolio
FAQ
Automatische Übersetzung
Wird es auf meinem Computer funktionieren?
Sag mir dein Betriebssystem, deinen Arbeitsspeicher und ob du eine GPU hast. Ich sage dir, welche Modellgröße gut läuft, bevor du bestellst. Wenn deine Hardware zu begrenzt ist, sage ich es dir und schlage stattdessen eine kleine Server-Option vor.
Sind meine Daten wirklich privat?
Mit einer lokalen Einrichtung bleiben deine Prompts und Dokumente auf deinem Computer oder Server und werden nicht an einen AI-Anbieter gesendet. Das ist der Hauptgrund, warum Käufer das gegenüber einem Cloud-Chatbot bevorzugen.
Welches Modell bekomme ich?
Es hängt von deiner Hardware und deinem Anwendungsfall ab. Ich beginne in der Regel mit einem starken Generalmodell in der Größe, die dein Gerät gut ausführen kann, und erkläre den Kompromiss zwischen Geschwindigkeit und Qualität.
Kann mein Team es auch nutzen?
Ja, ab Standard richte ich Open WebUI-Benutzerkonten ein, damit jede Person ihren eigenen Login und Chatverlauf hat.
