Ich entwickle End-to-End-lokale RAG-Systeme und Chatbots

Ein polnischer RAG-Chatbot, der komplett von der Artikelsammlung bis zur fertigen Antwort mit drei Quellenlinks gebaut wurde.

Die Wissensbasis ist absichtlich klein: 141 Hilfsartikel. Bei dieser Größe kann ich jede Änderung auf einem Testset messen, anstatt zu raten.

Die Suche ist hybrid. Schlüsselwortsuche behandelt Fragen, bei denen ein genaues Wort die Antwort entscheidet, Vektorsuche erfasst die Bedeutung, die beiden Rankings werden zusammengeführt, und ein Cross-Encoder wählt die besten drei aus zwanzig Kandidaten. Die Genauigkeit liegt bei 58 von 60 auf dem Testset.

Reale Fragen kommen mit Tippfehlern, daher sitzt vor der Pipeline ein Rechtschreibkorrektor, der durch eine Wortfrequenzprüfung geschützt wird, damit er keine korrekten Eingaben verfälscht.

Das System weiß auch, wann es ablehnen soll. Themenfremde Fragen werden vor der Generierung günstig ausgeschnitten, ein zweites Modell entscheidet bei Grenzfällen, und eine Abdeckungsprüfung danach erkennt Antworten, die nicht im Text verankert sind.

Die Abfrage erfolgt lokal: Embeddings, Indizes und der Reranker laufen alle auf dem Server. Die öffentliche Demo ruft ein gehostetes Modell für die Generierung auf, weil der VPS keine GPU hat, aber es ist derselbe Code mit einer anderen Konfigurationsdatei und läuft vollständig offline auf Ollama.