Kein Paperless: Gemma 4 + Qwen3-Embedding finden mit Beleg

Lokale KI für deine Dokumente: Ich zeige, wie sie auf meinem Laptop aus einem Stapel ungeordneter Dateien eine Ablage macht und danach deine Fragen mit Fundstelle beantwortet. Das ist Teil 2 meiner Reihe. In Teil 1 ging es um das Firmengehirn für einen ganzen Betrieb, jetzt schauen wir uns an, wie das im Kleinen funktioniert. Den Anstoß gab ein Kommentar von @FreiheitMitDeFi: Klappt das auf einem Büro-Laptop, wie geht es mit unvollständigen oder widersprüchlichen Dokumenten um, und wie viel muss ein Mensch danach noch nacharbeiten? In der Demo sortiere ich den Stapel eines fiktiven Malerbetriebs: 25 Dateien. Die Ordnung schlägt das Werkzeug aus einer Stichprobe vor, ich ergänze sie und gebe jede Zuordnung selbst frei. Zu jedem Wert liefert das Modell einen wörtlichen Ausschnitt, und eine feste Regel ohne KI prüft, ob er wirklich so im Dokument steht. Das Modell schlägt vor, die Regel entscheidet. Abgelegt werden nur Kopien, die Originale bleiben, wo sie sind. Danach stelle ich Fragen. Jede Antwort kommt mit Belegkarte, und bei einer Frage, zu der nichts im Bestand steht, sagt das Werkzeug genau das, statt zu raten. Ich zeige auch, wo es danebenliegt. Unter der Haube laufen zwei Modelle: Gemma 4 mit 12 Milliarden Parametern formuliert die Antworten, Qwen3-Embedding mit 4 Milliarden übersetzt Bedeutung in Zahlen. Zusammen brauchen sie 12,5 GB, auf meinem Laptop mit 24 GB passt das bequem, mit 16 GB geht es mit Abstrichen. Gemessen an meinen echten Unterlagen: 85 Fragen, 62 davon mit gültigem Beleg beantwortet, und alle 15 Fragen ohne Antwort im Bestand abgelehnt. Bei 30 zurückgehaltenen Fragen hat es 23 von 25 beantwortbaren richtig belegt. Nacharbeit: 42 von 113 Dokumenten gehen über meinen Tisch. Außerdem: warum ich nicht AnythingLLM, Open WebUI, Dify, Verba oder Paperless nehme, und wie andere Programme über MCP Fragen stellen dürfen, ohne an die Ordner zu kommen. Den Dokumentenassistenten findest du hier: https://github.com/Lausbub198/dokumen... Teil 1, das Firmengehirn:    • Lokale KI im Unternehmen: RAG-Wissensdaten...   KAPITEL 0:00 Einstieg 2:10 Die Demo 11:45 Einwand: Warum nicht von der Stange? 13:11 Was drunter läuft 16:17 Die Tür nach draußen: MCP 17:34 Fazit QUELLEN Gemma: https://ai.google.dev/gemma Qwen3-Embedding: https://ollama.com/library/qwen3-embe... Qwen: https://huggingface.co/Qwen AnythingLLM: https://anythingllm.com Open WebUI: https://openwebui.com Dify: https://dify.ai Verba: https://github.com/weaviate/Verba Paperless-ngx: https://github.com/paperless-ngx/pape... GermanQuAD: https://huggingface.co/datasets/deeps... Model Context Protocol (MCP): https://modelcontextprotocol.io KONTAKT Fragen? built@kifuerdenmittelstand.tech Website: https://kifuerdenmittelstand.tech/ Playlists: Lokale KI News:    • Lokale KI News   Lokale KI installieren & einrichten:    • Lokale KI installieren & einrichten   Datenhoheit & Kosten: Lokale KI im Unternehmen:    • Datenhoheit & Kosten: Lokale KI im Unterne...   Abonniere den Kanal, wenn du KI lieber besitzen als mieten willst. #LokaleKI #Dokumentenmanagement #RAG #Gemma