Vecy APP bietet Tools zur Nutzung großer Sprachmodelle (LLMs) direkt auf Geräten. Benutzer können aus einer Reihe kleiner LLMs (von 0,5 B bis 3,5 B Parametern) auswählen und Gespräche mit lokal gespeicherten Dokumenten führen. Die App verarbeitet automatisch Dateien (PDFs, DOCX-Dokumente, Bilder usw.) in den Verzeichnissen „Dokumente“, „Download“ und „DCIM“, um Einbettungsvektoren zu generieren, die lokal auf dem Gerät gespeichert werden. Diese Einbettungsvektoren sind für die RAG-Funktionen (Retrieval-Augmented Generation) von entscheidender Bedeutung und verbessern die Fähigkeit des LLM, genauere und relevantere Antworten bereitzustellen, wenn Abfragen im Zusammenhang mit den lokalen Dateien stehen.
Aktualisiert am
11.08.2025