A Vecy APP eszközöket kínál a nagy nyelvi modellek (LLM) közvetlenül az eszközökön történő kihasználásához. A felhasználók kis LLM-ek (0,5-3,5 milliárdos paraméterek) közül választhatnak, és beszélgetéseket folytathatnak a helyben tárolt dokumentumokkal. Az alkalmazás automatikusan feldolgozza a Dokumentumok, Letöltések és DCIM könyvtárak fájljait (PDF-ek, DOCX-dokumentumok, képek stb.), hogy beágyazási vektorokat generáljon, amelyeket helyileg az eszközön tárol. Ezek a beágyazási vektorok kulcsfontosságúak a RAG (retrieval-augmented generation) képességei szempontjából, javítva az LLM azon képességét, hogy pontosabb és relevánsabb válaszokat adjon, amikor a lekérdezések a helyi fájlokhoz kapcsolódnak.