Vecy APP biedt tools om grote taalmodellen (LLM's) rechtstreeks op apparaten te gebruiken. Gebruikers kunnen kiezen uit een reeks kleine LLM's (van 0,5 miljard tot 3,5 miljard parameters) en gesprekken voeren met lokaal opgeslagen documenten. De app verwerkt automatisch bestanden (PDF's, DOCX-documenten, afbeeldingen, enz.) in de mappen Documenten, Downloaden en DCIM om insluitvectoren te genereren, die lokaal op het apparaat worden opgeslagen. Deze inbeddingsvectoren zijn cruciaal voor RAG-mogelijkheden (retrieval-augmentedgeneration), waardoor het vermogen van de LLM wordt vergroot om nauwkeurigere en relevantere antwoorden te geven wanneer vragen verband houden met de lokale bestanden.