Vecy APP는 장치에서 직접 LLM(대형 언어 모델)을 활용하기 위한 도구를 제공합니다. 사용자는 다양한 소규모 LLM(0.5B ~ 3.5B 매개변수) 중에서 선택하고 로컬에 저장된 문서와 대화에 참여할 수 있습니다. 앱은 문서, 다운로드 및 DCIM 디렉터리 내의 파일(PDF, DOCX 문서, 이미지 등)을 자동으로 처리하여 장치에 로컬로 저장되는 임베딩 벡터를 생성합니다. 이러한 임베딩 벡터는 RAG(검색 증강 생성) 기능에 중요하며, 쿼리가 로컬 파일과 관련될 때 LLM의 기능을 향상시켜 보다 정확하고 관련성 높은 응답을 제공합니다.