LLM Server — On-Device AI API

magnus2026

За апликацијава

★ Претворете го вашиот телефон во сервер за вештачка интелигенција ★

LLM серверот ви овозможува да извршувате големи јазични модели директно на вашиот Android уред - и да ги изложите како локална API крајна точка на која може да се поврзе која било апликација, скрипта или агент за вештачка интелигенција.

Без облак. Без претплати. Вашиот телефон станува бекенд за вештачка интелигенција.

━━━━━━━━━━━━━━━━━━━━━━━━━━━━

🧠 ИНФЕРЕНЦИЈА НА УРЕД
• Извршувајте LLM со отворена тежина (Llama, Gemma, Phi, Qwen, Mistral и други)
• Оптимизирано за мобилен хардвер со квантизација GGUF
• Целосна приватност - вашите податоци никогаш не го напуштаат вашиот уред
• Работи целосно офлајн откако ќе се преземат моделите

🔌 ВГРАДЕН API СЕРВЕР
• REST API компатибилен со OpenAI кој се служи од вашиот телефон
• Поврзете која било алатка што го зборува OpenAI API форматот
• Стримувајте одговори во реално време преку настани испратени од серверот
• Опслужувајте повеќе клиенти на вашата локална мрежа

🤖 ИДЕАЛНО ЗА АГЕНТИ НА ВИ
• Дозволете им на вашите асистенти на ВИ да се јават на вашиот телефон како LLM бекенд
• Hermes Agent, LangChain, AutoGPT — сè со HTTP
• Поддршка за Tailscale/ZeroTier за безбеден далечински пристап
• Не се потребни API клучеви — вие го поседувате моделот

📱 КАКО ФУНКЦИОНИРА
1. Преземете модел од вградениот прелистувач на модели
2. Допрете „Старт сервер“ за да ја стартувате крајната точка на API
3. Насочете го кој било клиент кон http://your-phone-ip:8080/v1/chat/completions
4. Тоа е тоа — вашиот телефон сега е AI сервер

🔧 ТЕХНИЧКИ ДЕТАЛИ
• llama.cpp бекенд за брзо CPU/GPU инференција
• Поддржува GGUF модели (Q4_K_M, Q5_K_M, Q8_0 и повеќе)
• OpenAI-компатибилна крајна точка /v1/chat/completions
• Конфигурабилна должина на контекстот, температура и семплирање
• Услугата во позадина продолжува да работи дури и кога апликацијата е минимизирана
• Инференција оптимизирана за батеријата закажување

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

💡 СЛУЧАИ НА УПОТРЕБА
• Личен асистент за вештачка интелигенција кој работи 100% на вашиот уред
• Развој и тестирање — прототипни функции на вештачката интелигенција без трошоци за облак
• Заден дел од агентот за вештачка интелигенција — дозволете им на автономните агенти да го користат вашиот телефон како свој мозок
• Вештачката интелигенција е на прво место — чувствителните податоци никогаш не го допираат облакот
• Вештачката интелигенција офлајн — работи на авиони, во тунели, насекаде

🔒 ПРИВАТНОСТ И БЕЗБЕДНОСТ
• Сите заклучоци се случуваат на уредот
• Нема собирање податоци, нема телеметрија, нема зависност од облак
• API серверот е достапен само на вашата локална мрежа по дифолт
• Екосистем на модел со отворен код — нема продавач заклучување

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

LLM серверот го премостува јазот помеѓу моќните модели на вештачка интелигенција со отворен код и уредите што ги носите секој ден. Престанете да плаќате за повици на cloud API - стартувајте ја вашата сопствена вештачка интелигенција, според ваши услови.

Преземете сега и претворете го вашиот телефон во моќна вештачка интелигенција.

Што има ново

v1.7.0 — Improved first-launch experience with automatic starter model setup. New users get a working AI model within a minute of opening the app.