LLM Server — On-Device AI API

magnus2026

Acerca desta aplicación

★ Converte o teu teléfono nun servidor de IA ★

LLM Server permíteche executar modelos de linguaxe grandes directamente no teu dispositivo Android e expoñelos como un punto final da API local ao que calquera aplicación, script ou axente de IA pode conectarse.

Sen nube. Sen subscricións. O teu teléfono convértese no backend de IA.

━━━━━━━━━━━━━━━━━━━━━━━━━━━

🧠 INFERENCIA NO DISPOSITIVO
• Executa LLM de peso aberto (Llama, Gemma, Phi, Qwen, Mistral e moitos máis)
• Optimizado para hardware móbil con cuantización GGUF
• Privacidade total: os teus datos nunca saen do teu dispositivo
• Funciona completamente sen conexión unha vez descargados os modelos

🔌 SERVIDOR DE API INTEGRADO
• API REST compatible con OpenAI servida desde o teu teléfono
• Conecta calquera ferramenta que fale o formato API de OpenAI
• Transmite respostas en tempo real a través de eventos enviados polo servidor
• Atende a varios clientes na túa rede local

🤖 PERFECTO PARA AXENTES DE IA
• Deixa que os teus asistentes de IA chamen ao teu teléfono como backend LLM
• Axente Hermes, LangChain, AutoGPT: calquera cousa con HTTP
• Compatibilidade con Tailscale/ZeroTier para acceso remoto seguro
• Non se necesitan claves API: o modelo é teu

📱 COMO FUNCIONA
1. Descarga un modelo desde o navegador de modelos integrado
2. Toca en "Iniciar servidor" para iniciar o punto final da API
3. Apunta calquera cliente a http://o-ip-do-teléfono:8080/v1/chat/completions
4. Iso é todo: o teu teléfono agora é un servidor de IA

🔧 DETALLES TÉCNICOS
• backend llama.cpp para unha inferencia rápida de CPU/GPU
• Admite modelos GGUF (Q4_K_M, Q5_K_M, Q8_0 e máis)
• Punto final /v1/chat/completions compatible con OpenAI
• Lonxitude, temperatura e mostraxe de contexto configurables
• O servizo en segundo plano segue servindo mesmo cando a aplicación está minimizada
• Inferencia optimizada para batería programación

━━━━━━━━━━━━━━━━━━━━━━━━━━━

💡 CASOS DE USO
• Asistente persoal de IA que se executa ao 100 % no teu dispositivo
• Desenvolvemento e probas: prototipos de funcións de IA sen custos na nube
• Backend de axente de IA: permite que os axentes autónomos usen o teu teléfono como cerebro
• IA prioritaria: os datos sensibles nunca tocan a nube
• IA sen conexión: funciona en avións, túneles e en calquera lugar

🔒 PRIVACIDADE E SEGURIDADE
• Toda a inferencia ocorre no dispositivo
• Sen recollida de datos, sen telemetría nin dependencia da nube
• Servidor API só accesible na túa rede local por defecto
• Ecosistema de modelos de código aberto: sen provedor bloqueo

━━━━━━━━━━━━━━━━━━━━━━━━━━━

LLM Server serve de ponte entre os potentes modelos de IA de código aberto e os dispositivos que levas todos os días. Deixa de pagar polas chamadas á API na nube: executa a túa propia IA nos teus propios termos.

Descárgaa agora e converte o teu teléfono nunha potencia de IA.

Novidades

v1.7.0 — Improved first-launch experience with automatic starter model setup. New users get a working AI model within a minute of opening the app.