LLM Server — On-Device AI API

magnus2026‏

درباره این برنامه

★ تبدیل گوشی به یک سرور هوش مصنوعی ★

سرور LLM به شما امکان می‌دهد مدل‌های زبانی بزرگ را مستقیماً روی دستگاه اندروید خود اجرا کنید - و آنها را به عنوان یک نقطه پایانی API محلی که هر برنامه، اسکریپت یا عامل هوش مصنوعی می‌تواند به آن متصل شود، در معرض نمایش قرار دهید.

بدون ابر. بدون اشتراک. تلفن شما به بک‌اند هوش مصنوعی تبدیل می‌شود.

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

🧠 استنتاج روی دستگاه
• اجرای LLM های با وزن باز (Llama، Gemma، Phi، Qwen، Mistral و موارد دیگر)
• بهینه شده برای سخت افزار موبایل با کوانتیزاسیون GGUF
• حریم خصوصی کامل - داده های شما هرگز از دستگاه شما خارج نمی شوند
• پس از دانلود مدل ها کاملاً آفلاین کار می کنند

🔌 سرور API داخلی
• API REST سازگار با OpenAI که از تلفن شما ارائه می شود
• اتصال هر ابزاری که با فرمت API OpenAI صحبت می کند
• جریان پاسخ ها به صورت بلادرنگ از طریق رویدادهای ارسال شده از سرور
• خدمت رسانی به چندین کلاینت در شبکه محلی شما

🤖 عالی برای عامل های هوش مصنوعی
• اجازه دهید هوش مصنوعی شما دستیارها با تلفن شما به عنوان یک بک‌اند LLM تماس می‌گیرند
• Hermes Agent، LangChain، AutoGPT — هر چیزی با HTTP
• پشتیبانی از Tailscale/ZeroTier برای دسترسی امن از راه دور
• بدون نیاز به کلیدهای API — شما مالک مدل هستید

📱 نحوه کار
۱. یک مدل را از مرورگر مدل داخلی دانلود کنید
۲. برای راه‌اندازی نقطه پایانی API، روی "شروع سرور" ضربه بزنید
۳. هر کلاینتی را به http://your-phone-ip:8080/v1/chat/completions هدایت کنید
۴. همین — تلفن شما اکنون یک سرور هوش مصنوعی است

🔧 جزئیات فنی
• بک‌اند llama.cpp برای استنتاج سریع CPU/GPU
• پشتیبانی از مدل‌های GGUF (Q4_K_M، Q5_K_M، Q8_0 و موارد دیگر)
• نقطه پایانی /v1/chat/completions سازگار با OpenAI
• طول، دما و نمونه‌برداری زمینه قابل تنظیم
• سرویس پس‌زمینه حتی زمانی که برنامه کوچک شده است، به ارائه خدمات ادامه می‌دهد
• زمان‌بندی استنتاج بهینه‌شده برای مصرف باتری

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

💡 موارد استفاده
• دستیار شخصی هوش مصنوعی که ۱۰۰٪ روی دستگاه شما اجرا می‌شود
• توسعه و آزمایش - ویژگی‌های نمونه اولیه هوش مصنوعی بدون هزینه‌های ابری
• بک‌اند عامل هوش مصنوعی - اجازه دهید عامل‌های خودمختار از تلفن شما به عنوان مغز خود استفاده کنند
• هوش مصنوعی با اولویت حریم خصوصی - داده‌های حساس هرگز به فضای ابری دسترسی پیدا نمی‌کنند
• هوش مصنوعی آفلاین - روی هواپیماها، تونل‌ها و هر مکان دیگری کار می‌کند

🔒 حریم خصوصی و امنیت
• تمام استنتاج‌ها روی دستگاه اتفاق می‌افتد
• بدون جمع‌آوری داده‌ها، بدون تله‌متری، بدون وابستگی به فضای ابری
• سرور API به طور پیش‌فرض فقط در شبکه محلی شما قابل دسترسی است
• اکوسیستم مدل متن‌باز - بدون فروشنده قفل شدن

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

LLM Server شکاف بین مدل‌های قدرتمند هوش مصنوعی متن‌باز و دستگاه‌هایی که هر روز حمل می‌کنید را پر می‌کند. دیگر برای تماس‌های API ابری هزینه نکنید - هوش مصنوعی خودتان را با شرایط خودتان اجرا کنید.

همین حالا دانلود کنید و گوشی خود را به یک نیروگاه هوش مصنوعی تبدیل کنید.

تازه‌ها

v1.7.0 — Improved first-launch experience with automatic starter model setup. New users get a working AI model within a minute of opening the app.