TokForge Local AI Offline Chat

Defcon-One

Описание

ПРИВАТНЫЙ, ЛОКАЛЬНЫЙ И ОФЛАЙН ИИ. БЕЗ РЕКЛАМЫ И БЕЗ ПОДПИСКИ

TokForge быстро запускает большие языковые модели прямо на вашем устройстве Android. Никакого облака, никакой подписки и никаких данных, покидающих ваш карман.

Нужен ли вам локальный ИИ-помощник для повышения производительности или говорящий ИИ-друг в офлайн-режиме, TokForge обеспечивает высокопроизводительный вывод без подключения к интернету.

ЧТО ОН МОЖЕТ ДЕЛАТЬ? ВОЗМОЖНОСТИ TOKFORGE:

Общайтесь с персонажами ИИ

💬 Ваш опыт общения с ИИ в офлайн-режиме получил обновление. Импортируйте карточки персонажей TavernAI V2 (PNG/JSON), настраивайте личности и ведите настоящие разговоры с помощью потоковой генерации. TokForge — это лучший ИИ-друг в офлайн-режиме, включающий книги знаний, альтернативные приветствия и информацию о мире. Модели рассуждений даже включают сворачиваемые блоки мышления для глубокой логики.

Прикрепляйте документы и задавайте вопросы

📄 Превратите TokForge в мощный локальный инструмент для исследований с использованием ИИ. Вставьте PDF-файл, DOCX-файл, EPUB-файл или текстовый файл и задавайте любые вопросы в автономном режиме. Используя индексацию дерева RAPTOR и эмбеддинги BGE-small, приложение мгновенно находит релевантные фрагменты текста. Последующие вопросы быстро обрабатываются благодаря сохранению кэша дельта-значения ключ-значение.

Слушайте ответы вслух

🔊 Настоящий голосовой помощник для Android в автономном режиме. Благодаря встроенной функции Kokoro TTS с 11 голосами и двумя уровнями качества, ваш офлайн-помощник может зачитывать вам ответы без задержек и с нулевым расходом трафика.

В 2 раза быстрее благодаря спекулятивному декодированию

⚡ Оцените самую высокую производительность LLM на мобильных устройствах. Небольшая черновая модель прогнозирует результаты, в то время как основная модель проверяет их в пакетном режиме. Благодаря индикатору скорости обработки данных в реальном времени и интеллектуальной маршрутизации бэкэнда, это самое эффективное из доступных решений для ИИ на устройстве.

Три бэкэнда, пять путей GPU

· MNN с OpenCL и Vulkan GPU: оптимизированные ядра для Mali и Adreno. TQ4 TurboQuant достигает 46–57 tok/s на небольших моделях.

· GGUF через llama.cpp: ARM i8mm, кооперативная матрица Vulkan, быстрое внимание и полный диапазон квантования.

· Удаленный API: потоковая передача данных, совместимая с OpenAI, на серверы Ollama, vLLM или llama.cpp.

· Автоматическая маршрутизация с учетом SoC: этот локальный помощник ИИ автоматически выбирает самый быстрый путь для вашего конкретного чипсета.

РАСШИРЕННЫЕ ВОЗМОЖНОСТИ ОФЛАЙН-ЧАТА С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ:

• Ваш ИИ вас помнит: Постоянная память для каждого символа с фоновым извлечением. Графы знаний отслеживают связи между сущностями с помощью гибридного поиска по ключевым словам и семантического поиска.

• Настройте ваше устройство: ForgeLab тестирует производительность каждой комбинации модели ИИ и бэкенда на вашем оборудовании. AutoForge анализирует все конфигурации, чтобы выбрать самые быстрые настройки для вашего офлайн-приложения ИИ.

• API разработчика: Более 120 конечных точек для полного локального управления по HTTP. Загружайте модели, управляйте памятью и отправляйте сообщения программно.

ПРОТЕСТИРОВАНО НА РЕАЛЬНОМ ОБОРУДОВАНИИ

- RedMagic 11 Pro: 21,0 ток/с — Qwen3-8B
- Galaxy S24 Ultra: 13,58 ток/с — Qwen3-4B
- OnePlus Ace 5 Ultra: 11,88 ток/с — Qwen3-8B
- Xiaomi Pad 7 Pro: 11,81 ток/с — Qwen3-4B

ПОЧЕМУ TOKFORGE?

►Это универсальное приложение с ИИ для пользователей, которые не готовы идти на компромисс в отношении скорости или безопасности.

►Никакой аналитики, никакой телеметрии, никакой зависимости от облака.

►Бесплатный чат-бот с ИИ в автономном режиме: все вычисления происходят на устройстве — режим полета работает идеально.

►Никаких учетных записей, никакой регистрации.

►17 тщательно отобранных моделей (0,6–14 млрд): выбирайте из Qwen3, DeepSeek-R1, Llama 3, Phi-4 и других.

Ваш смартфон умнее и мощнее, чем вы думаете. Переместив «мозг» ИИ непосредственно на ваш процессор, мы устранили задержки, затраты и любопытство облачных сервисов.

☑️Загрузите сегодня это бесплатное автономное приложение с ИИ и возьмите под контроль свои данные.

Новое в приложении

Lot's of changes vs last upload. TurboQuant added under advanced settings, Cache clearing, RAG + Attachment support (Very Beta), Metrics/API work, UI/UX cleaning and improvements from beta tester feedback