Roost

RinWave

За апликацијава

Roost е локална апликација за вештачка интелигенција за Android што ви овозможува да откривате, преземате, извршувате, споредувате и опслужувате модели на вештачка интелигенција директно од вашиот уред.

Разговарајте со модели на уредот, тестирајте ги перформансите на вашиот сопствен хардвер и стартувајте локален мрежен API сервер за компатибилни клиенти. Roost е изграден за корисници кои сакаат поголема контрола врз локалната вештачка интелигенција, приватното експериментирање и работните процеси на мобилни модели без да зависат од услугата за разговор во облак за секој потсетник.

Клучни карактеристики:

• Извршувајте локални модели на вештачка интелигенција на вашиот Android уред
• Разговарајте приватно со преземени модели на уредот
• Прелистувајте и преземајте поддржани датотеки на модели
• Управувајте со вашата локална библиотека и складирање на модели
• Споредете ја брзината на моделот, употребата на меморијата и перформансите
• Стартувајте LAN сервер со крајни точки за разговор слични на OpenAI и Ollama
• Користете опционален API клуч за пристап до локалниот сервер
• Прилагодете ги поставките за инференција, запирајте низи, тема и стандардни поставки за разговор
• Чувајте ги потсетниците и активноста за разговор на вашиот уред кога користите локални модели

Roost е корисен за локално тестирање на вештачка интелигенција, експериментирање офлајн, работни процеси за мобилно LLM, употреба на GGUF модел, бенчмаркинг на уреди и извршување на мал приватен сервер за модели на вашата локална мрежа.

Апликацијата е дизајнирана за рано усвојување, развивачи, ентузијасти за вештачка интелигенција и корисници кои се свесни за приватноста и сакаат да истражуваат вештачка интелигенција на уредот од Android телефон. Перформансите зависат од вашиот уред, големината на моделот, квантизацијата, меморијата и избраниот мотор.

Roost не вклучува тежини на моделите во пакетот на апликацијата. Достапноста на моделите, лиценците и пристапот до преземање може да зависат од добавувачи на модели од трети страни, како што е Hugging Face. Некои модели може да бараат токен за пристап или може да не работат добро на секој уред.

Roost е во рана фаза на развој и ќе продолжи да ја подобрува компатибилноста на моделите, перформансите, однесувањето на серверот и локалните работни процеси со вештачка интелигенција преку ажурирања.

Што има ново

Replies no longer die when you leave the app. Generation keeps running in the background, and a single notification tells you when the answer is ready — with a Stop button if you change your mind.

• KV cache quantization: up to half the memory at the same context length, or a longer context in the same RAM
• A short first-run tour
• Copy and regenerate on any reply
• Live speed and RAM readouts in chat
• Downloads can be cancelled and clean up after themselves