OpenWeights: Edge Inference

Alpha Romer Coma

এই অ্যাপ সম্পর্কে

OpenWeights সরাসরি আপনার ফোনে ওপেন-ওয়েট ল্যাঙ্গুয়েজ মডেলগুলো চালায়। কোনো অ্যাকাউন্ট তৈরি করার প্রয়োজন নেই, কোনো সার্ভারের সাথে যোগাযোগ করতে হয় না, এবং আপনার সম্পর্কে কোনো তথ্য পরিমাপ করা হয় না।

অ্যাপের ভেতর থেকেই Hugging Face সার্চ করুন, কোনো মডেল ডাউনলোড করার আগেই জেনে নিন সেটি আপনার ডিভাইসে চলবে কি না, এবং সেটি দিয়ে চ্যাট করুন। প্রতিটি টোকেন আপনার নিজের হার্ডওয়্যার দ্বারাই তৈরি হয়।

যেকোনো মডেল, কোনো ক্যাটালগ নয়

অন্যান্য অন-ডিভাইস অ্যাপগুলো আপনাকে অন্য কারো বেছে নেওয়া একটি সংক্ষিপ্ত তালিকা দেয়। OpenWeights আপনাকে সরাসরি হাবটি দেয়। যদি কেউ এক ঘণ্টা আগে একটি GGUF প্রকাশ করে থাকে, আপনি সেটি চালাতে পারবেন।

আপনার ডিভাইস সম্পর্কে সৎ তথ্য

আপনি গিগাবাইট খরচ করার আগেই, অ্যাপটি নেটওয়ার্কের মাধ্যমে মডেলটির হেডার পড়ে নেয় এবং আপনার বেছে নেওয়া কনটেক্সট লেংথে এটির কী প্রয়োজন, এটি আনুমানিক কতটা দ্রুত চলবে, এবং এটি আপনার ফোনে আদৌ চলবে কি না, তা আপনাকে জানিয়ে দেয়।

আসল সংখ্যা, আপনার সামনেই

প্রতি সেকেন্ডে টোকেনের সংখ্যা, প্রথম টোকেন পেতে কত সময় লাগছে, এবং কনটেক্সট উইন্ডোটি কতটা পূর্ণ আছে—এই তথ্যগুলো চ্যাট করার সময় লুকানো না রেখে দেখানো হয়।

আপনার ইচ্ছামতো নিয়ন্ত্রণ করুন

তাপমাত্রা, টপ-পি, টপ-কে, রিপিট পেনাল্টি, কনটেক্সট লেংথ, সিস্টেম প্রম্পট এবং মডেলকে তার টুলস সম্পর্কে যা বলা হয়—এই সবকিছু প্রতিটি মডেলের জন্য সংরক্ষিত থাকে। মডেল উত্তর দেওয়ার আগে কোথায় চিন্তা করতে পারবে, সেটাও একটি সুইচ হিসেবে কাজ করে, এবং একটি কার্যকর জিপিইউ (GPU) যুক্ত ফোনে আপনি বলে দিতে পারেন কোন প্রসেসর লেয়ারগুলো পরিচালনা করবে।

শুধু টেক্সট নয়

যেসব মডেলে প্রজেক্টর থাকে, সেগুলোর জন্য ছবি ও অডিও; যেকোনো মডেলের পড়ার উপযোগী ডকুমেন্ট; আপনার ফোনের নিজস্ব অন-ডিভাইস রিকগনাইজারের মাধ্যমে ডিকটেশন এবং উচ্চস্বরে পাঠ।

একজন সহকারী যে কাজ করতে পারে

মডেলটি ওয়েব সার্চ করতে পারে, একটি পৃষ্ঠা পড়তে পারে এবং আপনার শেয়ার করা ফোল্ডারে কাজ করতে পারে। আপনিই ঠিক করবেন এটি কতটা স্বাধীনতা পাবে: প্রতিটি পদক্ষেপ অনুমোদন করুন, এটিকে চলতে দিন, অথবা কিছু ঘটার আগে এটিকে প্রথমে পরিকল্পনা করতে এবং কী করবে তা বলতে বলুন। এটি আপনাকে কোনো স্পষ্টীকরণমূলক প্রশ্ন করতে পারে এবং একটি চেকলিস্ট অনুসরণ করতে পারে যা আপনি নিজে টিক চিহ্ন দিয়ে পূরণ করতে পারেন। প্রতিটি টুল বন্ধ করা যায়।

গঠনগতভাবেই ব্যক্তিগত

আপনার কথোপকথন, আপনার মডেল এবং আপনার ব্যবহার ডিভাইসের মধ্যেই সীমাবদ্ধ থাকে। আমাদের কোনো অ্যানালিটিক্স SDK, ক্র্যাশ রিপোর্টার বা ব্যাকএন্ড নেই। অটোমেটিক ব্যাকআপ এবং ডিভাইস ট্রান্সফার বন্ধ করা আছে, তাই নতুন ফোনে আপনার চ্যাটগুলো যুক্ত হয় না। আনইনস্টল করলে সবকিছু মুছে যায়।

দুটি টুল ইন্টারনেট ব্যবহার করে, কারণ তাদের তা করতেই হয়: ওয়েব সার্চ এবং পেজ ফেচিং। দুটি টুলই এমন একটি হেডিং-এর অধীনে তালিকাভুক্ত থাকে যেখানে বলা হয় যে এগুলো ডিভাইস থেকে বেরিয়ে যায়, দুটিই বন্ধ করা যায়, এবং প্রতিটি কলের উত্তরে একটি সারি তৈরি হয় যেখানে কলটির নাম এবং কী দেওয়া হয়েছে তা উল্লেখ থাকে। আপনার Hugging Face টোকেন, যদি আপনি সেট করে থাকেন, তবে তা অ্যান্ড্রয়েড কীস্টোরে থাকা একটি কী দিয়ে এনক্রিপ্ট করা হয় এবং শুধুমাত্র Hugging Face-এ পাঠানো হয়।

আপনার যা প্রয়োজন

অ্যান্ড্রয়েড ১২ বা তার নতুন সংস্করণ, একটি ৬৪-বিট ARM ডিভাইস, এবং আপনার নির্বাচিত মডেলের জন্য পর্যাপ্ত মেমরি। ডাউনলোড করার আগে অ্যাপটি আপনাকে তা জানিয়ে দেবে।

মডেলগুলো থার্ড পার্টি থেকে আসে। আপনি কোনটি চালাবেন তা বেছে নিতে পারেন, এবং এতে যা বলা হয় তা আমাদের নয়, বরং এর প্রকাশকের কাজ। ওপেন সোর্স, github.com/alpharomercoma/openweights-এ উপলব্ধ।

নতুন কী আছে

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model