OpenWeights: Edge Inference

Alpha Romer Coma

Περιγραφή εφαρμογής

Το OpenWeights εκτελεί μοντέλα γλώσσας ανοιχτού βάρους απευθείας στο τηλέφωνό σας. Δεν υπάρχει λογαριασμός για δημιουργία, δεν υπάρχει διακομιστής για επικοινωνία και δεν υπάρχει τίποτα που να μετράται για εσάς.

Αναζητήστε το Hugging Face μέσα από την εφαρμογή, μάθετε εάν ένα μοντέλο θα εκτελεστεί στην πραγματικότητα στη συσκευή σας πριν το κατεβάσετε και συνομιλήστε μαζί του. Κάθε διακριτικό παράγεται από το δικό σας υλικό.

ΟΠΟΙΟΔΗΠΟΤΕ ΜΟΝΤΕΛΟ, ΟΧΙ ΚΑΤΑΛΟΓΟΣ

Άλλες εφαρμογές στη συσκευή σας παρέχουν μια σύντομη λίστα που κάποιος άλλος επέλεξε. Το OpenWeights σας παρέχει το Hub. Εάν κάποιος δημοσίευσε ένα GGUF πριν από μία ώρα, μπορείτε να το εκτελέσετε.

ΕΙΛΙΚΡΙΝΟΙ ΓΙΑ ΤΗ ΣΥΣΚΕΥΗ ΣΑΣ

Πριν ξοδέψετε gigabyte, η εφαρμογή διαβάζει την κεφαλίδα του μοντέλου μέσω του δικτύου και σας λέει τι χρειάζεται στο μήκος περιβάλλοντος που επιλέξατε, περίπου πόσο γρήγορο θα είναι και εάν θα εκτελεστεί καθόλου στο τηλέφωνό σας.

ΠΡΑΓΜΑΤΙΚΟΙ ΑΡΙΘΜΟΙ, ΜΠΡΟΣΤΑ ΣΑΣ

Δικαιώματα ανά δευτερόλεπτο, χρόνος έως το πρώτο διακριτικό και πόσο γεμάτο είναι το παράθυρο περιβάλλοντος, εμφανίζονται ενώ συνομιλείτε αντί να είναι κρυμμένο.

ΔΙΚΟ ΣΑΣ ΓΙΑ ΣΥΝΤΟΝΙΣΜΟ

Θερμοκρασία, top-p, top-k, ποινή επανάληψης, μήκος περιβάλλοντος, η προτροπή συστήματος και τι ενημερώνεται το μοντέλο για τα εργαλεία του, όλα αποθηκευμένα ανά μοντέλο. Όπου ένα μοντέλο μπορεί να σκεφτεί πριν απαντήσει, υπάρχει επίσης ένας διακόπτης, και σε ένα τηλέφωνο με λειτουργική GPU μπορείτε να πείτε ποιος επεξεργαστής περιέχει τα επίπεδα.

ΠΕΡΙΣΣΟΤΕΡΑ ΑΠΟ ΚΕΙΜΕΝΟ

Εικόνες και ήχος για μοντέλα που διαθέτουν προβολέα για αυτά, έγγραφα που μπορεί να διαβάσει οποιοδήποτε μοντέλο, υπαγόρευση μέσω του αναγνωριστικού της συσκευής του τηλεφώνου σας και ανάγνωση δυνατά.

ΕΝΑΣ ΒΟΗΘΟΣ ΠΟΥ ΜΠΟΡΕΙ ΝΑ ΔΡΑΣΕΙ

Το μοντέλο μπορεί να αναζητήσει στον ιστό, να διαβάσει μια σελίδα και να εργαστεί με έναν φάκελο που επιλέγετε να μοιραστείτε. Εσείς αποφασίζετε πόσο χρόνο θα πάρει: εγκρίνετε κάθε βήμα, αφήστε το να τρέξει ή ζητήστε του να σχεδιάσει πρώτα και να πει τι θα έκανε πριν συμβεί οτιδήποτε. Μπορεί να σας κάνει μια διευκρινιστική ερώτηση και να ακολουθήσει μια λίστα ελέγχου που μπορείτε να επιλέξετε μόνοι σας. Κάθε εργαλείο μπορεί να απενεργοποιηθεί.

ΙΔΙΩΤΙΚΟ ΜΕ ΚΑΤΑΣΚΕΥΗ

Οι συνομιλίες σας, τα μοντέλα σας και η χρήση σας παραμένουν στη συσκευή. Δεν υπάρχει SDK αναλυτικών στοιχείων, αναφορά σφαλμάτων και δεν υπάρχει δικό μας backend. Η αυτόματη δημιουργία αντιγράφων ασφαλείας και η μεταφορά συσκευών είναι απενεργοποιημένα, επομένως ένα νέο τηλέφωνο δεν κληρονομεί τις συνομιλίες σας. Η απεγκατάσταση καταργεί τα πάντα.

Δύο εργαλεία φτάνουν στο διαδίκτυο, επειδή πρέπει: η αναζήτηση ιστού και η ανάκτηση σελίδων. Και τα δύο παρατίθενται κάτω από μια επικεφαλίδα που λέει ότι εγκαταλείπουν τη συσκευή, και τα δύο μπορούν να απενεργοποιηθούν και κάθε κλήση που κάνει κάποιος είναι μια γραμμή στην απάντηση που την ονομάζει και τι της δόθηκε. Το διακριτικό Hugging Face, αν ορίσετε ένα, είναι κρυπτογραφημένο με ένα κλειδί που διατηρείται στο Android Keystore και αποστέλλεται μόνο στο Hugging Face.

ΤΙ ΧΡΕΙΑΖΕΣΤΕ

Android 12 ή νεότερο, μια συσκευή ARM 64-bit και αρκετή μνήμη για το μοντέλο που επιλέγετε. Η εφαρμογή θα σας ενημερώσει πριν από τη λήψη.

Τα μοντέλα προέρχονται από τρίτους. Εσείς επιλέγετε ποιο θα εκτελέσετε και αυτό που λέει είναι έργο του εκδότη του και όχι δικό μας. Ανοιχτού κώδικα, στο github.com/alpharomercoma/openweights.

Τι νέο υπάρχει

Image detail, search width, and a breakdown of every reply

- Added a per-reply breakdown: long-press a reply for its timings, what the cache reused, and prefill and decode speeds.
- Added an image detail setting for vision models, trading speed against how much of a picture is read.
- Added a setting for how many results a search returns.
- Added a cancel button to downloads, and copying a reply as Markdown.
- Improved web page reading and pasted links.
- Fixed a greeting answered as a date.