OpenWeights: Edge Inference

Alpha Romer Coma

앱 정보

OpenWeights는 오픈웨이트 언어 모델을 휴대폰에서 직접 실행합니다. 계정을 만들 필요도 없고, 서버와 통신할 필요도 없으며, 사용자 정보를 수집하는 것도 없습니다.

앱 내에서 Hugging Face를 검색하고, 다운로드하기 전에 모델이 기기에서 실행 가능한지 확인하고, 모델과 채팅할 수 있습니다. 모든 토큰은 사용자의 기기에서 생성됩니다.

카탈로그가 아닌, 모든 모델

다른 기기용 앱들은 다른 사람이 선택한 짧은 목록만 제공하지만, OpenWeights는 허브에서 제공하는 모든 모델을 제공합니다. 누군가 한 시간 전에 GGUF를 게시했더라도 바로 실행할 수 있습니다.

기기 정보를 투명하게 공개

데이터 사용량을 계산하기 전에 앱은 네트워크를 통해 모델의 헤더를 읽어 사용자가 선택한 컨텍스트 길이에 필요한 데이터, 대략적인 실행 속도, 그리고 휴대폰에서 실행 가능한지 여부를 알려줍니다.

실제 수치를 바로 확인할 수 있습니다.

초당 토큰 수, 첫 번째 토큰 생성 시간, 컨텍스트 창 사용량 등의 수치가 채팅 중에 숨겨지지 않고 표시됩니다.

세부 설정

온도, top-p, top-k, 반복 페널티, 컨텍스트 길이, 시스템 프롬프트, 모델에게 제공되는 도구 정보 등 모든 설정을 모델별로 저장할 수 있습니다. 모델이 답변하기 전에 생각할 시간을 설정할 수도 있으며, GPU가 탑재된 스마트폰에서는 어떤 프로세서가 레이어를 처리할지 지정할 수 있습니다.

텍스트 그 이상

프로젝터가 포함된 모델의 경우 이미지와 오디오를 지원하고, 모든 모델이 문서를 읽을 수 있으며, 스마트폰의 음성 인식 기능을 통해 받아쓰기 및 소리 내어 읽기 기능을 제공합니다.

실행 가능한 어시스턴트

모델은 웹 검색, 페이지 읽기, 사용자가 공유한 폴더 작업 등을 수행할 수 있습니다. 모델의 권한 범위는 사용자가 직접 설정할 수 있습니다. 모든 단계를 승인하도록 하거나, 모든 단계를 실행하도록 하거나, 실행 전에 미리 계획을 세우고 어떤 작업을 수행할지 설명하도록 요청할 수 있습니다. 모델은 사용자에게 질문을 하거나 사용자가 직접 체크할 수 있는 체크리스트를 따라 작업을 수행할 수도 있습니다. 모든 도구는 필요에 따라 비활성화할 수 있습니다.

보안 설계

사용자의 대화, 모델, 사용 내역은 모두 기기에 저장됩니다. 분석 SDK, 크래시 리포터, 백엔드 시스템은 사용하지 않습니다. 자동 백업 및 기기 전송 기능은 비활성화되어 있어 새 휴대폰으로 채팅 기록을 이전할 수 없습니다. 앱을 제거하면 모든 데이터가 삭제됩니다.

웹 검색 및 페이지 가져오기 기능은 인터넷에 연결해야 하는 필수 기능입니다. 두 기능 모두 기기 외부로 전송된다는 사실이 명시되어 있으며, 비활성화할 수 있습니다. 각 기능의 호출 내역은 응답 메시지에 해당 기능과 호출 대상이 표시됩니다. 사용자가 설정한 Hugging Face 토큰은 Android 키스토어에 저장된 키로 암호화되어 Hugging Face로만 전송됩니다.

필요한 사항

Android 12 이상, 64비트 ARM 기기, 선택한 모델에 필요한 충분한 메모리가 필요합니다. 앱 다운로드 전에 필요한 메모리 용량을 확인할 수 있습니다.

모델은 타사에서 제공합니다. 사용자는 실행할 모델을 선택할 수 있으며, 모델에 표시된 내용은 해당 모델 제공업체의 저작물이며 당사의 저작물이 아닙니다. 오픈 소스 코드는 github.com/alpharomercoma/openweights에서 확인할 수 있습니다.

새로운 기능

Image detail, search width, and a breakdown of every reply

- Added a per-reply breakdown: long-press a reply for its timings, what the cache reused, and prefill and decode speeds.
- Added an image detail setting for vision models, trading speed against how much of a picture is read.
- Added a setting for how many results a search returns.
- Added a cancel button to downloads, and copying a reply as Markdown.
- Improved web page reading and pasted links.
- Fixed a greeting answered as a date.