最終更新:2026-07-22 (水) 02:19:02 (22d)
Bonsai 27B
Top / Bonsai 27B
https://prismml.com/news/bonsai-27b
ベース
メモ
- 1/0/+1の3値を持つ1.71bit/重みの「Ternary Bonsai 27B」の容量は5.9GB
- 一方-1/+1の2値を持つ1.125bit/重みの「1-bit Bonsai 27B」の容量は3.9GB
リポジトリ
llama.cpp
- Both formats are landing in mainline llama.cpp: Q1_0? (1-bit) is fully merged upstream, and Q2_0? (ternary) now runs on mainline CPU, Metal, and Vulkan, with CUDA in review
