最終更新:2025-05-15 (木) 00:27:12 (455d)
コンテキスト長
Top / コンテキスト長
| 保持 | 一回 | |
| GPT-4o | 128k | |
| Claude 3.5 Sonnet | 200k+ | |
| Qwen2.5-Turbo? | 1M | 8k |
| Qwen2.5 | 128k | 8k |
メモ
- 8192トークンは、単純な文章換算でおおよそ15,000〜20,000文字（言語依存）に相当
変換
GGUF
mlx-lm
モデル
メモ
- コンテキスト長が大きいほどVRAMを消費する
- 128kコンテキスト長を実現するには、8Bモデルを量子化したとしても24GB程度のVRAMがないとこれを実現することは難しい
https://eng-blog.iij.ad.jp/archives/28176
