最終更新:2025-10-27 (月) 16:03:20 (87d)
ローカルLLM/ベンチマーク
LM StudioでのLLMのモデルの速度の比較
https://www.youtube.com/watch?v=UXjg6Iew9lg
https://x.com/tokkyo/status/1920912017218826694
モデル 量子化 モデルのサイズ Ryzen AI Max+ 395 M1 Ultra M1 Max (MBP 16) Snapdragon X Plus 4060 Ti DGX Spark Snapdragon 8 Elite Dimensity 9400 詳細 Radeon 8060S 48C GPU 32C GPU X1P-42-100 AD106 GB10 PocketPal AI PocketPal AI RAM 128GB 128GB 64GB 32GB 16GB 128GB 16GB 16GB メモリ帯域 256GB/s 800GB/s 400GB/s 136GB/s 288GB/s 273GB/s ? ? Llama 3.1 8B Q4_K_M 4.58GB 36tok/s 63tok/s 47tok/s 19tok/s 44.64tok/s ? 7.37tok/s 3.98tok/s Qwen3-14B Q4_K_M 8.38GB 20tok/s 36tok/s 27tok/s 10tok/s 26.70tok/s ? 4.32tok/s 2.21tok/s Qwen3-32B Q4_K_M 18.40GB 9.6tok/s 17tok/s 12.54tok/s 4.69tok/s 無理 ? 無理 無理 Qwen3-30B-A3B Q4_K_M 17.35GB 52.89tok/s 49tok/s 49tok/s 30tok/s 無理 ? 無理 無理 DeepSeek-R1-Distill-Llama-70B Q3_K_L? 34.59GB 5.45tok/s 8.37tok/s 4.14tok/s 無理 無理 ? 無理 無理 Qwen3-235B-A22B Q2_K? 79.81GB 14.71tok/s (VRAM 64GB設定) 14.95tok/s 無理 無理 無理 ? 無理 無理 Qwen3-235B-A22B Q3_K_S? 94.48GB 10.51tok/s (VRAM 64GB設定) 15.07tok/s 無理 無理 無理 ? 無理 無理 Qwen3-235B-A22B Q3_K_L? 103.54GB 未 14.33tok/s 無理 無理 無理 ? 無理 無理
