最終更新:2025-01-22 (水) 11:46:00 (16d)
LLM/ベンチマーク
モデルの性能について
処理速度とか
llama.cpp
LMSYS Chatbot Arena Leaderboard
Apple M1 Ultra
https://www.reddit.com/r/LocalLLaMA/comments/16o4ka8/running_ggufs_on_an_m1_ultra_is_an_interesting/
https://www.reddit.com/r/LocalLLaMA/comments/16oww9j/comment/k1od50g/
LLM/VRAM
- M1 Ultra 128GB の場合、98.3GB
- M2 Ultra 192GB の場合、142.5GB よりわずかに小さい
モデル
Model Quantized size (4-bit) Original size (f16) 7B 3.82 GB 12.63 GB 13B 7.24 GB 24.41 GB 30B 17.84 GB 63.7 GB 65B 35.5 GB 122.48 GB 70B 36.37 GB 128.3 GB
Falcon 180B Chat - GGUF
- Q4 K_M : 108.48 GB
- Q3 K_L : 91.99 GB