最終更新:2025-01-22 (水) 11:46:00 (16d)  

LLM/ベンチマーク
Top / LLM / ベンチマーク

モデルの性能について

処理速度とか

llama.cpp

LMSYS Chatbot Arena Leaderboard

Apple M1 Ultra

LLM/VRAM

  • M1 Ultra 128GB の場合、98.3GB
  • M2 Ultra 192GB の場合、142.5GB よりわずかに小さい

モデル

  • ModelQuantized size (4-bit)Original size (f16)
    7B3.82 GB12.63 GB
    13B7.24 GB24.41 GB
    30B17.84 GB63.7 GB
    65B35.5 GB122.48 GB
    70B36.37 GB128.3 GB

Falcon 180B Chat - GGUF

  • Q4 K_M : 108.48 GB
  • Q3 K_L : 91.99 GB