最終更新:2024-04-03 (水) 13:38:17 (9d)  

LLM/ベンチマーク
Top / LLM / ベンチマーク

https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference

llama.cpp

LMSYS Chatbot Arena Leaderboard

Apple M1 Ultra

VRAM

  • M1 Ultra 128GB の場合、98.3GB
  • M2 Ultra 192GB の場合、142.5GB よりわずかに小さい

モデル

  • ModelQuantized size (4-bit)Original size (f16)
    7B3.82 GB12.63 GB
    13B7.24 GB24.41 GB
    30B17.84 GB63.7 GB
    65B35.5 GB122.48 GB
    70B36.37 GB128.3 GB

Falcon 180B Chat - GGUF

  • Q4 K_M : 108.48 GB
  • Q3 K_L : 91.99 GB