最終更新:2024-06-14 (金) 14:42:17 (243d)
Mixtral
Top / Mixtral
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
Mixtral 8x7B?
- このモデルは総パラメータ46.7Bを含むが、その3分の1のサイズのモデルと同じスピードとコストで推論を処理できる。
- いくつかのLLMベンチマークでは、Llama 2 70BとGPT-3.5の両方を上回った。
- Llama 2 70Bと同等以上のベンチマーク成績
- パラメータ数: 12.9B
- MoE アーキテクチャによって一部のパラメタのみを使用するため、実効速度は 12.9B モデルと同等
- VRAM: 100GB
Mixtral 8x22B?
- Uses only 39B active parameters out of 141B.