最終更新:2024-06-14 (金) 14:42:17 (130d)  

Mixtral
Top / Mixtral

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

Mixtral 8x7B?

  • このモデルは総パラメータ46.7Bを含むが、その3分の1のサイズのモデルと同じスピードとコストで推論を処理できる。
  • いくつかのLLMベンチマークでは、Llama 2 70BとGPT-3.5の両方を上回った。
  • Llama 2 70Bと同等以上のベンチマーク成績
  • パラメータ数: 12.9B
  • MoE アーキテクチャによって一部のパラメタのみを使用するため、実効速度は 12.9B モデルと同等
  • VRAM: 100GB
↑

Mixtral 8x22B?

  • Uses only 39B active parameters out of 141B.
↑

参考




検索：