• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

ディープラーニング

パラメータ数

Top / パラメータ数

Number of parameters

メモ

70B

• Llama 2 70B

13B

• Llama 2 13B

8B?

• Llama 3 8B?

7B

• Llama 2 7B
• OpenCALM-7B

メモ

• OPT: Open Pre-trained Transformer

  2022/05	OPT-175B?	175B	許可が必要
  2022/06	OPT-66B?	66B
  	OPT-30B?	30B
  	OPT-13B?	13B
  	OPT-6.7B?	6.7B
  	OPT-2.7B?	2.7B
  	OPT-1.3B?	1.3B
  	OPT-350M?	350M
  	OPT-125M?	125M
  	PaLM 2	340B
  	PaLM	540B
  2020/06	GPT-3	175B	davinci
  		6.7B	curie?
  		1B	babbage?
  2019/11	GPT-2	1.5B
  	GPT-J	6B

• 1B: 10億

関連

• LLM/VRAM

参考

• https://platform.openai.com/docs/model-index-for-researchers
• https://github.com/facebookresearch/metaseq/tree/main/projects/OPT