• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

トークナイザ

語彙数

Top / 語彙数

SentencePiece

• SentencePieceはたった8000の語彙サイズ(しかも英語と日本語で共有)にもかかわらず、従来の単語分割手法を凌ぐBLEUスコアが達成できています
  • https://qiita.com/taku910/items/7e52f1e58d0ea6e7859c
• --vocab_size: vocabulary size, e.g., 8000, 16000, or 32000

比較

• https://tech.preferred.jp/ja/blog/plamo-2-tokenizer/

  モデル名	語彙数
  PLaMo 2?	100,000
  Sarashina 2?	102,400
  LLM-jp 3?	99,574
  Gemma 2	256,000
  PLaMo-100B	50,112
  Llama 3.1	128,256
  GPT-4o	200,000

メモ

• Llama 2

  32k