最終更新:2025-02-05 (水) 16:54:53 (43d)
サブワード
Top / サブワード
低頻度語は文字や部分文字列にフォールバック
BPE
- テキストの圧縮率を目的関数にして、貪欲的に分割を決定していくサブワード分割?アルゴリズム
SentencePiece
- 単語列からスタートするのではなく、生文から直接分割を学習
