最終更新:2025-02-14 (金) 10:44:42 (33d)
Transformers/トークナイザ
Top / Transformers / トークナイザ
https://huggingface.co/docs/transformers/ja/main_classes/tokenizer
https://huggingface.co/docs/transformers/ja/tokenizer_summary
基本クラス
- transformers.PreTrainedTokenizerBase?
クラス
- transformers.AutoTokenizer
- transformers.BertTokenizer?
- transformers.BertTokenizerFast?
- transformers.TFBertTokenizer?
- transformers.LlamaTokenizer
- transformers.LlamaTokenizerFast?
メモ
- Transformersが用いるトークナイザはRust実装の別ライブラリ——Tokenizersとして分離された。
- Transformers内ではFastTokenizer?という呼称で既存のPython実装トークナイザと区別され、v4.0.0以降ではデフォルトで使用されるようになっている:
