• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

transformers.PreTrainedTokenizer

PreTrainedTokenizer.from_pretrained

Top / PreTrainedTokenizer.from_pretrained

https://huggingface.co/docs/transformers/v4.48.2/ja/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.from_pretrained

読み込み

• Hugging Face/モデル/tokenizer_config.json
• https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_utils_base.py#L1962