最終更新:2025-05-15 (木) 00:31:31 (34d)
Hugging Face/モデル/config.json
Transformerモデルの設定情報を保存するためのJSONファイル
メモ
- 通常、.save_pretrained()を使用してモデルを保存すると、モデルの重みとconfig.jsonファイルの両方が指定されたディレクトリに保存されます。
transformers.AutoConfig
- config = AutoConfig.from_pretrained("bert-base-uncased")
- model = AutoModel.from_pretrained("bert-base-uncased", config=config)
メモ
- transformers.AutoConfig
- transformers.BertConfig?
- transformers.PretrainedConfig - Base class for all configuration classes.
コンテキスト長
Pulsar2
- 変換できるmodel_type
- OK: llama, qwen2, gemma2
- NG: mistral, smolvlm
https://x.com/UtaAoya/status/1893108595769680119
- pulsar2 llm_build