• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

Hugging Face/モデル

Hugging Face/モデル/config.json

Top / Hugging Face / モデル / config.json

Transformerモデルの設定情報を保存するためのJSONファイル

メモ

• 通常、.save_pretrained()を使用してモデルを保存すると、モデルの重みとconfig.jsonファイルの両方が指定されたディレクトリに保存されます。

transformers.AutoConfig

• config = AutoConfig.from_pretrained("bert-base-uncased")
• model = AutoModel.from_pretrained("bert-base-uncased", config=config)

メモ

• transformers.AutoConfig
• transformers.BertConfig?
• transformers.PretrainedConfig - Base class for all configuration classes.

コンテキスト長

• max_position_embeddings

Pulsar2

• 変換できるmodel_type
  • OK: llama, qwen2, gemma2
  • NG: mistral, smolvlm
• https://x.com/UtaAoya/status/1893108595769680119
• pulsar2 llm_build

例

• https://huggingface.co/Qwen/Qwen3-30B-A3B/blob/main/config.json