最終更新:2025-05-13 (火) 18:12:54 (42d)
Transformer
Top / Transformer
2017年12月
論文
- Google Brain
- Google Research
- University of Toronto?
メモ
- Transformerが出現した後、様々なタスクに活用されていたRNNとLSTMはTransformerに置き換えられました
- そしてBERT, GPT, T5などのNLPモデルにTransformerアーキテクチャが適用されました
Transformer/Encoder?
Transformer/Decoder?
Self-Attention
アテンション?
- Q:クエリ
- K:キー
- V:値
関連
GPT
- Generative Pre-trained Transformers
BERT
- Bidirectional Encoder Representations from Transformers
