最終更新:2025-05-13 (火) 18:12:54 (42d)  

Transformer
Top / Transformer

2017年12月

Attention Is All You Need

論文

メモ

  • Transformerが出現した後、様々なタスクに活用されていたRNNLSTMTransformerに置き換えられました
  • そしてBERT, GPT, T5などのNLPモデルにTransformerアーキテクチャが適用されました

Transformer/Encoder?

Transformer/Decoder?

Self-Attention

アテンション?

  • Q:クエリ
  • K:キー
  • V:値

関連

GPT

  • Generative Pre-trained Transformers

BERT

  • Bidirectional Encoder Representations from Transformers

参考