• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

参考図書

参考図書/つくりながら学ぶ！LLM 自作入門

Top / 参考図書 / つくりながら学ぶ！LLM 自作入門

https://book.mynavi.jp/ec/products/detail/id=146901

目次

1章　大規模言語モデルを理解する

2章　テキストデータの準備

• トークン化?
• 特殊トークン?
• サブワード分割?
• tiktoken
• 埋め込み

3章　Attentionメカニズムのコーディング

4章　テキストを生成するためのGPTモデルを一から実装する

5章　ラベルなしデータでの事前学習

6章　分類のためのファインチューニング

7章　指示に従うためのファインチューニング

参考

• https://zenn.dev/churadata/articles/459fb3543bc680

和訳&コメント付き

• https://colab.research.google.com/github/tyukei/LLMs-from-scratch/blob/feature/ch02/ch02/01_main-chapter-code/ch02_ja.ipynb

関連

• LLM