すべてのフェーズ
フェーズ 07
Transformer 徹底解説
すべてを変えたアーキテクチャ。すべての層を理解する。
16 レッスン
このフェーズのレッスン
- 1なぜ Transformer か — RNN の課題
- 2Self-Attention をスクラッチから実装
- 3Multi-Head Attention
- 4位置エンコーディング — Sinusoidal・RoPE・ALiBi
- 5完全な Transformer — エンコーダとデコーダ
- 6BERT — マスク言語モデリング
- 7GPT — 因果言語モデリング
- 8T5・BART — エンコーダ・デコーダモデル
- 9Vision Transformer（ViT）
- 10オーディオ Transformer — Whisper アーキテクチャ
- 11Mixture of Experts（MoE）
- 12KV キャッシュ・Flash Attention と推論最適化
- 13スケーリング則
- 14Transformer をスクラッチで構築 — 総合課題
- 15Attention バリアント — スライディングウィンドウ・スパース・差分
- 16投機的デコーディング — 下書き・検証・繰り返し