すべてのフェーズ
フェーズ 10
ゼロから作るLLM
大規模言語モデルを構築・訓練し、その仕組みを深く理解する。
24 レッスン
このフェーズのレッスン
- 1トークナイザー：BPE・WordPiece・SentencePiece
- 2トークナイザーをゼロから実装する
- 3事前学習用データパイプライン
- 4ミニGPT（1億2400万パラメータ）の事前学習
- 5スケーリング：分散学習・FSDP・DeepSpeed
- 6インストラクションチューニング（SFT）
- 7RLHF：報酬モデルとPPO
- 8DPO：直接選好最適化
- 9Constitutional AIと自己改善
- 10評価：ベンチマーク・Evals・LM Harness
- 11量子化：モデルをコンパクトに収める
- 12推論の最適化
- 13LLMパイプラインを一から構築する
- 14オープンモデルのアーキテクチャ詳解
- 15スペキュラティブデコーディングとEAGLE-3
- 16差分アテンション（V2）
- 17ネイティブスパースアテンション（DeepSeek NSA）
- 18マルチトークン予測（MTP）
- 19DualPipe並列処理
- 20DeepSeek-V3アーキテクチャ詳解
- 21Jamba — ハイブリッドSSM-Transformer
- 22非同期・Hogwild!推論
- 25スペキュラティブデコーディングとEAGLE
- 34勾配チェックポインティングとアクティベーション再計算