すべてのフェーズ
フェーズ 18
倫理・安全・アライメント
人類に貢献するAIを構築する。これはオプションではない。
30 レッスン
このフェーズのレッスン
- 1アライメントシグナルとしての指示追従
- 2報酬ハッキングとグッドハートの法則
- 3直接選好最適化（DPO）ファミリー
- 4RLHFによる増幅としての過剰迎合
- 5Constitutional AI と RLAIF
- 6メサ最適化と欺瞞的アライメント
- 7スリーパーエージェント — 持続的欺瞞
- 8フロンティアモデルにおけるコンテキスト内の策略
- 9アライメントの偽装
- 10AIコントロール — 転覆に抗する安全性
- 11スケーラブルな監督と弱モデルから強モデルへの汎化
- 12レッドチーミング：PAIR と自動攻撃
- 13多数ショットジェイルブレイク
- 14ASCIIアートとビジュアルジェイルブレイク
- 15間接プロンプトインジェクション — 本番環境の攻撃面
- 16レッドチームツール — Garak・Llama Guard・PyRIT
- 17WMDP とデュアルユース能力評価
- 18フロンティア安全フレームワーク — RSP・PF・FSF
- 19Anthropic のモデル福祉プログラム
- 20LLMにおけるバイアスと表現上の害
- 21公平性基準 — グループ・個人・反事実
- 22LLMのための差分プライバシー
- 23電子透かし — SynthID・Stable Signature・C2PA
- 24規制フレームワーク — EU・米国・英国・韓国
- 25EchoLeak と AIのためのCVEの台頭
- 26モデル・システム・データセットカード
- 27データ来歴と学習データガバナンス
- 28アライメント研究エコシステム — MATS・Redwood・Apollo・METR
- 29モデレーションシステム — OpenAI・Perspective・Llama Guard
- 30デュアルユースリスク — サイバー・バイオ・化学・核の悪用