すべてのフェーズ
フェーズ 17
インフラストラクチャと本番運用
AIを実世界へ届ける。スケール・監視・最適化。
28 レッスン
このフェーズのレッスン
- 1マネージドLLMプラットフォーム — Bedrock・Vertex AI・Azure OpenAI
- 2推論プラットフォームの経済性 — Fireworks・Together・Baseten・Modal・Replicate・Anyscale
- 3KubernetesでのGPUオートスケーリング — Karpenter・KAI Scheduler・ギャングスケジューリング
- 4vLLM サービングの内部構造：PagedAttention・継続的バッチ処理・チャンクプリフィル
- 5本番環境での EAGLE-3 投機的デコーディング
- 6プレフィックスヘビーなワークロードのための SGLang と RadixAttention
- 7FP8・NVFP4 を使った Blackwell 上の TensorRT-LLM
- 8推論メトリクス — TTFT・TPOT・ITL・グッドプット・P99
- 9本番量子化 — AWQ・GPTQ・GGUF K-quants・FP8・MXFP4/NVFP4
- 10サーバーレスLLMのコールドスタート対策
- 11マルチリージョンLLMサービングとKVキャッシュのローカリティ
- 12エッジ推論 — Apple Neural Engine・Qualcomm Hexagon・WebGPU/WebLLM・Jetson
- 13LLM可観測性スタックの選定
- 14プロンプトキャッシングとセマンティックキャッシングの経済性
- 15Batch API — 業界標準となった50%割引
- 16コスト削減の基本手法としてのモデルルーティング
- 17プリフィル/デコードの分離 — NVIDIA Dynamo と llm-d
- 18LMCache KVオフロードを使った vLLM 本番スタック
- 19AIゲートウェイ — LiteLLM・Portkey・Kong AI Gateway・Bifrost
- 20LLM向けシャドートラフィック・カナリーロールアウト・段階的デプロイ
- 21LLM機能のA/Bテスト — GrowthBook・Statsig・バイブス問題
- 22LLM APIの負荷テスト — k6とLocustが嘘をつく理由
- 23AIのためのSRE — マルチエージェントインシデント対応・ランブック・予測的検知
- 24LLM本番環境のためのカオスエンジニアリング
- 25セキュリティ — シークレット・APIキーローテーション・監査ログ・ガードレール
- 26コンプライアンス — SOC 2・HIPAA・GDPR・PCI-DSS・EU AI Act・ISO 42001
- 27LLMのFinOps — ユニットエコノミクスとマルチテナント帰属
- 28セルフホスト型サービングの選定 — llama.cpp・Ollama・TGI・vLLM・SGLang