すべてのフェーズ
フェーズ 06
音声・オーディオ処理
人間コミュニケーションのもう一つの柱。聞き取り、理解し、話す。
17 レッスン
このフェーズのレッスン
- 1オーディオ基礎 — 波形・サンプリング・フーリエ変換
- 2スペクトログラム、メルスケール、オーディオ特徴量
- 3音声分類 — MFCC を使った k-NN から AST・BEATs まで
- 4音声認識（ASR）— CTC・RNN-T・Attention
- 5Whisper — アーキテクチャとファインチューニング
- 6話者認識と話者照合
- 7テキスト音声合成（TTS）— Tacotron から F5・Kokoro まで
- 8ボイスクローニングとボイスコンバージョン
- 9音楽生成 — MusicGen・Stable Audio・Suno とライセンス問題
- 10オーディオ言語モデル — Qwen2.5-Omni・Audio Flamingo・GPT-4o Audio
- 11リアルタイム音声処理
- 12音声アシスタントパイプラインの構築 — フェーズ 6 総合課題
- 13ニューラル音声コーデック — EnCodec・SNAC・Mimi・DAC とセマンティック/アコースティック分離
- 14音声活動検出とターンテイキング — Silero・Cobra とフラッシュトリック
- 15ストリーミング音声間変換 — Moshi・Hibiki と全二重対話
- 16音声なりすまし対策と電子透かし — ASVspoof 5・AudioSeal・WaveVerify
- 17音声評価指標 — WER・MOS・UTMOS・MMAU・FAD とオープンリーダーボード