Synapse Academy
すべてのフェーズ
フェーズ 12

マルチモーダルAI

画像・音声・テキストを横断して見て・聞いて・読んで・推論するモデル。

25 レッスン

このフェーズのレッスン

  1. 1Vision Transformerとパッチトークンの基本
  2. 2CLIPと対照的なビジョン言語事前学習
  3. 3CLIPからBLIP-2へ — Q-Formerによるモダリティブリッジ
  4. 4Flamingoとゲート付きクロスアテンションによるFew-Shot VLM
  5. 5LLaVAとビジュアルインストラクションチューニング
  6. 6任意解像度ビジョン：Patch-n'-PackとNaFlex
  7. 7オープンウェイトVLMの実践：本当に重要なもの
  8. 8LLaVA-OneVision：単一画像・複数画像・動画を一モデルで
  9. 9Qwen-VLファミリーと動的FPS動画処理
  10. 10InternVL3：ネイティブマルチモーダル事前学習
  11. 11Chameleonとアーリーフュージョントークン専用マルチモーダルモデル
  12. 12Emu3：画像・動画生成のための次トークン予測
  13. 13Transfusion：1つのTransformerで自己回帰テキストと拡散画像を統合
  14. 14Show-oと離散拡散による統合モデル
  15. 15Janus-Pro：統合マルチモーダルモデルのための分離エンコーダ
  16. 16MIOとAny-to-Anyストリーミングマルチモーダルモデル
  17. 17ビデオ言語モデル：テンポラルトークンとグラウンディング
  18. 18百万トークンコンテキストでの長尺動画理解
  19. 19音声言語モデル：WhisperからAudio Flamingo 3への変遷
  20. 20オムニモデル：Qwen2.5-OmniとThinker-Talker分割
  21. 21具身化VLA：RT-2・OpenVLA・π0・GR00T
  22. 22文書と図表の理解
  23. 23ColPaliとビジョンネイティブ文書RAG
  24. 24マルチモーダルRAGとクロスモーダル検索
  25. 25マルチモーダルエージェントとコンピューター操作（カプストーン）