多模態視頻生成技術突破，Web3如何吃到這口紅利？

作者：Haotian

除了 AI 本地化「下沉」之外，AI 賽道近段時間最大的變化莫過於：多模態視頻生成的技術突破了，從原先支持純文本生成視頻演變成文本 + 圖像 + 音頻的全鏈路整合生成技術。

隨便說幾個技術突破案例，大家感受下：

1）字節跳動開源 EX-4D 框架：單目視頻秒變自由視角 4D 内容，用戶認可度達到 70.7%。也就是說，給一個普通視頻，AI 能自動生成任意角度的觀看效果，這在以前需要專業的 3D 建模團隊才能搞定；

2）百度「繪想」平台：一張圖生成 10 秒視頻，宣稱可以達到「電影級」質量。但是不是由營銷包裝誇大的成分，要等 8 月份的 Pro 版本更新後實際看效果；

3）Google DeepMind Veo：可以達到 4K 視頻 + 環境音的同步生成。關鍵技術亮點是「同步」能力的達成，之前都是視頻和音頻兩套係統拼接，要能做到真正語義層面的匹配需要克服較大的挑戰，比如復雜場景下，要做到畫面中走路動作和腳步聲的對應音畫同步問題；

4）抖音 ContentV：80 億參數，2.3 秒生成 1080p 視頻，成本 3.67 元 /5 秒。老實說這個成本控制的還可以，但目前生成質量看，遇到復雜的場景還差強人意；

為什麼說這些案例在視頻質量、生成成本、應用場景等方面的突破，價值和意義都很大？

1、技術價值突破方面，一個多模態視頻生成的復雜度往往是指數級的，單幀圖像生成大概 10^6 個像素點，視頻要保證時序連貫性（至少 100 幀），再加上音頻同步（每秒 10^4 個採樣點），還要考慮 3D 空間一致性。

綜合下來，技術復雜度可不低，原本都是一個超大模型硬剛所有任務，據說 Sora 燒了數萬張 H100 才具備的視頻生成能力。現在可以通過模塊化分解 + 大模型分工協作來實現。比如，字節的 EX-4D 實際上是把復雜任務拆解成：深度估計模塊、視角轉換模塊、時序插值模塊、渲染優化模塊等等。每個模塊專門幹一件事，然後通過協調機制配合。

2、成本縮減方面：背後其實推理架構本身的優化，包括分層生成策略，先低分辨率生成骨架再高分辨增強成像内容；緩存復用機制，就是相似場景的復用；動態資源分配，其實就是根據具體内容復雜度調整模型深度。

這樣一套優化下來，才會有抖音 ContentV 的 3.67 元 /5 秒的結果。

3、應用沖擊方面，傳統視頻制作是重資産遊戲：設備、場地、演員、後期，一個 30 秒廣告片幾十萬制作費很正常。現在 AI 把這套流程壓縮到 Prompt+ 幾分鐘等待，而且能實現傳統拍攝難以達到的視角和特效。

這樣一來就把原本視頻制作存在的技術和資金門檻變成了創意和審美，可能會促進整個創作者經濟的再洗牌。

問題來了，說這麼多 web2AI 技術需求端的變化，和 web3AI 有啥關係呢？

1、首先，算力需求結構的改變，以前 AI 拼算力規模，誰有更多同質化的 GPU 集群誰就贏，但多模態視頻生成需求的是多樣化的算力組合，對於分佈式的閑置算力，以及各個分佈式微調模型、算法、推理平台上都可能産生需求；

2、其次，數據標注的需求也會加強，生成一個專業級視頻需要：精準的場景描述、參考圖像、音頻風格、攝像機運動軌迹、光照條件等等都會成為專業的數據標注新需求，用 web3 的激勵方式，可以刺激攝影師、音效師、3D 藝術家等提供專業的數據素，用專業垂類的數據標注增強 AI 視頻生成的能力；

3、最後，值得一說的是，當 AI 從過去集中式大規模資源調配逐漸趨於模塊化協作本身就是一種對去中心化平台的新需求。屆時算力、數據、模型、激勵等共同組合形成自我強化的飛輪，繼而帶動 web3AI 和 web2AI 場景的大融合。

内容來源：PANews