文章來源：AI鯨選社

作者：到底哥

圖片來源：由無界AI生成

在Sora難產(chǎn)卻爆??的這幾天中，每個人都有點望梅不止渴的心態(tài),。

未來是什么,，ChatGPT形成的共識可能用了3月，Sora形成共識可能也就3天,。大家也不用焦慮,，從而被割韭菜。以下這個網(wǎng)站能排隊提前申請測試資格,，也可以看到Sora目前生成的視頻Demo和對應提示詞,，并且支持漢語在內(nèi)的多語言,。

當然,，這個網(wǎng)站也是個套殼網(wǎng)站,，繳費還是等Sora上線后,，去官網(wǎng)繳費比較靠譜。

這里給大家潑一盆冷水,，Sora上線后,，能AI生成的場景肯定有限，并且復雜度不會太高,，價格也肯定很貴（ChatGPT4一個月20美元,，Sora肯定更貴）,，所以早期幾乎不會有什么實際用途,。

當然，未來迭代幾代后,，殺死剪輯工具剪映肯定不在話下，就像剪映讓Adobe Pr買斷費大幅降低一樣,。

這其中就出現(xiàn)了一個問題,，在Sora難實用化和剪映不夠智能的中間態(tài),，還有沒有可用智能的AI視頻制作工具？

這時候,，Meta 發(fā)布了一個可以利用 AI 自動剪輯視頻的 Agents LAVE,。

這是我翻譯的LAVE官方宣傳文檔,，大家對這個產(chǎn)品可以有一個清晰的認知。

我們提供了LAVE產(chǎn)品,一個視頻編輯工具,，是由LLM提供的語言增強,。LAVE引入了一個基于LLM的執(zhí)行Agents,，能夠理解用戶的自然語言命令、計劃和執(zhí)行相關操作,，以實現(xiàn)用戶的編輯目標,。

這些動作包括概念化協(xié)助,，如頭腦風暴和描述視頻料庫，包括基于語義的視頻檢索、故事板（將視頻排序以形成敘事)和修剪剪輯,，為了啟用這些代理動作,，LAVE使用視覺語言模型(VLMs)自動生成視頻的視覺效果。

我們從產(chǎn)品界面看LAVE的布局：

從LAVE的視頻生成界面可以看到，左邊是自然語言描述視頻內(nèi)容的窗口，可以輸入提示詞以及展示 LLM 詳細的剪輯邏輯。

右邊是AI直接生成的視頻，可以鼠標點擊后獲得 LLM， 幫你總結的這段視頻的內(nèi)容，不需要播放,， AI 也會自動生成的素材標題,。

底下是視頻自動剪輯的可視軸,，視頻就在這里自動和手動剪輯,。

實際上，LAVE產(chǎn)品化也沒那么完整,，更多還是Agents模式跑程序,。

具體是LAVE根據(jù)你指令的角色分配之后,，描述Agents可以執(zhí)行的一系列動作。LAVE從行動計劃中解析每個行動描述,，并將其轉化為相應的后端函數(shù)調(diào)用,。

可調(diào)用5種內(nèi)容：1）素材概覽,，2）創(chuàng)意頭腦風暴，3）視頻檢索,，4）故事板，5）剪輯修剪,。前四種功能可通過Agents訪問,，第5種直接操作,。

其中，基于語言的視頻檢索是通過向量存儲數(shù)據(jù)庫實現(xiàn)的,，而其余功能則是通過LLM提示工程實現(xiàn)的,。LAVE以每秒一幀的速率對視頻幀進行采樣。然后使用大模型對每幀進行標題標注,。

LAVE到底好不好用,，官網(wǎng)說法是LAVE為視頻編輯提供了兩種交互模式：代理輔助和直接操作,。這種雙重模式為用戶提供了靈活性，并允許他們根據(jù)需要細化代理操作,。

其中8名試驗者說非常好用,，8名人士中有新手也有成熟的視頻剪輯師。

其實到底好不好用,，可能在于LLM對視頻每幀的理解能力,，這就需要產(chǎn)品正式發(fā)布時才可用。

不過從現(xiàn)在來看,，Sora的世界模型,、物理引擎，被很多技術大牛評論并不可能,，只是將訓練的數(shù)據(jù)壓縮權重,。

而剪映是通過視頻庫中給視頻打標簽,，然后合成相應內(nèi)容，對視頻的每一幀理解不到位,，所以合成的只是粗略符合,，而且現(xiàn)在抖音會給剪映AI生成的視頻限流。

LAVE的中間態(tài)是深刻了解視頻每一幀,，然后自動剪輯成符合每一句文案的畫面,。未來配合Sora使用，可能對短視頻和廣告制作行業(yè),，都將快速產(chǎn)生影響,。

其實國內(nèi)也有創(chuàng)業(yè)者做過類似的產(chǎn)品Demo,甚至設計了視頻自動發(fā)布的部分，只是這款復雜的產(chǎn)品沒能最終面市,。

只能說現(xiàn)在視頻為王的時代,，字節(jié)跳動的張楠都去親自負責剪映，類似產(chǎn)品確實有機會,。最終比拼的是,，用戶手中使用的效果,。