文章來源：字母榜

作者：趙晉杰

圖片來源：由無界AI生成

Sora的橫空出世，對張一鳴來說,，亦喜亦憂,。

被OpenAI的ChatGPT震撼過一輪的AI大模型行業(yè)，又一次被這家公司推出的首個視頻生成模型Sora震撼了一把,。

不同于Runway,、Pika等僅能生成不足10秒，且鏡頭視角單一,、內容高度失真的視頻,，Sora的視頻生成長度不僅突破到了60秒，且能實現單視頻的多角度鏡頭切換,，還能最大限度還原現實世界的真實場景,。

在ChatGPT上被驗證過的模型性能縮放法則（scaling laws），被OpenAI CEO阿爾特曼移植到視頻領域后,，被證明其“大力出奇跡”的策略仍然有效,，即增加模型的大小將繼續(xù)提高性能。ChatGPT所為人稱贊的“智能涌現”特征,，再一次出現在Sora身上,。

OpenAI CEO阿爾特曼

面對來自Sora的“降維打擊”,，AI視頻領域的創(chuàng)業(yè)者中,，有的如Runway CEO克里斯托瓦爾·巴倫蘇埃拉一樣,，做好了“Game On”的準備，有的如Pika創(chuàng)始人郭文景一樣,，開始籌備對標Sora的新產品,，也有人如Stability AI CEO埃馬德·莫斯塔克一樣,，不由感慨“阿爾特曼真是一個魔術師”,，并將Sora視為AI視頻界的GPT-3時刻。

但對字節(jié)跳動來說,，這未必是個好消息,，因為 Sora所處的視頻生成賽道，正是眼下字節(jié)跳動旗下剪映所瞄準的AI創(chuàng)新方向,。2月份從抖音轉崗剪映后,，據界面新聞報道，抖音前CEO張楠即將推出一個AI生圖和視頻的產品,。

正打算在AI生成視頻領域大干一番的張楠,，還沒等到產品落地的那一刻，其內部再創(chuàng)業(yè)的計劃,，便率先遭遇了Sora的當頭一擊,。

OpenAI是張楠決心押注AI再創(chuàng)業(yè)的催化劑。2022年OpenAI旗下文生圖模型DALL-E 2的發(fā)布,，讓張楠首次直觀感受到AI圖像生成,，給傳統(tǒng)內容創(chuàng)作方式所帶來的顛覆式變革威力，這既是字節(jié)跳動全球CEO梁汝波口中“會產生新的創(chuàng)作平臺”的機會,，也是促成張楠轉崗剪映的原因之一,。

生成式AI，還是打開字節(jié)跳動增長天花板的一次必要嘗試,。2023年公開信中,，張一鳴提到，字節(jié)跳動無法錯過AGI（通用人工智能）,，并指出AGI是抖音、TikTok在全球發(fā)現新的增長機遇不可或缺的伙伴,，“它可以解決字節(jié)跳動的第二曲線增長困境,。”

2019年剪映的出現,，幫助抖音內容生態(tài)從偏向PGC（專業(yè)機構生產內容）轉向UGC（用戶生產內容）,，大大降低用戶創(chuàng)作門檻。如今,，隨著平臺內容生態(tài)轉向PUGC融合態(tài),，其對用戶創(chuàng)作視頻的成本和整體質量，又提出了新的要求,。AI生成視頻產品的出現,，則對盡可能拉低每一個普通人創(chuàng)作視頻的門檻，提供了一種現實可能性,，抖音乃至TikTok,，都有望借此在內容創(chuàng)作者數量上迎來新的爆發(fā)。

值得一提的是,，AI視頻生成更是一個頗具前景的創(chuàng)業(yè)賽道,。截至2023年底，該賽道已經涌現出一批獨角獸公司：Midjourney估值100億美元,，Stability AI估值40億美元,，Runway估值15億美元。年初爆火出圈的新貴Pika,，成立時間不足一年,，其估值已經達到2.5億美元。

但在Sora的突然襲擊之下,，留給張一鳴和張楠孵化下一個AI視頻生成獨角獸的時間,，越發(fā)緊張了。

一

Sora亮相之前,，字節(jié)內部也在研發(fā)AI生成視頻產品,。

1月份，字節(jié)跳動研究人員在arXiv上發(fā)表了一篇論文,，其中介紹了字節(jié)正在開發(fā)的一款文本生成視頻的模型,，被命名為?MagicVideo-V2，其通過集成多個模塊,，包括文本到圖像模型,、視頻運動生成器,、參考圖像嵌入模塊和插值模塊，實現從文字到視頻的自動化生成,。

MagicVideo-V2想要解決的問題,，是Runway、Pika等在生成視頻中所表現出來的保真度不高,、運動不自然,、分辨率不高、風格不多樣等,。

字節(jié)旗下產品剪映原有的“圖文成片”功能模塊,，在進行文生視頻轉換過程中，同樣面臨上述難題的拷問,。

在等待MagicVideo-V2完善研發(fā)，從demo走向量產上線之際,，張楠在過去一個月多的用戶訪談中,，收集到了更多來自一線創(chuàng)作者對AI生成視頻產品的不滿和期待，其中之一就包括部分創(chuàng)作者“為了更好表達自己的想法,，幾乎無法用一個產品完成所有的創(chuàng)作,，要橫跨幾個產品之間，用復雜的編輯和交互流程,，才能完成他們的表達,。”

去年8月,，UP主數字生命卡茲克制作的一條爆款視頻《流浪地球3預告片》,，便先后運用了MidJourney和Runway等多款產品，且經歷了長達5天的后期剪輯拼接,。

造成UP主數字生命卡茲克創(chuàng)作困難的主要原因,，便出在AI軟件不夠智能和便捷上。Sora出現之前,，業(yè)內文生視頻的默認方式是,，只能輸出單一、且往往是靜止視角的短視頻片段,，畫面背景還多呈現賽博朋克風,。

Sora出現之后，文生視頻領域的舊識被打破,，不管多么復雜的視角,、場景切換，都只用通過單一提示詞便可生成,，在兼顧便捷性的同時,，最大限度保證了生成內容與真實物理世界的相關性,。

Sora提示詞示例 圖源：官網截圖

字節(jié)和張楠規(guī)劃中AI視頻所應具備的更高保真度生成效果,、更清晰生成畫面,、更順暢自然的邏輯理解能力等，率先被Sora一一實現,。

需要注意的是,，尚未對外開放測試的Sora，眼下還存在諸多不完善之處,，按其官方說法,，“仍然處于世界模型研究應用的初期階段?！?/p>

Meta首席科學家楊立昆便直接質疑Sora：“僅憑能夠根據提示生成逼真的視頻,，并不能說明系統(tǒng)真正理解了物理世界?！?/p>

OpenAI在官網介紹中也提醒道,，Sora可能難以準確模擬復雜場景的物理原理，并且可能無法理解因果關系,，還可能混淆提示的空間細節(jié),，例如混淆左右，并且可能難以精確描述隨著時間推移發(fā)生的事件,，例如遵循特定的相機軌跡,。這些缺陷可能導致Sora生成一些不合邏輯的視頻，如一個人在跑步機上跑錯方向,。

這些尚未解決的Bug,，是OpenAI決定暫未全面開放Sora的原因之一。如今,，OpenAI正選取部分用戶展開內測,，以評估關鍵領域的潛在危害或風險，以期獲得寶貴反饋,，進而推動模型進步,。

二

ChatGPT發(fā)布后，外界開始意識到AGI時代有了實現的可能性,，Sora等視頻生成模型,，無疑是推動AGI到來的重要加速器。

OpenAI直接在官網上寫道：“Sora為能夠理解和模擬真實世界的模型提供了基礎,，我們相信這一能力將是實現AGI的重要里程碑,。”

想要借助視頻生成模型，推動AGI帶來的不止OpenAI一家公司,。去年12月,，Runway提出要開發(fā)通用世界模型（General World Model），用旗下的視頻生成Gen-2來模擬整個世界,，“我們相信,，人工智能的下一個重大進步將來自理解視覺世界及其動態(tài)的系統(tǒng)，這就是為什么我們要圍繞通用世界模型開始一項新的長期研究工作,?！?/p>

理解現實世界的物理法則，成為通往AGI的必經之路,。360創(chuàng)始人周鴻祎在點評Sora時直言,，一旦AI接上攝像頭，把現存所有視頻都看一遍,，其對世界的理解能力將遠遠超過文字學習,。“這就離AGI真的不遠了,，不是10年20年的問題,，可能一兩年很快就可以實現?！?/p>

正是在AGI相關概念刺激之下,，AI生圖和視頻領域的垂類大模型公司,，估值迎來飆升，出現了Midjourney,、Stability AI,、Runway等一批明星獨角獸創(chuàng)業(yè)公司。

具體到字節(jié)跳動的業(yè)務層面,，圖片/視頻生成還能幫助提效字節(jié)的商業(yè)化需求,，如幫助字節(jié)廣告客戶低成本、便捷地制作視頻,。有字節(jié)人士告訴晚點PostLate,，字節(jié)廣告客戶投放總成本里有10%-20%為視頻制作成本,，從去年開始,，字節(jié)已在開發(fā)一些相關產品幫廣告客戶壓縮這部分投入,。

盡管在推出類似文生視頻產品方面落后一步,，但對張楠來說,，反過來也迎來了一個摸著Sora過河的機會,。

ChatGPT亮相之前,，算法方面的短板,，一度是行業(yè)研發(fā)對話大模型的主要障礙之一。人工智能專家丁磊博士解釋道,，部分大模型創(chuàng)業(yè)公司“還不是那么會訓練大模型……如果訓練方法錯的話,，你有再多的GPU也沒用?！?/p>

在追趕Sora過程中,，Pika創(chuàng)始人郭文景提到，目前生成式視頻發(fā)展的一個重要限制是算法的成熟度,，“語言對話模型大家已經知道大概的方法,，算法相對比較成熟了。但視頻之前還沒有很好的算法,?！?/p>

Sora的發(fā)布，無疑再次給行業(yè)提供了一個行之有效的解題思路,，也給郭文景和張楠這樣的同領域創(chuàng)業(yè)者,，提供了一條成熟的算法借鑒路線。

三

隨著Sora正式亮相,，在上一波語言對話模型上落后的字節(jié),，在視頻領域再次陷入被動追趕窘態(tài)。

2022年11月ChatGPT發(fā)布之后,，百度,、阿里等國內大廠相繼在去年三四月份推出自研大模型文心一言和通義千問，但直到8月份,，字節(jié)才對外亮相了云雀大模型,。

動作遲緩的后果之一是，當文心一言月活已經破億后,，字節(jié)同類產品“豆包”的月活,，還不足千萬。

在1月底的新一期All Hands（員工面對面）上,，梁汝波著重以AI進展緩慢說明公司正在變得遲鈍的現況,，稱 “公司層面的半年度技術回顧，直到2023年才開始考慮GPT,，而業(yè)內做得比較好的大模型創(chuàng)業(yè)公司,，都是在2018年至2021年創(chuàng)立的?！?/p>

字節(jié)關注大模型并不算晚,。據晚點LatePost報道，2020年6月OpenAI發(fā)布GPT-3后,，字節(jié)曾訓練了一個數十億參數的生成式語言大模型,，由于參數規(guī)模有限,，該模型生成能力一般，字節(jié)當時看不到它的商業(yè)化可能性,，“ROI（投資回報率） 算不過來”,，這次探索便淺嘗輒止。

如今選派張楠這樣一員大將用AI改造剪映,，被外界視為是字節(jié)內部希望提速AI發(fā)展的一個信號,。

張楠

但在完成內部調兵遣將之后,，留給張楠的挑戰(zhàn)不只是追趕時間上的緊迫,，還有外部芯片斷供所帶來的算力荒難題。

去年10月份,，英偉達旗下A100,、A800、H100,、H800和L40S等五種GPU芯片禁令正式生效,。對于一眾國內大模型廠商而言，英偉達芯片的斷供,，在客觀上成為其追趕ChatGPT乃至GPT-4的最大阻力,。

在縮放法則（scaling laws）指導下，阿爾特曼提出了芯片需求每三四個月就要翻一番的大模型時代“摩爾定律”,。這無疑再次拉高著張楠追趕Sora的門檻,。

“對于國內廠商而言，這種大力出奇跡的模式跑通之后,，硅谷會進入更為狂熱的算力軍備競賽,。字節(jié)們的算力短板會進一步放大?！闭猩套C券研究員劉枋說道。

參考資料：
《剪映全員信》張楠
《揭秘字節(jié)AI版圖：調集多位高管參戰(zhàn),，數款重磅產品內測》Tech星球
《大廠大模型：久違的一把手工程》晚點LatePost
《“今天,，所有VC的會上都在談Sora”》投中網
《Sora發(fā)布后，Pika創(chuàng)始人獨家回應鈦媒體：很振奮,，我們將直接沖》鈦媒體