文章來(lái)源：字母榜

作者：趙晉杰

圖片來(lái)源：由無(wú)界AI生成

Sora的橫空出世，對(duì)張一鳴來(lái)說(shuō),，亦喜亦憂。

被OpenAI的ChatGPT震撼過(guò)一輪的AI大模型行業(yè),，又一次被這家公司推出的首個(gè)視頻生成模型Sora震撼了一把,。

不同于Runway,、Pika等僅能生成不足10秒,，且鏡頭視角單一,、內(nèi)容高度失真的視頻，Sora的視頻生成長(zhǎng)度不僅突破到了60秒,，且能實(shí)現(xiàn)單視頻的多角度鏡頭切換，還能最大限度還原現(xiàn)實(shí)世界的真實(shí)場(chǎng)景,。

在ChatGPT上被驗(yàn)證過(guò)的模型性能縮放法則（scaling laws）,，被OpenAI CEO阿爾特曼移植到視頻領(lǐng)域后，被證明其“大力出奇跡”的策略仍然有效,，即增加模型的大小將繼續(xù)提高性能,。ChatGPT所為人稱贊的“智能涌現(xiàn)”特征，再一次出現(xiàn)在Sora身上,。

OpenAI CEO阿爾特曼

面對(duì)來(lái)自Sora的“降維打擊”，AI視頻領(lǐng)域的創(chuàng)業(yè)者中,，有的如Runway CEO克里斯托瓦爾·巴倫蘇埃拉一樣,，做好了“Game On”的準(zhǔn)備，有的如Pika創(chuàng)始人郭文景一樣,，開(kāi)始籌備對(duì)標(biāo)Sora的新產(chǎn)品,，也有人如Stability AI CEO埃馬德·莫斯塔克一樣，不由感慨“阿爾特曼真是一個(gè)魔術(shù)師”,，并將Sora視為AI視頻界的GPT-3時(shí)刻,。

但對(duì)字節(jié)跳動(dòng)來(lái)說(shuō)，這未必是個(gè)好消息,，因?yàn)?Sora所處的視頻生成賽道,，正是眼下字節(jié)跳動(dòng)旗下剪映所瞄準(zhǔn)的AI創(chuàng)新方向。2月份從抖音轉(zhuǎn)崗剪映后,，據(jù)界面新聞報(bào)道,，抖音前CEO張楠即將推出一個(gè)AI生圖和視頻的產(chǎn)品。

正打算在AI生成視頻領(lǐng)域大干一番的張楠,，還沒(méi)等到產(chǎn)品落地的那一刻,，其內(nèi)部再創(chuàng)業(yè)的計(jì)劃，便率先遭遇了Sora的當(dāng)頭一擊,。

OpenAI是張楠決心押注AI再創(chuàng)業(yè)的催化劑,。2022年OpenAI旗下文生圖模型DALL-E 2的發(fā)布,，讓張楠首次直觀感受到AI圖像生成，給傳統(tǒng)內(nèi)容創(chuàng)作方式所帶來(lái)的顛覆式變革威力,，這既是字節(jié)跳動(dòng)全球CEO梁汝波口中“會(huì)產(chǎn)生新的創(chuàng)作平臺(tái)”的機(jī)會(huì),，也是促成張楠轉(zhuǎn)崗剪映的原因之一。

生成式AI,，還是打開(kāi)字節(jié)跳動(dòng)增長(zhǎng)天花板的一次必要嘗試,。2023年公開(kāi)信中，張一鳴提到,，字節(jié)跳動(dòng)無(wú)法錯(cuò)過(guò)AGI（通用人工智能）,，并指出AGI是抖音,、TikTok在全球發(fā)現(xiàn)新的增長(zhǎng)機(jī)遇不可或缺的伙伴，“它可以解決字節(jié)跳動(dòng)的第二曲線增長(zhǎng)困境,?！?/p>

2019年剪映的出現(xiàn)，幫助抖音內(nèi)容生態(tài)從偏向PGC（專業(yè)機(jī)構(gòu)生產(chǎn)內(nèi)容）轉(zhuǎn)向UGC（用戶生產(chǎn)內(nèi)容）,，大大降低用戶創(chuàng)作門(mén)檻,。如今，隨著平臺(tái)內(nèi)容生態(tài)轉(zhuǎn)向PUGC融合態(tài),，其對(duì)用戶創(chuàng)作視頻的成本和整體質(zhì)量,，又提出了新的要求。AI生成視頻產(chǎn)品的出現(xiàn),，則對(duì)盡可能拉低每一個(gè)普通人創(chuàng)作視頻的門(mén)檻,，提供了一種現(xiàn)實(shí)可能性，抖音乃至TikTok,，都有望借此在內(nèi)容創(chuàng)作者數(shù)量上迎來(lái)新的爆發(fā),。

值得一提的是,，AI視頻生成更是一個(gè)頗具前景的創(chuàng)業(yè)賽道。截至2023年底,，該賽道已經(jīng)涌現(xiàn)出一批獨(dú)角獸公司：Midjourney估值100億美元,，Stability AI估值40億美元，Runway估值15億美元,。年初爆火出圈的新貴Pika,，成立時(shí)間不足一年，其估值已經(jīng)達(dá)到2.5億美元,。

但在Sora的突然襲擊之下,，留給張一鳴和張楠孵化下一個(gè)AI視頻生成獨(dú)角獸的時(shí)間，越發(fā)緊張了,。

一

Sora亮相之前,，字節(jié)內(nèi)部也在研發(fā)AI生成視頻產(chǎn)品。

1月份,，字節(jié)跳動(dòng)研究人員在arXiv上發(fā)表了一篇論文，其中介紹了字節(jié)正在開(kāi)發(fā)的一款文本生成視頻的模型,，被命名為?MagicVideo-V2,，其通過(guò)集成多個(gè)模塊，包括文本到圖像模型,、視頻運(yùn)動(dòng)生成器,、參考圖像嵌入模塊和插值模塊，實(shí)現(xiàn)從文字到視頻的自動(dòng)化生成,。

MagicVideo-V2想要解決的問(wèn)題,，是Runway、Pika等在生成視頻中所表現(xiàn)出來(lái)的保真度不高,、運(yùn)動(dòng)不自然,、分辨率不高、風(fēng)格不多樣等,。

字節(jié)旗下產(chǎn)品剪映原有的“圖文成片”功能模塊,，在進(jìn)行文生視頻轉(zhuǎn)換過(guò)程中，同樣面臨上述難題的拷問(wèn),。

在等待MagicVideo-V2完善研發(fā),，從demo走向量產(chǎn)上線之際，張楠在過(guò)去一個(gè)月多的用戶訪談中,，收集到了更多來(lái)自一線創(chuàng)作者對(duì)AI生成視頻產(chǎn)品的不滿和期待,，其中之一就包括部分創(chuàng)作者“為了更好表達(dá)自己的想法，幾乎無(wú)法用一個(gè)產(chǎn)品完成所有的創(chuàng)作,，要橫跨幾個(gè)產(chǎn)品之間,，用復(fù)雜的編輯和交互流程,，才能完成他們的表達(dá)?！?/p>

去年8月,，UP主數(shù)字生命卡茲克制作的一條爆款視頻《流浪地球3預(yù)告片》，便先后運(yùn)用了MidJourney和Runway等多款產(chǎn)品,，且經(jīng)歷了長(zhǎng)達(dá)5天的后期剪輯拼接,。

造成UP主數(shù)字生命卡茲克創(chuàng)作困難的主要原因，便出在AI軟件不夠智能和便捷上,。Sora出現(xiàn)之前,，業(yè)內(nèi)文生視頻的默認(rèn)方式是，只能輸出單一,、且往往是靜止視角的短視頻片段,，畫(huà)面背景還多呈現(xiàn)賽博朋克風(fēng)。

Sora出現(xiàn)之后,，文生視頻領(lǐng)域的舊識(shí)被打破,，不管多么復(fù)雜的視角、場(chǎng)景切換,，都只用通過(guò)單一提示詞便可生成,，在兼顧便捷性的同時(shí)，最大限度保證了生成內(nèi)容與真實(shí)物理世界的相關(guān)性,。

Sora提示詞示例 圖源：官網(wǎng)截圖

字節(jié)和張楠規(guī)劃中AI視頻所應(yīng)具備的更高保真度生成效果、更清晰生成畫(huà)面,、更順暢自然的邏輯理解能力等,，率先被Sora一一實(shí)現(xiàn)。

需要注意的是,，尚未對(duì)外開(kāi)放測(cè)試的Sora,，眼下還存在諸多不完善之處，按其官方說(shuō)法,，“仍然處于世界模型研究應(yīng)用的初期階段,。”

Meta首席科學(xué)家楊立昆便直接質(zhì)疑Sora：“僅憑能夠根據(jù)提示生成逼真的視頻,，并不能說(shuō)明系統(tǒng)真正理解了物理世界,。”

OpenAI在官網(wǎng)介紹中也提醒道,，Sora可能難以準(zhǔn)確模擬復(fù)雜場(chǎng)景的物理原理,，并且可能無(wú)法理解因果關(guān)系，還可能混淆提示的空間細(xì)節(jié),，例如混淆左右,，并且可能難以精確描述隨著時(shí)間推移發(fā)生的事件,，例如遵循特定的相機(jī)軌跡。這些缺陷可能導(dǎo)致Sora生成一些不合邏輯的視頻,，如一個(gè)人在跑步機(jī)上跑錯(cuò)方向,。

這些尚未解決的Bug，是OpenAI決定暫未全面開(kāi)放Sora的原因之一,。如今,，OpenAI正選取部分用戶展開(kāi)內(nèi)測(cè)，以評(píng)估關(guān)鍵領(lǐng)域的潛在危害或風(fēng)險(xiǎn),，以期獲得寶貴反饋,，進(jìn)而推動(dòng)模型進(jìn)步。

二

ChatGPT發(fā)布后,，外界開(kāi)始意識(shí)到AGI時(shí)代有了實(shí)現(xiàn)的可能性,，Sora等視頻生成模型，無(wú)疑是推動(dòng)AGI到來(lái)的重要加速器,。

OpenAI直接在官網(wǎng)上寫(xiě)道：“Sora為能夠理解和模擬真實(shí)世界的模型提供了基礎(chǔ),，我們相信這一能力將是實(shí)現(xiàn)AGI的重要里程碑?！?/p>

想要借助視頻生成模型,，推動(dòng)AGI帶來(lái)的不止OpenAI一家公司。去年12月,，Runway提出要開(kāi)發(fā)通用世界模型（General World Model），用旗下的視頻生成Gen-2來(lái)模擬整個(gè)世界,，“我們相信,，人工智能的下一個(gè)重大進(jìn)步將來(lái)自理解視覺(jué)世界及其動(dòng)態(tài)的系統(tǒng)，這就是為什么我們要圍繞通用世界模型開(kāi)始一項(xiàng)新的長(zhǎng)期研究工作,?！?/p>

理解現(xiàn)實(shí)世界的物理法則，成為通往AGI的必經(jīng)之路,。360創(chuàng)始人周鴻祎在點(diǎn)評(píng)Sora時(shí)直言,，一旦AI接上攝像頭，把現(xiàn)存所有視頻都看一遍,，其對(duì)世界的理解能力將遠(yuǎn)遠(yuǎn)超過(guò)文字學(xué)習(xí),。“這就離AGI真的不遠(yuǎn)了,，不是10年20年的問(wèn)題,，可能一兩年很快就可以實(shí)現(xiàn)?！?/p>

正是在AGI相關(guān)概念刺激之下,，AI生圖和視頻領(lǐng)域的垂類大模型公司，估值迎來(lái)飆升,，出現(xiàn)了Midjourney,、Stability AI、Runway等一批明星獨(dú)角獸創(chuàng)業(yè)公司,。

具體到字節(jié)跳動(dòng)的業(yè)務(wù)層面,，圖片/視頻生成還能幫助提效字節(jié)的商業(yè)化需求，如幫助字節(jié)廣告客戶低成本,、便捷地制作視頻,。有字節(jié)人士告訴晚點(diǎn)PostLate，字節(jié)廣告客戶投放總成本里有10%-20%為視頻制作成本,，從去年開(kāi)始,，字節(jié)已在開(kāi)發(fā)一些相關(guān)產(chǎn)品幫廣告客戶壓縮這部分投入。

盡管在推出類似文生視頻產(chǎn)品方面落后一步,，但對(duì)張楠來(lái)說(shuō),，反過(guò)來(lái)也迎來(lái)了一個(gè)摸著Sora過(guò)河的機(jī)會(huì)。

ChatGPT亮相之前,，算法方面的短板,，一度是行業(yè)研發(fā)對(duì)話大模型的主要障礙之一。人工智能專家丁磊博士解釋道,，部分大模型創(chuàng)業(yè)公司“還不是那么會(huì)訓(xùn)練大模型……如果訓(xùn)練方法錯(cuò)的話,，你有再多的GPU也沒(méi)用?！?/p>

在追趕Sora過(guò)程中,，Pika創(chuàng)始人郭文景提到，目前生成式視頻發(fā)展的一個(gè)重要限制是算法的成熟度,，“語(yǔ)言對(duì)話模型大家已經(jīng)知道大概的方法,，算法相對(duì)比較成熟了。但視頻之前還沒(méi)有很好的算法,?！?/p>

Sora的發(fā)布，無(wú)疑再次給行業(yè)提供了一個(gè)行之有效的解題思路,，也給郭文景和張楠這樣的同領(lǐng)域創(chuàng)業(yè)者,，提供了一條成熟的算法借鑒路線。

三

隨著Sora正式亮相,，在上一波語(yǔ)言對(duì)話模型上落后的字節(jié),，在視頻領(lǐng)域再次陷入被動(dòng)追趕窘態(tài)。

2022年11月ChatGPT發(fā)布之后，百度,、阿里等國(guó)內(nèi)大廠相繼在去年三四月份推出自研大模型文心一言和通義千問(wèn),，但直到8月份，字節(jié)才對(duì)外亮相了云雀大模型,。

動(dòng)作遲緩的后果之一是,，當(dāng)文心一言月活已經(jīng)破億后，字節(jié)同類產(chǎn)品“豆包”的月活,，還不足千萬(wàn),。

在1月底的新一期All Hands（員工面對(duì)面）上，梁汝波著重以AI進(jìn)展緩慢說(shuō)明公司正在變得遲鈍的現(xiàn)況,，稱 “公司層面的半年度技術(shù)回顧,，直到2023年才開(kāi)始考慮GPT，而業(yè)內(nèi)做得比較好的大模型創(chuàng)業(yè)公司,，都是在2018年至2021年創(chuàng)立的,。”

字節(jié)關(guān)注大模型并不算晚,。據(jù)晚點(diǎn)LatePost報(bào)道,，2020年6月OpenAI發(fā)布GPT-3后，字節(jié)曾訓(xùn)練了一個(gè)數(shù)十億參數(shù)的生成式語(yǔ)言大模型,，由于參數(shù)規(guī)模有限,，該模型生成能力一般，字節(jié)當(dāng)時(shí)看不到它的商業(yè)化可能性,，“ROI（投資回報(bào)率） 算不過(guò)來(lái)”,，這次探索便淺嘗輒止。

如今選派張楠這樣一員大將用AI改造剪映,，被外界視為是字節(jié)內(nèi)部希望提速AI發(fā)展的一個(gè)信號(hào),。

張楠

但在完成內(nèi)部調(diào)兵遣將之后,，留給張楠的挑戰(zhàn)不只是追趕時(shí)間上的緊迫，還有外部芯片斷供所帶來(lái)的算力荒難題,。

去年10月份,，英偉達(dá)旗下A100、A800,、H100,、H800和L40S等五種GPU芯片禁令正式生效。對(duì)于一眾國(guó)內(nèi)大模型廠商而言,，英偉達(dá)芯片的斷供,，在客觀上成為其追趕ChatGPT乃至GPT-4的最大阻力。

在縮放法則（scaling laws）指導(dǎo)下，阿爾特曼提出了芯片需求每三四個(gè)月就要翻一番的大模型時(shí)代“摩爾定律”,。這無(wú)疑再次拉高著張楠追趕Sora的門(mén)檻,。

“對(duì)于國(guó)內(nèi)廠商而言，這種大力出奇跡的模式跑通之后,，硅谷會(huì)進(jìn)入更為狂熱的算力軍備競(jìng)賽,。字節(jié)們的算力短板會(huì)進(jìn)一步放大?！闭猩套C券研究員劉枋說(shuō)道,。

參考資料：
《剪映全員信》張楠
《揭秘字節(jié)AI版圖：調(diào)集多位高管參戰(zhàn)，數(shù)款重磅產(chǎn)品內(nèi)測(cè)》Tech星球
《大廠大模型：久違的一把手工程》晚點(diǎn)LatePost
《“今天,，所有VC的會(huì)上都在談Sora”》投中網(wǎng)
《Sora發(fā)布后,，Pika創(chuàng)始人獨(dú)家回應(yīng)鈦媒體：很振奮，我們將直接沖》鈦媒體