原文來(lái)源：硅星人

圖片來(lái)源：由無(wú)界 AI生成

1月6日，“知乎AI先行者沙龍”就熱點(diǎn)話題開(kāi)啟兩場(chǎng)圓桌對(duì)談,，由硅星人/品玩CEO駱軼航對(duì)話眾多AI專(zhuān)家,。

對(duì)話主題:“AI落地進(jìn)行時(shí),，讓創(chuàng)新真正觸手可及”

參與嘉賓：兔展智能董應(yīng)賽、網(wǎng)易伏羲游戲李樂(lè),、WPS AI汪大煒,、WeShop吳海波。

主持人：硅星人/品玩CEO駱軼航

以下是對(duì)話內(nèi)容實(shí)錄：

中國(guó)的AI原生應(yīng)用發(fā)展這么慢的原因是什么,？

駱軼航：感謝大家,，剛才聽(tīng)了行遠(yuǎn)和博杰兩位老師講得非常好玩，行遠(yuǎn)其實(shí)每個(gè)東西做得看上去都跟大語(yǔ)言模型沒(méi)有關(guān)系,，其實(shí)這幾年脈絡(luò)是下來(lái)的,，你無(wú)聊問(wèn)答的那個(gè)東西做早了，你晚四年到五年做那可能就是完全不同的一個(gè)場(chǎng)景,，其實(shí)我覺(jué)得特別有意思,，他堅(jiān)持一個(gè)路徑能做一些非常有意思的事。

博杰老師特別有意思,，昨天我們幾個(gè)朋友在一起討論過(guò)這個(gè)問(wèn)題,，博杰老師把AI分成了有用和有趣兩類(lèi)，我們問(wèn)你為什么不把智能,、可感知,、可推理甚至做一些最重要的生成當(dāng)作一個(gè)劃分呢？他說(shuō)這是一個(gè)基礎(chǔ),、一個(gè)標(biāo)準(zhǔn)沒(méi)有這個(gè)我們談什么,？我們是在這個(gè)基礎(chǔ)之上才去談?dòng)腥ず陀杏眠@兩類(lèi)。

我還是做一個(gè)簡(jiǎn)單的調(diào)研,，現(xiàn)在在場(chǎng)的同學(xué)們有多少人以為自己用過(guò)AI Agents,？有多少人用過(guò)有用的Agent？說(shuō)白了幫你法律顧問(wèn),、財(cái)務(wù)顧問(wèn),、文檔顧問(wèn)？有多少人用過(guò)有趣的Agent,，陪聊之類(lèi)的,，我特別擔(dān)心大家不用有趣的Agent。

我進(jìn)門(mén)的時(shí)候做那個(gè)測(cè)試,，你向左還是向右,，向左是愿意接受AI的陪伴，向右是不愿意,，我義無(wú)反顧地選擇了向左,，作為一個(gè)i人，我覺(jué)得不是一個(gè)E人,，我覺(jué)得如果可以不跟人溝通,，用AI陪伴我覺(jué)得也還蠻好的,。其實(shí)我覺(jué)得AI陪伴有用的維度我可能有一個(gè)觀點(diǎn)跟博杰老師不太一樣，跟這個(gè)階段不太一樣,。但是博杰老師是在做事，我是在扯淡,，這是差別,。

如果我們真的相信成本未來(lái)能夠降下來(lái)的話，有趣一端能夠創(chuàng)造更大的價(jià)值,，因?yàn)檫@個(gè)世界大部分是有用的,，他們也不會(huì)做很多的事情，這是一個(gè)很有意思的事,，我們今天就落地去聊一聊AI的應(yīng)用,、AI的應(yīng)用能夠產(chǎn)生，我們?cè)趺茨軌虮M快地去落地,，我們先上來(lái)給每個(gè)人拍一個(gè)磚,，問(wèn)每個(gè)人一個(gè)問(wèn)題。

過(guò)去也一年一些大佬拼命地去跟大家去講,，我們不要再去開(kāi)發(fā)那么多模型了,，“百模大戰(zhàn)”東西太多了，趕緊開(kāi)發(fā)應(yīng)用吧,。但過(guò)去的一年事實(shí)上至少在國(guó)內(nèi)并沒(méi)有出現(xiàn)真正的所謂的native AI APP的大繁榮,，一部分人還在卷模型，普通人對(duì)AI應(yīng)用很多時(shí)候可能無(wú)感,，可能少部分的AI應(yīng)用,，最近這一兩個(gè)月可能會(huì)有爬坡。我相信現(xiàn)在有的人可能注意到豆包現(xiàn)在投放量蠻大,，有人人還用到了豆包,、還用到了星野，海外用戶(hù)可能大家都用Character AI,、包括用派,、用AI等等，但是其實(shí)整個(gè)應(yīng)用在國(guó)內(nèi)沒(méi)有得到一個(gè)大的繁榮,，很多平臺(tái)也都推出了自己的工具包,，希望開(kāi)發(fā)者去開(kāi)發(fā)應(yīng)用，好像也沒(méi)有那么多,，原因是什么,？是模型不行？還是什么原因,？大家的觀察,，我相信各位都在做,，有基于國(guó)內(nèi)的基礎(chǔ)模型去做的，也有基于海外的模型去做的,，大家能不能直言不諱地講講這個(gè)原因,。

“底層模型做開(kāi)發(fā)還是有差距，是需要承認(rèn)的”

董應(yīng)賽：原來(lái)經(jīng)過(guò)這幾輪技術(shù)的更迭,，大家可能會(huì)通常有一個(gè)認(rèn)識(shí),，覺(jué)得可能在中國(guó)移動(dòng)互聯(lián)網(wǎng)，可能會(huì)更繁榮一點(diǎn),，就是做應(yīng)用這個(gè)事在中國(guó)更有熱情,，大家更愿意去做，而且用戶(hù)基礎(chǔ)也在這里,，覺(jué)得中國(guó)通常都會(huì)對(duì)做這件事情,，或者說(shuō)回到這個(gè)問(wèn)題上開(kāi)發(fā)AI APP的熱情以為會(huì)比美國(guó)更多一點(diǎn)，我覺(jué)得這一次通用人工智能最重要的還是基礎(chǔ)的技術(shù)是不是做得很扎實(shí)，這個(gè)應(yīng)用的效果才能做得好,。

我自己的體會(huì)是因?yàn)槲以瓉?lái)在Mate,、在Facebook工作過(guò)幾年，我一直跟我美國(guó)的朋友有交流,，其實(shí)是會(huì)發(fā)現(xiàn)國(guó)外它有一個(gè)跟中國(guó)最大的一個(gè)不同就是大家的人才密度其實(shí)還是更高,、更集中一點(diǎn)。比如說(shuō)真的是OpenAI,、Google等三家人才密度是非常高的,，在資源、資金、算力,，人才投入在相對(duì)集中的公司里面,，做出來(lái)的模型確實(shí)是很好的。比如說(shuō)大家都在說(shuō)是不是做了接近于GPT4的能力了,，剛才前一場(chǎng)沙龍的交流過(guò)程中聽(tīng)到幾位專(zhuān)家的說(shuō)法其實(shí)也比較有自信會(huì)覺(jué)得可能差距沒(méi)有那么大,，但是我們自己的體驗(yàn)在應(yīng)用端，要基于這些底層的模型來(lái)做一些開(kāi)發(fā)的時(shí)候,，還是會(huì)覺(jué)得是有差距,，是要去承認(rèn)的。而且在國(guó)內(nèi)事實(shí)的情況是比較分散,。

駱軼航：模型太多了是吧,？

董應(yīng)賽：模型太多的,，人才不夠集中,，僧多粥少，哪怕在國(guó)外,、在美國(guó)做這些AI研究的公司中華人占比不低,，國(guó)內(nèi)大家如果更集中一點(diǎn)這個(gè)事情是能做得比現(xiàn)在更好的，大廠也想做,，也涌現(xiàn)了很多創(chuàng)業(yè)公司,，資金也會(huì)比較分散，可能后面我們?cè)倭囊恍┩顿Y都有問(wèn)題,。

回到根本的問(wèn)題上,，可能還是底層的模型，至少我們現(xiàn)在感覺(jué)還是有一些差距的,。所以在這次AI這個(gè)浪潮里面跟之前的不同,，比如說(shuō)移動(dòng)互聯(lián)網(wǎng)里面，無(wú)論是抖音還是做社交平臺(tái),，更依賴(lài)于底層的技術(shù)是不是成熟才能把一個(gè)應(yīng)用給做好,，我覺(jué)得這個(gè)是我想來(lái)分享的。

“技術(shù)永遠(yuǎn)沒(méi)有做到最好的時(shí)候,，但是我們卻可以在目前的技術(shù)條件下做出很好的產(chǎn)品”

李樂(lè)：我的想法可能會(huì)相反,。我舉個(gè)例子，當(dāng)然這個(gè)是游戲里面的例子,，我昨晚也說(shuō)過(guò),，2018年的時(shí)候，我就把一個(gè)SQL TO SQL的模型放到游戲里面去,，那個(gè)能力大家能感知到的,，可能連個(gè)小學(xué)生的作文都寫(xiě)不清楚，我們就很好地選擇了一個(gè)游戲里面的養(yǎng)育系統(tǒng)這樣一個(gè)場(chǎng)景,，就是現(xiàn)在游戲里面玩家生出來(lái)的那個(gè)小孩,，把對(duì)話AI加到小孩上面去,，小孩的父母親就是那些玩家可以跟小孩進(jìn)行聊天。即使在這樣的2018年年底那樣一個(gè)技術(shù)水平下都有非常多的玩家跟他去進(jìn)行聊天,，所以從我的角度來(lái)說(shuō),，我覺(jué)得對(duì)做產(chǎn)品的人來(lái)說(shuō)，我覺(jué)得有更高的一個(gè)挑戰(zhàn),，就是我們要在現(xiàn)有的基礎(chǔ)情況下根據(jù)我們業(yè)務(wù)的場(chǎng)景去想我們應(yīng)該去做什么樣的一個(gè)應(yīng)用,，所以我覺(jué)得我們做產(chǎn)品的人應(yīng)該要有更多的思考和主觀能動(dòng)性在里面，所以這個(gè)應(yīng)用的市場(chǎng)才能做得更好一點(diǎn),，所以這是我的一個(gè)看法,。

另外一個(gè)，當(dāng)然我覺(jué)得不要把它變成一個(gè)吐槽性質(zhì)的東西,，我們國(guó)內(nèi)的模型跟海外有多大的一個(gè)差距,，我們看到從現(xiàn)在這個(gè)時(shí)間點(diǎn)來(lái)看，大家已經(jīng)比去年上半年的時(shí)候信心足了很多了,，而且還在快速地研發(fā)的過(guò)程之中,，各種性能也在不停地提升。但這里面會(huì)涉及到很多的問(wèn)題,，我覺(jué)得因?yàn)閲?guó)內(nèi)還是會(huì)做得慢一些,，特別是很多高質(zhì)量的開(kāi)源的模型拿出來(lái)給市場(chǎng)的也慢一些。

從我的角度來(lái)說(shuō),，我了解到很多的公司也看到了市場(chǎng)上面一些好的例子以后,，他們也有所觸動(dòng)，也在做相關(guān)的一個(gè)東西,，我覺(jué)得站在游戲行業(yè)這個(gè)角度來(lái)說(shuō),，可能在今年年中左右會(huì)有更多更好的應(yīng)用出來(lái)，它可能是一個(gè)時(shí)間窗口的問(wèn)題,。

當(dāng)然,，我覺(jué)得還有一個(gè)問(wèn)題就是目前來(lái)看AI還是很貴的，就是你的研發(fā)很貴,，你的線上推理很貴,，特別是在我們游戲的場(chǎng)景。我們的QPS是非常大的,，游戲方承受的壓力也很大,，大家游戲要做差異化，他們真的就是咬著牙跟我們一起做創(chuàng)新,，我們也希望這一塊算力的成本,，不論是我們訓(xùn)練的成本還是我們?cè)诰€推理的成本，都能夠盡快去降低。

駱軼航：我特希望我們的嘉賓在臺(tái)上這么能夠打起來(lái),，提供截然不同的看法,，模型確實(shí)還是有問(wèn)題，人才我承認(rèn),，如果全球有一百人能做的,，人家三家加起來(lái)占80個(gè)你確實(shí)很難受，即便這樣的情況下模型還是有進(jìn)步的空間,，做產(chǎn)品的人怎么能夠更快地具備AI的思維,，我們那會(huì)兒老提互聯(lián)網(wǎng)思維、移動(dòng)互聯(lián)網(wǎng),，但是做產(chǎn)品要有AI的思維,，用好自然語(yǔ)言，打開(kāi)他的想象力去做一些事,，昨天李樂(lè)老師秀了一個(gè)demo我就非常開(kāi)心,。接下來(lái)讓汪大煒聊一聊,，你們可以不講你們?cè)趺催M(jìn)入的,，你們可以講一點(diǎn)感受,。

“需要更多的工作來(lái)讓模型與用戶(hù)需求匹配起來(lái),，用戶(hù)也在不斷學(xué)習(xí)如何更好地使用AI應(yīng)用”

汪大煒：我講一下從去年到今年一共發(fā)生了什么事情,，這個(gè)可以去解答為什么,，某一部分可以解答中國(guó)為什么做應(yīng)用的人比較少,，我們很早就做AI了,，我們2017年就開(kāi)始做AI相關(guān)的事情,，但那時(shí)候CV、語(yǔ)音這種場(chǎng)景的,，還有翻譯校對(duì),，去年12月我們就關(guān)注到GPT的事情，關(guān)注到這個(gè)事情到底能不能做,？真正啟動(dòng)大概是2023年2月份,，當(dāng)時(shí)整個(gè)公司開(kāi)了一個(gè)會(huì)，核心的骨干都在一起說(shuō)這個(gè)事情,，我們判斷這個(gè)事情可能會(huì)顛覆未來(lái)辦公的方式,，大家一定要投入到這個(gè)里面，當(dāng)時(shí)我們內(nèi)部?jī)汕Ф嗵?hào)研發(fā),，所有人如果你今天不去聊天AI的事情,，可能你就會(huì)逐步逐步被淘汰那種感覺(jué)就會(huì)很明顯。

在那個(gè)時(shí)候我們就開(kāi)始找包括國(guó)內(nèi)的,、海外的模型的服務(wù)商,，因?yàn)槠鋵?shí)我們其實(shí)本質(zhì)上不太做大模型，我們更多的還是用戶(hù)場(chǎng)景里面找到用戶(hù)的場(chǎng)景，去給用戶(hù)提供這樣的服務(wù),，所以我們找這樣的合作方說(shuō)哪些服務(wù)是合作方可以給我們一起共創(chuàng),、一起支持。海外的包括谷歌的,、OpenAI我們也找了,，國(guó)內(nèi)的大家也看過(guò)包括 Mini Max這些、百度我們都有相關(guān)的一些合作,，然后我們就開(kāi)始做兩件事情,，第一件事情是看用戶(hù)的場(chǎng)景里面有哪些是可以AI化去改造的，因?yàn)槲覀冇X(jué)得AI化改造之后是能給用戶(hù)帶來(lái)很強(qiáng)的或者很大的效率上的提升,，那我就去找一些事情,，包括當(dāng)時(shí)我們還去找了一些翻譯的專(zhuān)門(mén)做出版社的翻譯的老師，包括去做一些用語(yǔ)言的事情,，找哪些產(chǎn)品可以做到,。然后我們就發(fā)現(xiàn)了6月份發(fā)布會(huì)我們說(shuō)了幾個(gè)方向，比如說(shuō)AIGC的方向,、Copilot的方向和那個(gè) inside方向,，我們?cè)谧鲞@件事情的時(shí)候，跟這些模型就開(kāi)始說(shuō)我們接進(jìn)來(lái),，接進(jìn)來(lái)我們調(diào),，看怎么樣可以接到這個(gè)場(chǎng)景里去，那個(gè)時(shí)候整個(gè)行業(yè)里面的應(yīng)用都是像對(duì)話式的交互方式的,，我右側(cè)一個(gè)對(duì)話面板跟它說(shuō)一個(gè)我的需求,，它幫我做完，基本上是這樣子,，我們朝著這個(gè)方向去努力,，模型方我的需求是這樣的，辦公場(chǎng)景你給我做一些什么樣的適配,，生成的大綱你給我做格式的標(biāo)簽,，大模型里面沒(méi)有語(yǔ)料和訓(xùn)練，要把這些訓(xùn)練項(xiàng)目加進(jìn)去一起去訓(xùn)練,，讓它帶格式的屬性標(biāo)簽出來(lái),，方便我后面做數(shù)據(jù)的操作，那個(gè)過(guò)程中6月份我們開(kāi)了一個(gè)發(fā)布會(huì)告訴大家有這個(gè)事情可以做內(nèi)測(cè)的時(shí)候,，當(dāng)時(shí)我們的感覺(jué)是模型叫勉勉強(qiáng)強(qiáng)可以用,，可以放進(jìn)來(lái)，這個(gè)完整的鏈路看上去可以完完整整地去使用,，大概是這種感受,。

我們?nèi)?nèi)測(cè)過(guò)程中就發(fā)現(xiàn)了一些問(wèn)題,，用戶(hù)在真正的辦公使用場(chǎng)景里面它的任務(wù)是一個(gè)復(fù)雜的任務(wù)，不是一個(gè)簡(jiǎn)單的單一任務(wù),，當(dāng)我以一個(gè)指令的方式,，以一兩句話，或者幾句話去讓他做這件事情的時(shí)候,，他沒(méi)有辦法把這件事情一步一步猜出來(lái),，而且這個(gè)上面每一個(gè)人的想法、每個(gè)人需要改的地方都不一樣,，我們上了一個(gè)月的內(nèi)測(cè),，我們今天的產(chǎn)品在今天的WPS里面是有問(wèn)題的，我們后續(xù)不斷地去做修改,。大家可以看到最早一些用戶(hù)右側(cè)瀏覽這種方式很舒服,，實(shí)際使用過(guò)程中我生成一個(gè)PPT難道里面的大綱內(nèi)容不改呢？肯定要改,，AI生成的內(nèi)容跟你想要的內(nèi)容是不是符合的,，沒(méi)有辦法一步到位，你一定會(huì)去改這個(gè)東西,、一定會(huì)去調(diào)整,，一定會(huì)去加進(jìn)自己的東西，一定會(huì)往后走,，我們把AI整體的能力打散,，放到用戶(hù)功能流程里面每一個(gè)部分加持它，這樣的情況下你會(huì)感覺(jué)變得聰明,，整個(gè)過(guò)程中模型也會(huì)不斷地迭代,，真正到年底我們真正發(fā)公測(cè)的時(shí)候,，這個(gè)模型是超過(guò)我們想象中的進(jìn)步的,。雖然跟OpenAI還是有一定的差距，跟3.5還是有一定的差距,，但是你覺(jué)得我可以用這個(gè),，我們用戶(hù)用他使用的數(shù)據(jù)告訴我，他已經(jīng)真正地在用這件事情,，有一部分已經(jīng)用到了他的整個(gè)生產(chǎn)環(huán)節(jié)里面去,，或者工作環(huán)節(jié)里面去，這個(gè)是我們看到覺(jué)得未來(lái)一個(gè)比較好的方向,，在未來(lái)可能1年多的時(shí)間里面我們認(rèn)為還是這樣的方向在整個(gè)產(chǎn)品或應(yīng)用層面的一個(gè)表現(xiàn),。

回到這個(gè)話題里面來(lái)說(shuō)，我覺(jué)得今天的國(guó)內(nèi)的基礎(chǔ)模型不是不能用,，也不是說(shuō)很爛,、很糟糕,，其實(shí)他們已經(jīng)在有些場(chǎng)景下、有些應(yīng)用的方向上有個(gè)很好的基礎(chǔ)在上面,，只是我們真正地到了用戶(hù)的使用過(guò)程當(dāng)中,，我們真的需要做很多的事情，讓用戶(hù)的需求跟我模型的匹配能做起來(lái),。同時(shí)我們也看到用戶(hù)也在學(xué)習(xí),，這是一個(gè)很關(guān)鍵的因素，我們6月份之前,，我們看到用戶(hù)其實(shí)在整個(gè)使用過(guò)程當(dāng)中問(wèn)問(wèn)題,，跟現(xiàn)在問(wèn)問(wèn)題的質(zhì)量真的會(huì)有差別。所以我覺(jué)得這兩個(gè)因素會(huì)慢慢逐步逐步地去改變大家去做AI的應(yīng)用的部分的能力,。

駱軼航：大煒你剛才講這些東西都可以寫(xiě)個(gè)文章了,，上半場(chǎng)我們聊TPF，TPF怎么去實(shí)現(xiàn),，俊旸講的吧,，鐵震和俊旸兩個(gè)人講的，TPF這個(gè)事是試錯(cuò)試出來(lái)的,，這個(gè)就是典型的TPF的過(guò)程,，沒(méi)有人告訴你答案，這個(gè)就是典型的TPF的過(guò)程,，這個(gè)TPF的過(guò)程不僅是產(chǎn)品團(tuán)隊(duì)自己的P怎么去適應(yīng)這個(gè)不可知的T,，其實(shí)用戶(hù)也參與進(jìn)來(lái)了，我覺(jué)得這個(gè)過(guò)程實(shí)際上是一個(gè)特別特別有意思的過(guò)程,，盡管這個(gè)東西跟一開(kāi)始你們想的不一樣,，這個(gè)探索還是有價(jià)值的，我也知道你們4月份的時(shí)候,，我就跟慶元總?cè)チ倪^(guò),，當(dāng)時(shí)的想法很美妙、很樂(lè)觀,，一年撲騰下來(lái)很多東西什么是能實(shí)現(xiàn)的,，什么是不能實(shí)現(xiàn)的，大家有更清晰的認(rèn)知,，他這個(gè)特別好,，但是肯定要花時(shí)間。

“現(xiàn)在的應(yīng)用更容易被吃掉 動(dòng)手才知道基礎(chǔ)模型的邊界在哪里”

吳海波：我們是最近一年AI應(yīng)用中商業(yè)化走得比較順的,。我覺(jué)得這個(gè)問(wèn)題可以拆成兩個(gè)問(wèn)題相對(duì)討論,。第一個(gè)問(wèn)題是native的AI APP是什么東西？

駱軼航：有這個(gè)東西嗎,？這個(gè)事存在嗎,？現(xiàn)在每年沒(méi)有共識(shí)的概念,。

吳海波：剛才這個(gè)問(wèn)題的討論是說(shuō)這個(gè)APP的生態(tài)沒(méi)有起來(lái)，這一撥跟上一撥有個(gè)巨大的區(qū)別,，比如說(shuō)以WeShop舉例,，我做一個(gè)電商行業(yè)的商拍，就是把商家都是要上架到線上,，需要一個(gè)商品,，讓AI可以做一個(gè)更有效率的事情，所有人都會(huì)問(wèn)一個(gè)問(wèn)題,，淘寶做了怎么辦,？抖音做了怎么辦？拼多多做了怎么辦,？那么你在中國(guó)這個(gè)環(huán)境下避免不了地要去討論這個(gè)問(wèn)題,，你做native AI APP的生態(tài)的繁榮是不可能幾個(gè)大廠在那里搞幾個(gè)APP出來(lái)，一定是靠千千萬(wàn)萬(wàn)的開(kāi)發(fā)者沖進(jìn)來(lái),，這個(gè)問(wèn)題不只是有中國(guó)出來(lái),，我記得11月份的OpenAI開(kāi)發(fā)布會(huì)，Twitter上有一個(gè)大V發(fā)了一篇推,，OpenAI給我發(fā)了500美金的優(yōu)惠券拿走了我500萬(wàn)美金是指的公司,，大概是這個(gè)意思。我覺(jué)得中國(guó)我們以前的環(huán)境中大廠對(duì)我們的拷貝是另一個(gè)維度的東西,，今天有一個(gè)維度的東西,，我特別喜歡我們剛才討論的是基礎(chǔ)模型，公司用得比較多的是SD,，SD不算大模型,，單機(jī)就可以跑起來(lái)，它確實(shí)是foundation model,，這個(gè)東西它在不停地吃掉一些應(yīng)用層面的東西,，它天然就能做應(yīng)用，所以這個(gè)時(shí)候native APP沒(méi)有火起來(lái)我覺(jué)得有很多很多開(kāi)發(fā)者他是有顧慮的,，他覺(jué)得自己一輪下來(lái)一個(gè)創(chuàng)新的點(diǎn)子有可能再過(guò)半年,、一年?yáng)|西沒(méi)有了，場(chǎng)景不存在了,，給另一個(gè)公司直接就吃掉了，所以這個(gè)問(wèn)題不止國(guó)內(nèi),，全球都有這個(gè)問(wèn)題,。

駱軼航：叫This model is eating native APP。

吳海波：今天如果要做應(yīng)用,，繞不開(kāi)什么是native APP,，這個(gè)東西我肯定是沒(méi)有共識(shí)答案給你,，但我腦子里可能有一些什么不是，大概是這個(gè)意思,。

關(guān)于中國(guó)的基礎(chǔ)模型,，我覺(jué)得現(xiàn)在是非常make sense可以理解，整個(gè)基礎(chǔ)模型是要去爭(zhēng)一些東西,，這么多大廠他們有資源,，相關(guān)有資源的人肯定要投入到這個(gè)事情上拿到一個(gè)票，現(xiàn)在我們國(guó)家,，至少?lài)?guó)內(nèi)最好的技術(shù),、最好的資源都在做這件事情，make sense,，從年初到現(xiàn)在看到他們的測(cè)試,，我們按我們自己的場(chǎng)景去測(cè)，它持續(xù)進(jìn)步是很快的,，只是對(duì)應(yīng)用的來(lái)講,，這個(gè)東西一定會(huì)成為應(yīng)用行業(yè)的β，整個(gè)行業(yè)的β就像移動(dòng)互聯(lián)網(wǎng),，整個(gè)移動(dòng)互聯(lián)網(wǎng)的β不停變好的時(shí)候所有人受益,，我做應(yīng)用的要思考的點(diǎn)是我是不是α，如果我不是α,，我做的事情是給β那我就完蛋了,，所以我們核心是想什么是α、什么是β,？但是講了這么多好像沒(méi)有什么結(jié)論,，我想說(shuō)的點(diǎn)跟前面兩位嘉賓是類(lèi)似的，你要?jiǎng)邮?，你?dòng)了手你才知道foundation model的邊界在哪里,，你才知道你的客戶(hù)是怎么給你反饋的，你坐在這里思考非常哲學(xué)的問(wèn)題,，因?yàn)檫@些東西我們做應(yīng)用很多做產(chǎn)品經(jīng)理出身的人非常喜歡在哲學(xué)層面上去做很多這樣的探討,、邏輯對(duì)應(yīng)，可以討論得非常形而上,，但是落不了地的時(shí)候你沒(méi)有感覺(jué),，一定要把自己的手弄臟才會(huì)有感覺(jué)、才會(huì)進(jìn)來(lái),，我覺(jué)得這是一個(gè)非常關(guān)鍵的點(diǎn),。所以我是比較認(rèn)同我們是一定要實(shí)踐出真知的。

駱軼航：總結(jié)一下四位,，應(yīng)賽和海波客觀地強(qiáng)調(diào)了現(xiàn)實(shí),、現(xiàn)狀其實(shí)對(duì)應(yīng)用造成的一些挑戰(zhàn),，我覺(jué)得兩位講的第一個(gè)觀點(diǎn)某種程度上我也是同意的，基礎(chǔ)模型,，基礎(chǔ)模型的話,，比如說(shuō)它是GPT4，你是另外一個(gè)類(lèi)似的東西,，你是另外一套基礎(chǔ)模型,，其實(shí)如果你們之間有差異是會(huì)影響，這個(gè)東西其實(shí)某種意義上延緩或者阻遏了我們中國(guó)的這些產(chǎn)品經(jīng)理的產(chǎn)品感和產(chǎn)品能力,，某種程度上被這個(gè)東西所影響,，其實(shí)現(xiàn)在應(yīng)用更容易被吃掉，更容易被base model的某一部分能力吃掉,，當(dāng)然移動(dòng)互聯(lián)網(wǎng)早期也有這樣的事情,，但是我們發(fā)現(xiàn)這個(gè)東西更容易被吃掉，這是一個(gè)現(xiàn)實(shí),。

但是各位談到另外一個(gè)話題也很重要,，就是動(dòng)手，第一個(gè)就是基礎(chǔ)模型有差距,，但它其實(shí)趕的速度蠻快,，這個(gè)我不得不承認(rèn)，過(guò)去一年,，我們就不說(shuō)小的開(kāi)源模型了,，大的模型我們說(shuō)陪伴模型，我天天玩陪伴,，它的進(jìn)步我還是非常有感知的,，文心一言的進(jìn)步你是肉眼可見(jiàn)幾個(gè)月一次進(jìn)步的，智普跟百川同一個(gè)道理,。

另外一個(gè)product market這個(gè)東西是靠動(dòng)手試出來(lái)的,，它不是靠大家想出來(lái)的，不動(dòng)手就能有這個(gè)東西的,，我覺(jué)得不是,。

對(duì)話主題:“‘百模大戰(zhàn)’之后，預(yù)見(jiàn)行業(yè)新生態(tài)”

對(duì)話嘉賓：零一萬(wàn)物黃文灝,、通義千問(wèn)林俊旸,、HuggingFace王鐵震、新浪微博張俊林,，一同激辯行業(yè)生態(tài),。

主持人：硅星人/品玩CEO駱軼航

過(guò)去一年開(kāi)源社區(qū)對(duì)大模型的發(fā)展真的有貢獻(xiàn)么,？

對(duì)話嘉賓：HuggingFace工程師王鐵震、新浪微博新科技術(shù)研發(fā)負(fù)責(zé)人張俊林,、零一萬(wàn)物Yi預(yù)訓(xùn)練負(fù)責(zé)黃文灝,、通義千問(wèn)開(kāi)源負(fù)責(zé)人林俊旸

駱軼航：特別榮幸今天能夠來(lái)主持知乎AI先行者沙龍，剛才聽(tīng)了汪玉教授和張拳石教授兩場(chǎng)分享,，聊得我心情有點(diǎn)沉重,，這個(gè)挺正常的，每次我參加活動(dòng)的心態(tài)都是這樣的,，帶著特別樂(lè)觀的情緒來(lái),，自己本身也是大模型的樂(lè)觀主義者，每次聊著聊著就會(huì)發(fā)現(xiàn)其實(shí)困惑很多,、挑戰(zhàn)很多,，辦法是不是比挑戰(zhàn)多其實(shí)并不知道。其實(shí)這兩場(chǎng)聊下來(lái),，汪玉教授其實(shí)更多的是從算力,、硬件、成本的角度去思考這個(gè)問(wèn)題,，有很多問(wèn)題我們今天看到問(wèn)題擺在這兒是不是有解我們不知道,。

神經(jīng)網(wǎng)絡(luò)能夠在多大程度上解決大模型的真正存在的幻覺(jué)問(wèn)題、準(zhǔn)確性問(wèn)題,、擬合如何去做,？這個(gè)也是我們每天都在探討的問(wèn)題。我們今天要聊“百模大戰(zhàn)”遇見(jiàn)行業(yè)新生態(tài),，“百模大戰(zhàn)”本身這個(gè)事情我們應(yīng)該怎么來(lái)看,？這是一個(gè)好事還是一個(gè)有疑問(wèn)的事？我覺(jué)得這個(gè)事實(shí)本身就是有待討論的,?！坝鲆?jiàn)行業(yè)新生態(tài)”，現(xiàn)在的行業(yè)一年下來(lái)了有沒(méi)有新生態(tài),？這個(gè)生態(tài)新不新,？還是說(shuō)我們跟去年一樣還在一個(gè)舊生態(tài)里面，本身也很有意思,。

在座的四位其實(shí)我仔細(xì)看了看,，張俊林其實(shí)觀察的角色更多一點(diǎn)，我本身我的工作是信息跟資源的二道販子,，內(nèi)容,、社區(qū)、媒體，科技類(lèi)的新媒體和社區(qū)本身就是二道販子,，其實(shí)我更是一個(gè)觀察者,。中間三位仔細(xì)一看就很不幸，基本都在搞開(kāi)源,，我不是說(shuō)搞開(kāi)源很不幸,，我就是說(shuō)

其實(shí)過(guò)去一年非常有意思，包括我們?cè)谥袊?guó)討論“百模大戰(zhàn)”的時(shí)候,，其實(shí)我覺(jué)得某種程度上來(lái)說(shuō),，我們很大程度上是在一個(gè)開(kāi)源社區(qū)，或者在一個(gè)開(kāi)源工程的環(huán)境里去討論,。

國(guó)內(nèi)任何一個(gè)做大模型的公司,，包括頭部的巨頭其實(shí)也都至少號(hào)稱(chēng)自己是開(kāi)源社區(qū)的貢獻(xiàn)者，基本上是這樣一個(gè)情況,。但是過(guò)去一年其實(shí)我們看到的一個(gè)狀況其實(shí)是一些全球的頭部的閉源的大語(yǔ)言模型吸引了人們最多的眼球,，事實(shí)上創(chuàng)造了最多的使用量和用戶(hù)量，以及產(chǎn)品化的進(jìn)度是非?？斓?。

開(kāi)源領(lǐng)域，我們看到了那么多大語(yǔ)言模型,，也有很多使用量和下載量,，其實(shí)輿論作為一個(gè)新生態(tài)它是不是真的存在？或者說(shuō)它本身真正地對(duì)大語(yǔ)言模型快速地落地和產(chǎn)品化到底有多大的貢獻(xiàn),？其實(shí)有的時(shí)候我還是蠻懷疑的,。包括6月底7月初LLaMA 2發(fā)布，國(guó)內(nèi)也有一些人基于LLaMA 2做一些成果,，全球也有很多人用它在做,，好像現(xiàn)在也出現(xiàn)了一些瓶頸、也出現(xiàn)了一些問(wèn)題,。所以第一個(gè)問(wèn)題我還是想先請(qǐng)教各位,，大家怎么看過(guò)去一年全球也好、中國(guó)也好,，整個(gè)基于開(kāi)源的這個(gè)生態(tài),，除了LLaMA這個(gè)東西之外，我們看到有哪些真正對(duì)整個(gè)大語(yǔ)言模型向前發(fā)展有重要意義的突破,？還是說(shuō)開(kāi)源搞了一年,，事實(shí)上對(duì)于大語(yǔ)言模型的落地和發(fā)展來(lái)說(shuō)是在自嗨了？

“少量的高質(zhì)量的數(shù)據(jù)對(duì)于訓(xùn)練一個(gè)模型是非常重要的,，閉源反而推動(dòng)了開(kāi)源本身再去做一些新的突破和嘗試”

張俊林：我特別支持開(kāi)源這個(gè)形態(tài),。我認(rèn)為從去年年初到現(xiàn)在，開(kāi)源對(duì)于我們對(duì)大模型的認(rèn)知、了解,，包括對(duì)整個(gè)生態(tài)落地的繁榮,，有很大的促進(jìn)作用。我們首先說(shuō)對(duì)大模型的認(rèn)知,，對(duì)我來(lái)說(shuō),，我印象最深的過(guò)去一年有兩個(gè)進(jìn)展,，我講一下我的看法,。

第一個(gè)看法，我們叫大語(yǔ)言模型分兩個(gè)階段,，預(yù)訓(xùn)練,、加一個(gè)post training，SFT,，instruction tuning,，就是讓大模型更能理解命令。經(jīng)過(guò)一年的研究我們認(rèn)為第一階段的結(jié)論沒(méi)有大的變化,，還是推大模型,、增加數(shù)據(jù)規(guī)模質(zhì)量，這個(gè)沒(méi)有大的變化,。

怎么把第二階段做好我認(rèn)為基本摸透了,。基于開(kāi)源得出的大方向,，用更少,、更高質(zhì)量的數(shù)據(jù),，大模型就能更好地理解你的命令,。這意味著說(shuō)對(duì)于我們來(lái)說(shuō)，真正有能力去做的企業(yè)全球范圍很少,，對(duì)于我們沒(méi)有能力去做的其實(shí)可以把精力花在這一部分,，怎么能做得更好。

駱軼航：俊林老師,，我能不能這么理解,，其實(shí)對(duì)于很多訓(xùn)練者來(lái)說(shuō)，數(shù)據(jù)本身比模型重要,？

張俊林：我覺(jué)得現(xiàn)在可以下這個(gè)結(jié)論,。包括基座其實(shí)也是這樣的，數(shù)據(jù)質(zhì)量比數(shù)量重要得多,。

第二個(gè)我印象最深的,，就是過(guò)去一年的進(jìn)展，我感觸最深的一直從大模型出現(xiàn)開(kāi)始，我一直問(wèn)自己這樣一個(gè)問(wèn)題,，我們能不能做小模型,？我現(xiàn)在比較主觀地判斷，我們應(yīng)該去做這件事,，我相信2024年大概率會(huì)推出這種小模型,，它的效果已經(jīng)非常好。

駱軼航：現(xiàn)在已經(jīng)有了,。

張俊林：現(xiàn)在已經(jīng)有了,，比如微軟，包括Mistral ,，效果其實(shí)不差,。過(guò)去一年開(kāi)源這件事的貢獻(xiàn)是什么呢？我認(rèn)為有兩個(gè)：一是證明它是可行的,，二是它指出了路徑,。從數(shù)據(jù)質(zhì)量來(lái)說(shuō)，我可以把模型規(guī)模推得很小,，但是我要用更多的高質(zhì)量的數(shù)據(jù)，這個(gè)量也不用特別大，我還可以保證這個(gè)小模型效果還是不錯(cuò)的,。當(dāng)然現(xiàn)在目前這個(gè)階段小模型的水準(zhǔn)跟GPT4肯定還是沒(méi)法比,，但是我們?nèi)绻汛竽Ｐ湍芰Σ鸾枰幌?，你?huì)發(fā)現(xiàn)將來(lái)我們做小模型是非常樂(lè)觀的,。如果把大模型拆一下,，可以把大模型三種能力理解得特別重要，第一種是語(yǔ)言能力,，小模型哪怕你再小,，1B的,、2B的沒(méi)有問(wèn)題，和大模型比,、和自動(dòng)駕駛這個(gè)等級(jí)比沒(méi)有任何問(wèn)題,，語(yǔ)言模型小模型沒(méi)有任何問(wèn)題，已經(jīng)追上了,。

知識(shí)獲取能力原則上應(yīng)該是模型越大越好,。如果說(shuō)小模型再加外掛知識(shí)庫(kù),，其實(shí)它的知識(shí)能力不一定比大模型差,。

小模型缺陷在推理能力。未來(lái)一年如果我們有辦法能夠打破這個(gè)障礙,，把小模型的推理能力提上去,，在2024年應(yīng)該能看到小規(guī)模的模型的效果可能不一定比閉源的大模型差，這兩點(diǎn)是我最近一年體會(huì)最深的兩個(gè)點(diǎn),。

駱軼航：簡(jiǎn)單總結(jié)一下，一個(gè)是少量的高質(zhì)量的數(shù)據(jù)對(duì)于訓(xùn)練一個(gè)模型的重要性,，哪怕你對(duì)于大部分沒(méi)有能力,，沒(méi)有辦法從基座去做的。第二個(gè)小語(yǔ)言模型的普適性,，尤其是小語(yǔ)言模型在推理能力方面如何能夠?qū)崿F(xiàn),，至少在某些方面,，或者某一個(gè)維度,、某一個(gè)領(lǐng)域和大模型不相上下的一個(gè)效果。

“開(kāi)源提供了多樣性，有更多的選擇”

王鐵震：開(kāi)源提供了多樣性，有更多的選擇,。模型的效果來(lái)看,，閉源模型是一定比開(kāi)源模型好的,。如果閉源模型它是收費(fèi)的,，它要向用戶(hù)收費(fèi)，它還沒(méi)有一個(gè)外面大家隨便就能在HuggingFace上下載的免費(fèi)模型好,，那這個(gè)閉源公司它也運(yùn)作不下去的,，而且開(kāi)源模型不管我們?cè)谶@兒做什么樣的創(chuàng)新，它是開(kāi)源的,，它的東西是發(fā)paper大家都知道,，閉源這些公司它可以去吸取里面好的地方用在它的模型里面，但是閉源模型它用的什么技術(shù)，開(kāi)源這邊可能不知道的，如果他不寫(xiě)paper,。

駱軼航：他們現(xiàn)在基本都不發(fā)paper了,。

ChatGPT出來(lái)之后,，對(duì)行業(yè)來(lái)講是一個(gè)好的事情。行業(yè)AI這些年都是開(kāi)源推動(dòng)的,。直到GPT3出現(xiàn),，大家說(shuō)我花了幾百萬(wàn)、幾千萬(wàn)去訓(xùn)練一個(gè)模型，我為什么要把它開(kāi)源？除了我們?nèi)ψ右酝獾娜?，?duì)文本模型沒(méi)有那么多關(guān)注的,，其實(shí)大家是不愿意去開(kāi)源,，那個(gè)時(shí)候開(kāi)源我感覺(jué)都有點(diǎn)停滯了，我甚至都有點(diǎn)擔(dān)心。

GPT4一出來(lái)之后大家就更擔(dān)心了,，對(duì)話模型比以前的文本模型做的能力更強(qiáng),，對(duì)話的模型又出來(lái)，感覺(jué)里面有很多黑科技我們都不知道,，我感覺(jué)過(guò)去一年,，年初的時(shí)候開(kāi)源還是比較沮喪的這么一個(gè)狀態(tài)，但是經(jīng)過(guò)這一年的發(fā)展,，我感覺(jué)開(kāi)源這個(gè)活力又回來(lái)了,，大家又開(kāi)始愿意去開(kāi)源很多模型，愿意去把自己的知識(shí)貢獻(xiàn)出來(lái),。大家形成合力了,，每個(gè)人可以去探索不同的方向，有的人可以做預(yù)訓(xùn)練,、去調(diào)數(shù)據(jù),，有的人可以做微調(diào)，甚至把模型做小,，做在不同的硬件上面,，你提供了比ChatGPT一個(gè)公司、OpenAI一個(gè)公司在這個(gè)領(lǐng)域進(jìn)化快得多的一個(gè)能量,，所以我覺(jué)得開(kāi)源還是在這個(gè)領(lǐng)域做了非常多有價(jià)值的工作,。

但你說(shuō)單靠開(kāi)源一個(gè)產(chǎn)品，它的技術(shù)能力肯定是跟閉源有差距的,，它的產(chǎn)品肯定也是有差距的,，畢竟開(kāi)源就是一個(gè)網(wǎng)上大家能下載的東西,，還是需要一個(gè)商業(yè)公司花很多模型之外的能力去把它變成一個(gè)非常好的產(chǎn)品，這都很正常,，這兩個(gè)其實(shí)是互相促進(jìn)的,，閉源打在前面，開(kāi)源后面去追,，大家一起去把這個(gè)領(lǐng)域去做得更深,，讓更多的人把這個(gè)技術(shù)用起來(lái)。

駱軼航：其實(shí)反而我剛才聽(tīng)到一個(gè)觀點(diǎn)我覺(jué)得還蠻有意思的,，反而是閉源的大模型這一兩年,，2022年底到2023年進(jìn)展其實(shí)反而推動(dòng)了開(kāi)源本身再去做一些新的突破和嘗試。

王鐵震：因?yàn)殚_(kāi)源一開(kāi)始還是我們小圈子自嗨,，閉源的公司真正讓普通人了解到我們到底在做什么,，然后讓我們的工作變得更有意義。

駱軼航：HuggingFace是受益者毫無(wú)疑問(wèn)是嗎,？

王鐵震：對(duì),，沒(méi)錯(cuò)。

“開(kāi)源讓大家的熱情更高”

駱軼航：我們聊了HuggingFace這個(gè)受益者,，我們看看通義千問(wèn),，通義是開(kāi)源人類(lèi)歷史上參數(shù)最大的一個(gè)開(kāi)源模型對(duì)嗎？我能這么說(shuō)嗎,？

林俊旸：其實(shí)也不算,，F(xiàn)alcon其實(shí)更大。

駱軼航：那其實(shí)我想聊聊,，俊旸聊一聊開(kāi)源的事吧,，從過(guò)去一年有什么成就？從你們這個(gè)角度,。

林俊旸：駱老師總是提非常敏感的問(wèn)題,，開(kāi)源是否造成虛假繁榮這個(gè)現(xiàn)象，其實(shí)剛才鐵震的回答我覺(jué)得他是想逼我放更強(qiáng)的模型到他們社區(qū),。

駱軼航：他就希望所有人都做雷鋒嘛,。

林俊旸：開(kāi)閉源是一個(gè)選擇，閉源模型比開(kāi)源模型更強(qiáng)是不是成立,，我其實(shí)是打問(wèn)號(hào)的,。我們今天在談的是OpenAI和非OpenAI是這個(gè)差距?？赡芪矣悬c(diǎn)暴論,，我個(gè)人感覺(jué)像Gemini AI和Claude的話，我覺(jué)得還是非常有信心,，單從語(yǔ)言模型來(lái)說(shuō),，多模態(tài)就另說(shuō)了,。

駱軼航：你是說(shuō)我們搞不了OpenAI，我們還超不過(guò)GeminiAI和Claude嗎,？是這個(gè)意思嗎？

林俊旸：至少有戲,，至少在很多場(chǎng)合里面還是有來(lái)有回的,。

駱軼航：你指的是通義嗎？

林俊旸：我不能拿我自己來(lái)說(shuō),。我覺(jué)得好多模型都做得不錯(cuò),，可能是部分方面的，之前我們可能會(huì)有一些部分方面,，甚至有一些是部分地超越GPT4,，但是大家始終感覺(jué)跟GPT4的差距還是很大,。大家看國(guó)內(nèi)的模型，開(kāi)源也好,、閉源也好,，其實(shí)不用3.5，用AI會(huì)更好,，跟GPT4可能有一些差距,。

上半年的時(shí)候,，我覺(jué)得差距跟Claude還比較有差距,，下半年我感覺(jué)差距在縮小。我跟做開(kāi)源模型的國(guó)外的人去聊,，像Upstage他們其實(shí)更加有信心,，我在他們的講座說(shuō)我們跟OpenAI可能還有一年的差距。他說(shuō)你說(shuō)得不對(duì),，我也有很多OpenAI的朋友,，我覺(jué)得就半年的差距，他非常有信心,。

我們現(xiàn)在在做開(kāi)源模型,，說(shuō)實(shí)話我是開(kāi)閉源同行。剛才鐵震說(shuō)的我是認(rèn)同的,，有最強(qiáng)的貨肯定得留著,，我得活著賺錢(qián)呀。能把開(kāi)源打出去,，我肯定更有信心能更好一些,。

開(kāi)源對(duì)我來(lái)說(shuō)幫助我們這個(gè)團(tuán)隊(duì)很大的一個(gè)點(diǎn),，上半年通義千問(wèn)已經(jīng)出來(lái)了，但是很少人在討論通義千問(wèn),，你能明顯地感覺(jué)到,，在那個(gè)時(shí)候大家會(huì)覺(jué)得說(shuō)通義千問(wèn)是一個(gè)搜索的模型，但是到了今年這一個(gè)時(shí)候,，也許我有點(diǎn)大言不慚,，但是我至少能跟大家坐到這個(gè)臺(tái)上來(lái)發(fā)表我剛才的這個(gè)暴論，我覺(jué)得一定程度上我們這個(gè)團(tuán)隊(duì)還是成功了那么一點(diǎn)點(diǎn),。

我們其實(shí)在做閉源的時(shí)候,，我們當(dāng)時(shí)把問(wèn)題看得太簡(jiǎn)單，因?yàn)槿绻阕屑?xì)分析,，你可能就會(huì)得出結(jié)論說(shuō),，大模型無(wú)非是幾個(gè)問(wèn)題，數(shù)據(jù),、算力,、模型、參數(shù),，我們傳統(tǒng)大廠一想就說(shuō)這事我適合,，那我就做唄，我做閉源肯定能把這些搞垮,，這些創(chuàng)業(yè)公司不可能搞得過(guò)我們,，但是到年初的時(shí)候你看到ChatGPT也好、百川也好,，其實(shí)大家非常熱鬧地去做了很多東西,。

我覺(jué)得開(kāi)源是造福了全社會(huì)，讓大家熱情更高,，能把更好的技術(shù)給弄出來(lái),。所以我們當(dāng)時(shí)也嘗試說(shuō)我們開(kāi)源出去會(huì)不會(huì)更好？我們開(kāi)出去就發(fā)現(xiàn)了很多問(wèn)題,，用戶(hù)會(huì)反饋說(shuō)這個(gè)模型可以這樣優(yōu)化,、哪方面優(yōu)化，這些意見(jiàn)一回來(lái)我們知道原來(lái)我們自己的評(píng)測(cè)還不能覆蓋好自己做的這個(gè)事情,，我們能做更好的模型,。我也看到有了這些基座模型之后，研究院們做了很優(yōu)秀的工作,，包括現(xiàn)在在年初的時(shí)候,，大家看到OpenAI覺(jué)得非常羨慕，它能做RLHF,，然后大家就去盲目地跟風(fēng)RLHF,，鐵定是失敗的,，這個(gè)不用說(shuō)，因?yàn)槲覀儓F(tuán)隊(duì)已經(jīng)失敗了8個(gè)月,。

駱軼航：你們失敗了8個(gè)月,，發(fā)布通義之后就失敗了？

林俊旸：我是說(shuō)RLHF這項(xiàng)技術(shù),，因?yàn)槟阃ㄟ^(guò)SAD的話,，你一定能煉造一個(gè)對(duì)標(biāo)ChatGPT的模型，無(wú)非就是強(qiáng)和弱的問(wèn)題,，但是你想讓它更上一層樓，肯定得上RLHF嘛,，但是你看RLHF的技術(shù)很多的,，就包括DPO大家做得更細(xì)，大家發(fā)現(xiàn)說(shuō)原來(lái)我可以很穩(wěn)定地做很好,。然后有些高手玩PPO玩得好的,，他PPO他也能玩出花來(lái)，但是這個(gè)事情如果說(shuō)閉源的公司自己內(nèi)部去做我必須得承認(rèn)一個(gè)事情,，你得看你自己的人才密度有沒(méi)有OpenAI這么高,，你才能去談這個(gè)閉源的問(wèn)題。如果你認(rèn)為你的團(tuán)隊(duì)人才密度足夠高的話,，你可以賭這一把,，說(shuō)實(shí)話跟學(xué)界的合作和學(xué)習(xí)讓我們自己的進(jìn)步非常大。我們自己的效果提升不是說(shuō)我們自己強(qiáng),，而是說(shuō)我們真的跟開(kāi)源社區(qū),、跟學(xué)界大家發(fā)paper這些人學(xué)了很多的東西。

接下來(lái)如果我們作為開(kāi)源的,，一個(gè)是開(kāi)更好的節(jié)奏模型讓大家去用,，我們還要做一件事情，讓大家怎么用得更爽,，學(xué)界的人完全可以跟我們有更多的合作,，今天我非常感謝HuggingFace，如果沒(méi)有HuggingFace的話,，今天大家根本不可能用大模型用得這么爽的,。

駱軼航：你不感謝你們自己的ModelScope嗎？

林俊旸：ModelScope這是第二個(gè)問(wèn)題,，我待會(huì)兒,。

駱軼航：我一直不確定你能不能代表ModelScope說(shuō)話主要是？

林俊旸：我算是友情代言,，我一定程度上我也能說(shuō),，但是我們ModelScope跟HuggingFace的合作也非常多,，待會(huì)兒我們連還可以互動(dòng)在聊一下ModelScope的這個(gè)問(wèn)題。

駱軼航：我建議這一次一定要把你們倆放在一起,，就是想看這個(gè)。

有了這些事情之后,，大模型已經(jīng)越來(lái)越平民化,，據(jù)我所知，中專(zhuān)的學(xué)生已經(jīng)在學(xué)習(xí)大模型,，普惠這件事情非常好，每個(gè)人都非常有創(chuàng)造力,，大家都有創(chuàng)造力這個(gè)社區(qū),、這個(gè)行業(yè)才能發(fā)展得快，有了這個(gè)以后學(xué)界和業(yè)界真的能夠發(fā)展得好,，大家分清好自己的職責(zé)有好了,。這是我的一些暴論。

駱軼航：簡(jiǎn)單總結(jié)一下這個(gè)暴論,，第一個(gè)就是說(shuō)開(kāi)源模型做得好的話,，我干不了ChatGPT,，我還干不了Claude和Gemini AI嗎？這是暴論一,。

暴論二，其實(shí)大廠們,，以阿里為代表之一的大廠們，其實(shí)不光廠,，創(chuàng)業(yè)公司你剛才講的我左手搞開(kāi)源,、右手懷里揣著一個(gè)更大的閉源,，這個(gè)典型的還不是阿里,，這個(gè)典型的分明是百川跟智譜，其實(shí)大家都在走這條路,，這條路就是給自己留一條商業(yè)化的活路,，同時(shí)把能開(kāi)源的部分基本上能開(kāi)源出去，繁榮社區(qū),、繁榮一個(gè)人同時(shí)讓自己做得很好,，這個(gè)是一個(gè)基本的路，大廠基本上都在干這個(gè)活,。

“整個(gè)開(kāi)源社區(qū)給應(yīng)用生態(tài)創(chuàng)造了很大的價(jià)值”

駱軼航：從零一的角度來(lái)去看,，本身我們也是開(kāi)源社區(qū)的受益者，從這個(gè)角度到底有什么意義,？對(duì)一個(gè)其實(shí)已經(jīng)正經(jīng)干活干了七八個(gè)月的大模型創(chuàng)業(yè)公司來(lái)說(shuō)怎么看待這個(gè)問(wèn)題？

黃文灝：我先說(shuō)一下我對(duì)“百模大戰(zhàn)”的看法,，我覺(jué)得其實(shí)模型要分成兩個(gè)部分,，一個(gè)是 pre model，就是基礎(chǔ)模型,，后面都是 post train，就是 continue training,，SFT都是屬于后面的部分,，其實(shí)前半部分真正做training基礎(chǔ)模型從頭用數(shù)據(jù)開(kāi)始好好做訓(xùn)練的其實(shí)并沒(méi)有特別多，過(guò)去一年大家都加一塊可能十個(gè),？十幾個(gè)模型吧,，全球加在一塊，大概也就這樣一個(gè)量,。

我們?nèi)绻约鹤鲞^(guò)就知道train一個(gè)模型,，不管再小，7B,、13B可能也是幾百萬(wàn)的錢(qián),。因?yàn)槲覀儸F(xiàn)在在train比較大的模型，就知道這個(gè)錢(qián)的開(kāi)銷(xiāo)是很恐怖,，所以這個(gè)事情不是傳統(tǒng)意義上的開(kāi)源社區(qū)可以做的,，而且很多開(kāi)源是說(shuō)大家合起來(lái)來(lái)自不同組織的人去train一個(gè)模型，這個(gè)事情在pre train階段是很難做到的,。

另外一部分是 post train,，就是在SFT continue training我們有了以前出來(lái)的模型，比如說(shuō)像LLaMA,，英文有LLaMA,，中文比如說(shuō)通義，我們有些模型,，這些模型在國(guó)外有很多的開(kāi)發(fā)者基于我們的模型,，他們花很少的成本,，比如我說(shuō)去準(zhǔn)備幾千條SFT數(shù)據(jù)，用LLaMA那種方式,，我可能幾美金,、幾千美金就可以用一個(gè)很好的模型，我不贊成他們應(yīng)該被稱(chēng)作“百模大戰(zhàn)”,，做了一些SFT以后又可以叫一個(gè)新的名字,，這個(gè)其實(shí)是繁榮了很多行業(yè)的開(kāi)發(fā)者。

開(kāi)源模型的應(yīng)用,，往下沉來(lái)看,， ChatGPT它很大，它有幾億用戶(hù)這樣的量在里面,，其實(shí)有很多應(yīng)用它已經(jīng)開(kāi)始用開(kāi)源模型做了,，它只要能適應(yīng)它的那個(gè)場(chǎng)景，就是到 technical product fit我可以把成本壓下來(lái),，我可以自己去做scalation,，我可以自己去做量化。在這種情況下,，其實(shí)是有大量的比如說(shuō)一個(gè)應(yīng)用它有幾萬(wàn)用戶(hù),、幾十萬(wàn)用戶(hù)，但這樣的用戶(hù)應(yīng)用的量其實(shí)是很大的,。

再回到剛才駱老師的問(wèn)題,，我覺(jué)得也可以 Echo一下，之前我們也會(huì)有一些風(fēng)波吧,。

駱軼航：是你主動(dòng)要談的啊,。

黃文灝：沒(méi)關(guān)系，我覺(jué)得早晚還是要談一下,，剛才我記得汪老師的PPT里面有一句話,，叫架構(gòu)借鑒LLaMA，我可以簡(jiǎn)單說(shuō)一下LLaMA的paper里面,，關(guān)于Architecture 的部分其實(shí)就很短,，大概四分之一頁(yè)吧，它第一句話叫Rebased on GPT herb Transformer Architecture leveraged various improvements,。第一個(gè)他用了pre-norm,，這個(gè)是GPT3用的，它也注了,。第二個(gè)是 swi-GLU,，然后這個(gè)是palm用的，第三個(gè)是rotary，這個(gè)是 GPT near S5用的,，只有這三個(gè),，其他都跟Transformer一樣，但這三個(gè)也是大家普遍在用的,，所以很多人說(shuō)LLaMA的架構(gòu)讓國(guó)內(nèi)的大模型訓(xùn)練有了希望，這一點(diǎn)我是不認(rèn)同的,。我覺(jué)得大家都知道，因?yàn)門(mén)ransformer就長(zhǎng)這樣,，它能變的地方很少,，我們都試過(guò)了，大家就會(huì)訓(xùn)練出一些很不錯(cuò)的模型,。

再回到開(kāi)源的問(wèn)題,，我們?cè)陂_(kāi)源上的確做得非常地不到位，改了一些變量,，我們也雇了開(kāi)源的經(jīng)理,，開(kāi)源的經(jīng)理今天也來(lái)了現(xiàn)場(chǎng)，后面也跟開(kāi)發(fā)者很頻繁地互動(dòng),，我覺(jué)得大家開(kāi)源就以比較規(guī)范的方式開(kāi)源,，后面我們也發(fā)現(xiàn)我們改回了LLaMA架構(gòu)以后突然變好了，很多國(guó)外的開(kāi)發(fā)者就可以用了,，基于我們的模型去做各種各樣的嘗試、微調(diào),，使更個(gè)開(kāi)源社區(qū)會(huì)非常繁榮,。我覺(jué)得我們的模型應(yīng)該是在國(guó)外的開(kāi)源社區(qū)里面用得最多的國(guó)內(nèi)的模型，就是我們最后還是沿用了LLaMA這個(gè)標(biāo)準(zhǔn)架構(gòu),，這一點(diǎn)也是一個(gè)很有意思的事情,。

而且我剛才看大家越來(lái)越多開(kāi)源的人都是這樣去做，整個(gè)生態(tài)其是也是在越變?cè)胶谩?/p>

駱軼航：我覺(jué)得文灝其實(shí)也釋放了兩個(gè)暴論,，第一個(gè)暴論就是其實(shí)沒(méi)有真正的“百模大戰(zhàn)”,、真正從基礎(chǔ)端能夠去train一個(gè)模型的,，十模大戰(zhàn)、二十模大戰(zhàn)到頭了在中國(guó),，其實(shí)不存在那個(gè)意義的“百模大戰(zhàn)”,。

第二個(gè)問(wèn)題當(dāng)時(shí)我聽(tīng)了之后我還是“嗯”了一下，其實(shí)就是說(shuō)LLaMA架構(gòu)的出現(xiàn)事實(shí)上繁榮了中國(guó)的基礎(chǔ)模型的生態(tài),，這個(gè)事其實(shí)本身不是這個(gè)道理，跟大家看到的其實(shí)并不是完全一樣的,。

黃文灝：對(duì)，我覺(jué)得大部分做技術(shù),，真正訓(xùn)練模型的覺(jué)得LLaMA其實(shí)沒(méi)有什么。