原文來源：硅星人

圖片來源：由無界 AI生成

1月6日，“知乎AI先行者沙龍”就熱點話題開啟兩場圓桌對談,，由硅星人/品玩CEO駱軼航對話眾多AI專家,。

對話主題:“AI落地進行時，讓創(chuàng)新真正觸手可及”

參與嘉賓：兔展智能董應賽,、網(wǎng)易伏羲游戲李樂,、WPS AI汪大煒、WeShop吳海波,。

主持人：硅星人/品玩CEO駱軼航

以下是對話內(nèi)容實錄：

中國的AI原生應用發(fā)展這么慢的原因是什么,？

駱軼航：感謝大家，剛才聽了行遠和博杰兩位老師講得非常好玩,，行遠其實每個東西做得看上去都跟大語言模型沒有關系,，其實這幾年脈絡是下來的，你無聊問答的那個東西做早了,，你晚四年到五年做那可能就是完全不同的一個場景,，其實我覺得特別有意思，他堅持一個路徑能做一些非常有意思的事,。

博杰老師特別有意思,，昨天我們幾個朋友在一起討論過這個問題，博杰老師把AI分成了有用和有趣兩類,，我們問你為什么不把智能,、可感知、可推理甚至做一些最重要的生成當作一個劃分呢,？他說這是一個基礎,、一個標準沒有這個我們談什么？我們是在這個基礎之上才去談有趣和有用這兩類,。

我還是做一個簡單的調(diào)研,，現(xiàn)在在場的同學們有多少人以為自己用過AI Agents？有多少人用過有用的Agent,？說白了幫你法律顧問,、財務顧問、文檔顧問,？有多少人用過有趣的Agent,，陪聊之類的，我特別擔心大家不用有趣的Agent,。

我進門的時候做那個測試,，你向左還是向右，向左是愿意接受AI的陪伴,，向右是不愿意,，我義無反顧地選擇了向左,，作為一個i人，我覺得不是一個E人,，我覺得如果可以不跟人溝通,，用AI陪伴我覺得也還蠻好的,。其實我覺得AI陪伴有用的維度我可能有一個觀點跟博杰老師不太一樣,，跟這個階段不太一樣。但是博杰老師是在做事,，我是在扯淡,，這是差別。

如果我們真的相信成本未來能夠降下來的話,，有趣一端能夠創(chuàng)造更大的價值,，因為這個世界大部分是有用的，他們也不會做很多的事情,，這是一個很有意思的事,，我們今天就落地去聊一聊AI的應用、AI的應用能夠產(chǎn)生,，我們怎么能夠盡快地去落地,，我們先上來給每個人拍一個磚，問每個人一個問題,。

過去也一年一些大佬拼命地去跟大家去講,，我們不要再去開發(fā)那么多模型了，“百模大戰(zhàn)”東西太多了,，趕緊開發(fā)應用吧,。但過去的一年事實上至少在國內(nèi)并沒有出現(xiàn)真正的所謂的native AI APP的大繁榮，一部分人還在卷模型,，普通人對AI應用很多時候可能無感,，可能少部分的AI應用，最近這一兩個月可能會有爬坡,。我相信現(xiàn)在有的人可能注意到豆包現(xiàn)在投放量蠻大,，有人人還用到了豆包、還用到了星野,，海外用戶可能大家都用Character AI,、包括用派、用AI等等,，但是其實整個應用在國內(nèi)沒有得到一個大的繁榮,，很多平臺也都推出了自己的工具包，希望開發(fā)者去開發(fā)應用,，好像也沒有那么多,，原因是什么,？是模型不行？還是什么原因,？大家的觀察,，我相信各位都在做，有基于國內(nèi)的基礎模型去做的,，也有基于海外的模型去做的,，大家能不能直言不諱地講講這個原因。

“底層模型做開發(fā)還是有差距,，是需要承認的”

董應賽：原來經(jīng)過這幾輪技術的更迭,，大家可能會通常有一個認識，覺得可能在中國移動互聯(lián)網(wǎng),，可能會更繁榮一點,，就是做應用這個事在中國更有熱情，大家更愿意去做,，而且用戶基礎也在這里,，覺得中國通常都會對做這件事情，或者說回到這個問題上開發(fā)AI APP的熱情以為會比美國更多一點,，我覺得這一次通用人工智能最重要的還是基礎的技術是不是做得很扎實,，這個應用的效果才能做得好,。

我自己的體會是因為我原來在Mate、在Facebook工作過幾年,，我一直跟我美國的朋友有交流,，其實是會發(fā)現(xiàn)國外它有一個跟中國最大的一個不同就是大家的人才密度其實還是更高、更集中一點,。比如說真的是OpenAI,、Google等三家人才密度是非常高的,，在資源、資金,、算力,，人才投入在相對集中的公司里面，做出來的模型確實是很好的,。比如說大家都在說是不是做了接近于GPT4的能力了,，剛才前一場沙龍的交流過程中聽到幾位專家的說法其實也比較有自信會覺得可能差距沒有那么大，但是我們自己的體驗在應用端,，要基于這些底層的模型來做一些開發(fā)的時候,，還是會覺得是有差距,，是要去承認的,。而且在國內(nèi)事實的情況是比較分散。

駱軼航：模型太多了是吧,？

董應賽：模型太多的,，人才不夠集中，僧多粥少,，哪怕在國外,、在美國做這些AI研究的公司中華人占比不低，國內(nèi)大家如果更集中一點這個事情是能做得比現(xiàn)在更好的,，大廠也想做,，也涌現(xiàn)了很多創(chuàng)業(yè)公司，資金也會比較分散,，可能后面我們再聊一些投資都有問題,。

回到根本的問題上，可能還是底層的模型,，至少我們現(xiàn)在感覺還是有一些差距的,。所以在這次AI這個浪潮里面跟之前的不同，比如說移動互聯(lián)網(wǎng)里面,，無論是抖音還是做社交平臺,，更依賴于底層的技術是不是成熟才能把一個應用給做好，我覺得這個是我想來分享的,。

“技術永遠沒有做到最好的時候,，但是我們卻可以在目前的技術條件下做出很好的產(chǎn)品”

李樂：我的想法可能會相反。我舉個例子,，當然這個是游戲里面的例子,，我昨晚也說過，2018年的時候,，我就把一個SQL TO SQL的模型放到游戲里面去,，那個能力大家能感知到的,，可能連個小學生的作文都寫不清楚，我們就很好地選擇了一個游戲里面的養(yǎng)育系統(tǒng)這樣一個場景,，就是現(xiàn)在游戲里面玩家生出來的那個小孩,，把對話AI加到小孩上面去，小孩的父母親就是那些玩家可以跟小孩進行聊天,。即使在這樣的2018年年底那樣一個技術水平下都有非常多的玩家跟他去進行聊天,，所以從我的角度來說，我覺得對做產(chǎn)品的人來說,，我覺得有更高的一個挑戰(zhàn),，就是我們要在現(xiàn)有的基礎情況下根據(jù)我們業(yè)務的場景去想我們應該去做什么樣的一個應用，所以我覺得我們做產(chǎn)品的人應該要有更多的思考和主觀能動性在里面,，所以這個應用的市場才能做得更好一點,，所以這是我的一個看法。

另外一個,，當然我覺得不要把它變成一個吐槽性質(zhì)的東西,，我們國內(nèi)的模型跟海外有多大的一個差距，我們看到從現(xiàn)在這個時間點來看,，大家已經(jīng)比去年上半年的時候信心足了很多了,，而且還在快速地研發(fā)的過程之中，各種性能也在不停地提升,。但這里面會涉及到很多的問題,，我覺得因為國內(nèi)還是會做得慢一些，特別是很多高質(zhì)量的開源的模型拿出來給市場的也慢一些,。

從我的角度來說,，我了解到很多的公司也看到了市場上面一些好的例子以后，他們也有所觸動,，也在做相關的一個東西,，我覺得站在游戲行業(yè)這個角度來說，可能在今年年中左右會有更多更好的應用出來,，它可能是一個時間窗口的問題,。

當然，我覺得還有一個問題就是目前來看AI還是很貴的,，就是你的研發(fā)很貴,，你的線上推理很貴，特別是在我們游戲的場景,。我們的QPS是非常大的,，游戲方承受的壓力也很大，大家游戲要做差異化，他們真的就是咬著牙跟我們一起做創(chuàng)新,，我們也希望這一塊算力的成本,，不論是我們訓練的成本還是我們在線推理的成本，都能夠盡快去降低,。

駱軼航：我特希望我們的嘉賓在臺上這么能夠打起來,，提供截然不同的看法，模型確實還是有問題,，人才我承認,，如果全球有一百人能做的，人家三家加起來占80個你確實很難受,，即便這樣的情況下模型還是有進步的空間,，做產(chǎn)品的人怎么能夠更快地具備AI的思維，我們那會兒老提互聯(lián)網(wǎng)思維,、移動互聯(lián)網(wǎng),，但是做產(chǎn)品要有AI的思維，用好自然語言,，打開他的想象力去做一些事,，昨天李樂老師秀了一個demo我就非常開心。接下來讓汪大煒聊一聊,，你們可以不講你們怎么進入的，你們可以講一點感受,。

“需要更多的工作來讓模型與用戶需求匹配起來,，用戶也在不斷學習如何更好地使用AI應用”

汪大煒：我講一下從去年到今年一共發(fā)生了什么事情，這個可以去解答為什么,，某一部分可以解答中國為什么做應用的人比較少,，我們很早就做AI了，我們2017年就開始做AI相關的事情,，但那時候CV,、語音這種場景的，還有翻譯校對,，去年12月我們就關注到GPT的事情,，關注到這個事情到底能不能做？真正啟動大概是2023年2月份,，當時整個公司開了一個會,，核心的骨干都在一起說這個事情，我們判斷這個事情可能會顛覆未來辦公的方式,，大家一定要投入到這個里面,，當時我們內(nèi)部兩千多號研發(fā)，所有人如果你今天不去聊天AI的事情，可能你就會逐步逐步被淘汰那種感覺就會很明顯,。

在那個時候我們就開始找包括國內(nèi)的,、海外的模型的服務商，因為其實我們其實本質(zhì)上不太做大模型,，我們更多的還是用戶場景里面找到用戶的場景,，去給用戶提供這樣的服務，所以我們找這樣的合作方說哪些服務是合作方可以給我們一起共創(chuàng),、一起支持,。海外的包括谷歌的、OpenAI我們也找了,，國內(nèi)的大家也看過包括 Mini Max這些,、百度我們都有相關的一些合作，然后我們就開始做兩件事情,，第一件事情是看用戶的場景里面有哪些是可以AI化去改造的,，因為我們覺得AI化改造之后是能給用戶帶來很強的或者很大的效率上的提升，那我就去找一些事情,，包括當時我們還去找了一些翻譯的專門做出版社的翻譯的老師,，包括去做一些用語言的事情，找哪些產(chǎn)品可以做到,。然后我們就發(fā)現(xiàn)了6月份發(fā)布會我們說了幾個方向,，比如說AIGC的方向、Copilot的方向和那個 inside方向,，我們在做這件事情的時候,，跟這些模型就開始說我們接進來，接進來我們調(diào),，看怎么樣可以接到這個場景里去,，那個時候整個行業(yè)里面的應用都是像對話式的交互方式的，我右側一個對話面板跟它說一個我的需求,，它幫我做完,，基本上是這樣子，我們朝著這個方向去努力,，模型方我的需求是這樣的,，辦公場景你給我做一些什么樣的適配，生成的大綱你給我做格式的標簽,，大模型里面沒有語料和訓練,，要把這些訓練項目加進去一起去訓練，讓它帶格式的屬性標簽出來,，方便我后面做數(shù)據(jù)的操作,，那個過程中6月份我們開了一個發(fā)布會告訴大家有這個事情可以做內(nèi)測的時候，當時我們的感覺是模型叫勉勉強強可以用，可以放進來,，這個完整的鏈路看上去可以完完整整地去使用,，大概是這種感受。

我們?nèi)?nèi)測過程中就發(fā)現(xiàn)了一些問題,，用戶在真正的辦公使用場景里面它的任務是一個復雜的任務,，不是一個簡單的單一任務，當我以一個指令的方式,，以一兩句話,，或者幾句話去讓他做這件事情的時候，他沒有辦法把這件事情一步一步猜出來,，而且這個上面每一個人的想法,、每個人需要改的地方都不一樣，我們上了一個月的內(nèi)測,，我們今天的產(chǎn)品在今天的WPS里面是有問題的,，我們后續(xù)不斷地去做修改。大家可以看到最早一些用戶右側瀏覽這種方式很舒服,，實際使用過程中我生成一個PPT難道里面的大綱內(nèi)容不改呢,？肯定要改，AI生成的內(nèi)容跟你想要的內(nèi)容是不是符合的,，沒有辦法一步到位,，你一定會去改這個東西、一定會去調(diào)整,，一定會去加進自己的東西,，一定會往后走，我們把AI整體的能力打散,，放到用戶功能流程里面每一個部分加持它，這樣的情況下你會感覺變得聰明,，整個過程中模型也會不斷地迭代,，真正到年底我們真正發(fā)公測的時候，這個模型是超過我們想象中的進步的,。雖然跟OpenAI還是有一定的差距,，跟3.5還是有一定的差距，但是你覺得我可以用這個,，我們用戶用他使用的數(shù)據(jù)告訴我,，他已經(jīng)真正地在用這件事情，有一部分已經(jīng)用到了他的整個生產(chǎn)環(huán)節(jié)里面去,，或者工作環(huán)節(jié)里面去,，這個是我們看到覺得未來一個比較好的方向，在未來可能1年多的時間里面我們認為還是這樣的方向在整個產(chǎn)品或應用層面的一個表現(xiàn)。

回到這個話題里面來說,，我覺得今天的國內(nèi)的基礎模型不是不能用,，也不是說很爛、很糟糕,，其實他們已經(jīng)在有些場景下,、有些應用的方向上有個很好的基礎在上面，只是我們真正地到了用戶的使用過程當中,，我們真的需要做很多的事情,，讓用戶的需求跟我模型的匹配能做起來。同時我們也看到用戶也在學習,，這是一個很關鍵的因素,，我們6月份之前，我們看到用戶其實在整個使用過程當中問問題,，跟現(xiàn)在問問題的質(zhì)量真的會有差別,。所以我覺得這兩個因素會慢慢逐步逐步地去改變大家去做AI的應用的部分的能力。

駱軼航：大煒你剛才講這些東西都可以寫個文章了,，上半場我們聊TPF,，TPF怎么去實現(xiàn)，俊旸講的吧,，鐵震和俊旸兩個人講的,，TPF這個事是試錯試出來的，這個就是典型的TPF的過程,，沒有人告訴你答案,，這個就是典型的TPF的過程，這個TPF的過程不僅是產(chǎn)品團隊自己的P怎么去適應這個不可知的T,，其實用戶也參與進來了,，我覺得這個過程實際上是一個特別特別有意思的過程，盡管這個東西跟一開始你們想的不一樣,，這個探索還是有價值的,，我也知道你們4月份的時候，我就跟慶元總去聊過,，當時的想法很美妙,、很樂觀，一年撲騰下來很多東西什么是能實現(xiàn)的,，什么是不能實現(xiàn)的,，大家有更清晰的認知，他這個特別好,，但是肯定要花時間,。

“現(xiàn)在的應用更容易被吃掉 動手才知道基礎模型的邊界在哪里”

吳海波：我們是最近一年AI應用中商業(yè)化走得比較順的,。我覺得這個問題可以拆成兩個問題相對討論。第一個問題是native的AI APP是什么東西,？

駱軼航：有這個東西嗎,？這個事存在嗎？現(xiàn)在每年沒有共識的概念,。

吳海波：剛才這個問題的討論是說這個APP的生態(tài)沒有起來,，這一撥跟上一撥有個巨大的區(qū)別，比如說以WeShop舉例,，我做一個電商行業(yè)的商拍,，就是把商家都是要上架到線上，需要一個商品,，讓AI可以做一個更有效率的事情,，所有人都會問一個問題，淘寶做了怎么辦,？抖音做了怎么辦,？拼多多做了怎么辦？那么你在中國這個環(huán)境下避免不了地要去討論這個問題,，你做native AI APP的生態(tài)的繁榮是不可能幾個大廠在那里搞幾個APP出來,，一定是靠千千萬萬的開發(fā)者沖進來，這個問題不只是有中國出來,，我記得11月份的OpenAI開發(fā)布會,，Twitter上有一個大V發(fā)了一篇推，OpenAI給我發(fā)了500美金的優(yōu)惠券拿走了我500萬美金是指的公司,，大概是這個意思,。我覺得中國我們以前的環(huán)境中大廠對我們的拷貝是另一個維度的東西，今天有一個維度的東西,，我特別喜歡我們剛才討論的是基礎模型,，公司用得比較多的是SD，SD不算大模型,，單機就可以跑起來,，它確實是foundation model，這個東西它在不停地吃掉一些應用層面的東西,，它天然就能做應用，所以這個時候native APP沒有火起來我覺得有很多很多開發(fā)者他是有顧慮的,，他覺得自己一輪下來一個創(chuàng)新的點子有可能再過半年,、一年東西沒有了，場景不存在了,，給另一個公司直接就吃掉了,，所以這個問題不止國內(nèi),，全球都有這個問題。

駱軼航：叫This model is eating native APP,。

吳海波：今天如果要做應用,，繞不開什么是native APP，這個東西我肯定是沒有共識答案給你,，但我腦子里可能有一些什么不是,，大概是這個意思。

關于中國的基礎模型,，我覺得現(xiàn)在是非常make sense可以理解,，整個基礎模型是要去爭一些東西，這么多大廠他們有資源,，相關有資源的人肯定要投入到這個事情上拿到一個票,，現(xiàn)在我們國家，至少國內(nèi)最好的技術,、最好的資源都在做這件事情,，make sense，從年初到現(xiàn)在看到他們的測試,，我們按我們自己的場景去測,，它持續(xù)進步是很快的，只是對應用的來講,，這個東西一定會成為應用行業(yè)的β,，整個行業(yè)的β就像移動互聯(lián)網(wǎng)，整個移動互聯(lián)網(wǎng)的β不停變好的時候所有人受益,，我做應用的要思考的點是我是不是α,，如果我不是α，我做的事情是給β那我就完蛋了,，所以我們核心是想什么是α,、什么是β？但是講了這么多好像沒有什么結論,，我想說的點跟前面兩位嘉賓是類似的,，你要動手，你動了手你才知道foundation model的邊界在哪里,，你才知道你的客戶是怎么給你反饋的,，你坐在這里思考非常哲學的問題，因為這些東西我們做應用很多做產(chǎn)品經(jīng)理出身的人非常喜歡在哲學層面上去做很多這樣的探討,、邏輯對應,，可以討論得非常形而上，但是落不了地的時候你沒有感覺,，一定要把自己的手弄臟才會有感覺,、才會進來,，我覺得這是一個非常關鍵的點。所以我是比較認同我們是一定要實踐出真知的,。

駱軼航：總結一下四位,，應賽和海波客觀地強調(diào)了現(xiàn)實、現(xiàn)狀其實對應用造成的一些挑戰(zhàn),，我覺得兩位講的第一個觀點某種程度上我也是同意的,，基礎模型，基礎模型的話,，比如說它是GPT4,，你是另外一個類似的東西，你是另外一套基礎模型,，其實如果你們之間有差異是會影響,，這個東西其實某種意義上延緩或者阻遏了我們中國的這些產(chǎn)品經(jīng)理的產(chǎn)品感和產(chǎn)品能力，某種程度上被這個東西所影響,，其實現(xiàn)在應用更容易被吃掉,，更容易被base model的某一部分能力吃掉，當然移動互聯(lián)網(wǎng)早期也有這樣的事情,，但是我們發(fā)現(xiàn)這個東西更容易被吃掉,，這是一個現(xiàn)實。

但是各位談到另外一個話題也很重要,，就是動手,，第一個就是基礎模型有差距，但它其實趕的速度蠻快,，這個我不得不承認,，過去一年，我們就不說小的開源模型了,，大的模型我們說陪伴模型,，我天天玩陪伴，它的進步我還是非常有感知的,，文心一言的進步你是肉眼可見幾個月一次進步的,，智普跟百川同一個道理。

另外一個product market這個東西是靠動手試出來的,，它不是靠大家想出來的,，不動手就能有這個東西的，我覺得不是,。

對話主題:“‘百模大戰(zhàn)’之后,，預見行業(yè)新生態(tài)”

對話嘉賓：零一萬物黃文灝、通義千問林俊旸、HuggingFace王鐵震,、新浪微博張俊林，一同激辯行業(yè)生態(tài),。

主持人：硅星人/品玩CEO駱軼航

過去一年開源社區(qū)對大模型的發(fā)展真的有貢獻么,？

對話嘉賓：HuggingFace工程師王鐵震,、新浪微博新科技術研發(fā)負責人張俊林、零一萬物Yi預訓練負責黃文灝,、通義千問開源負責人林俊旸

駱軼航：特別榮幸今天能夠來主持知乎AI先行者沙龍,，剛才聽了汪玉教授和張拳石教授兩場分享，聊得我心情有點沉重,，這個挺正常的,，每次我參加活動的心態(tài)都是這樣的，帶著特別樂觀的情緒來,，自己本身也是大模型的樂觀主義者,，每次聊著聊著就會發(fā)現(xiàn)其實困惑很多、挑戰(zhàn)很多,，辦法是不是比挑戰(zhàn)多其實并不知道,。其實這兩場聊下來，汪玉教授其實更多的是從算力,、硬件,、成本的角度去思考這個問題，有很多問題我們今天看到問題擺在這兒是不是有解我們不知道,。

神經(jīng)網(wǎng)絡能夠在多大程度上解決大模型的真正存在的幻覺問題,、準確性問題、擬合如何去做,？這個也是我們每天都在探討的問題,。我們今天要聊“百模大戰(zhàn)”遇見行業(yè)新生態(tài)，“百模大戰(zhàn)”本身這個事情我們應該怎么來看,？這是一個好事還是一個有疑問的事,？我覺得這個事實本身就是有待討論的?！坝鲆娦袠I(yè)新生態(tài)”,，現(xiàn)在的行業(yè)一年下來了有沒有新生態(tài)？這個生態(tài)新不新,？還是說我們跟去年一樣還在一個舊生態(tài)里面,，本身也很有意思。

在座的四位其實我仔細看了看,，張俊林其實觀察的角色更多一點,，我本身我的工作是信息跟資源的二道販子,，內(nèi)容、社區(qū),、媒體,，科技類的新媒體和社區(qū)本身就是二道販子，其實我更是一個觀察者,。中間三位仔細一看就很不幸,，基本都在搞開源，我不是說搞開源很不幸,，我就是說

其實過去一年非常有意思,，包括我們在中國討論“百模大戰(zhàn)”的時候，其實我覺得某種程度上來說,，我們很大程度上是在一個開源社區(qū),，或者在一個開源工程的環(huán)境里去討論。

國內(nèi)任何一個做大模型的公司,，包括頭部的巨頭其實也都至少號稱自己是開源社區(qū)的貢獻者,，基本上是這樣一個情況。但是過去一年其實我們看到的一個狀況其實是一些全球的頭部的閉源的大語言模型吸引了人們最多的眼球,，事實上創(chuàng)造了最多的使用量和用戶量,，以及產(chǎn)品化的進度是非常快的,。

開源領域,，我們看到了那么多大語言模型，也有很多使用量和下載量,，其實輿論作為一個新生態(tài)它是不是真的存在,？或者說它本身真正地對大語言模型快速地落地和產(chǎn)品化到底有多大的貢獻？其實有的時候我還是蠻懷疑的,。包括6月底7月初LLaMA 2發(fā)布,，國內(nèi)也有一些人基于LLaMA 2做一些成果，全球也有很多人用它在做,，好像現(xiàn)在也出現(xiàn)了一些瓶頸,、也出現(xiàn)了一些問題。所以第一個問題我還是想先請教各位,，大家怎么看過去一年全球也好,、中國也好，整個基于開源的這個生態(tài),，除了LLaMA這個東西之外,，我們看到有哪些真正對整個大語言模型向前發(fā)展有重要意義的突破？還是說開源搞了一年，事實上對于大語言模型的落地和發(fā)展來說是在自嗨了,？

“少量的高質(zhì)量的數(shù)據(jù)對于訓練一個模型是非常重要的,，閉源反而推動了開源本身再去做一些新的突破和嘗試”

張俊林：我特別支持開源這個形態(tài)。我認為從去年年初到現(xiàn)在,，開源對于我們對大模型的認知,、了解，包括對整個生態(tài)落地的繁榮,，有很大的促進作用。我們首先說對大模型的認知,，對我來說,，我印象最深的過去一年有兩個進展，我講一下我的看法,。

第一個看法,，我們叫大語言模型分兩個階段，預訓練,、加一個post training,，SFT，instruction tuning,，就是讓大模型更能理解命令,。經(jīng)過一年的研究我們認為第一階段的結論沒有大的變化，還是推大模型,、增加數(shù)據(jù)規(guī)模質(zhì)量,，這個沒有大的變化。

怎么把第二階段做好我認為基本摸透了,?；陂_源得出的大方向，用更少,、更高質(zhì)量的數(shù)據(jù),，大模型就能更好地理解你的命令。這意味著說對于我們來說,，真正有能力去做的企業(yè)全球范圍很少,，對于我們沒有能力去做的其實可以把精力花在這一部分，怎么能做得更好,。

駱軼航：俊林老師,，我能不能這么理解，其實對于很多訓練者來說,，數(shù)據(jù)本身比模型重要,？

張俊林：我覺得現(xiàn)在可以下這個結論。包括基座其實也是這樣的，數(shù)據(jù)質(zhì)量比數(shù)量重要得多,。

第二個我印象最深的,，就是過去一年的進展，我感觸最深的一直從大模型出現(xiàn)開始,，我一直問自己這樣一個問題,，我們能不能做小模型？我現(xiàn)在比較主觀地判斷,，我們應該去做這件事,，我相信2024年大概率會推出這種小模型，它的效果已經(jīng)非常好,。

駱軼航：現(xiàn)在已經(jīng)有了,。

張俊林：現(xiàn)在已經(jīng)有了，比如微軟,，包括Mistral ,，效果其實不差。過去一年開源這件事的貢獻是什么呢,？我認為有兩個：一是證明它是可行的,，二是它指出了路徑。從數(shù)據(jù)質(zhì)量來說,，我可以把模型規(guī)模推得很小,，但是我要用更多的高質(zhì)量的數(shù)據(jù)，這個量也不用特別大,，我還可以保證這個小模型效果還是不錯的,。當然現(xiàn)在目前這個階段小模型的水準跟GPT4肯定還是沒法比，但是我們?nèi)绻汛竽Ｐ湍芰Σ鸾枰幌?，你會發(fā)現(xiàn)將來我們做小模型是非常樂觀的,。如果把大模型拆一下，可以把大模型三種能力理解得特別重要,，第一種是語言能力,，小模型哪怕你再小，1B的,、2B的沒有問題,，和大模型比、和自動駕駛這個等級比沒有任何問題,，語言模型小模型沒有任何問題,，已經(jīng)追上了。

知識獲取能力原則上應該是模型越大越好,。如果說小模型再加外掛知識庫,，其實它的知識能力不一定比大模型差,。

小模型缺陷在推理能力。未來一年如果我們有辦法能夠打破這個障礙,，把小模型的推理能力提上去,，在2024年應該能看到小規(guī)模的模型的效果可能不一定比閉源的大模型差，這兩點是我最近一年體會最深的兩個點,。

駱軼航：簡單總結一下,，一個是少量的高質(zhì)量的數(shù)據(jù)對于訓練一個模型的重要性，哪怕你對于大部分沒有能力,，沒有辦法從基座去做的,。第二個小語言模型的普適性，尤其是小語言模型在推理能力方面如何能夠?qū)崿F(xiàn),，至少在某些方面,，或者某一個維度、某一個領域和大模型不相上下的一個效果,。

“開源提供了多樣性，有更多的選擇”

王鐵震：開源提供了多樣性,，有更多的選擇,。模型的效果來看，閉源模型是一定比開源模型好的,。如果閉源模型它是收費的,，它要向用戶收費，它還沒有一個外面大家隨便就能在HuggingFace上下載的免費模型好,，那這個閉源公司它也運作不下去的,，而且開源模型不管我們在這兒做什么樣的創(chuàng)新，它是開源的,，它的東西是發(fā)paper大家都知道,，閉源這些公司它可以去吸取里面好的地方用在它的模型里面，但是閉源模型它用的什么技術,，開源這邊可能不知道的,，如果他不寫paper。

駱軼航：他們現(xiàn)在基本都不發(fā)paper了,。

ChatGPT出來之后,，對行業(yè)來講是一個好的事情。行業(yè)AI這些年都是開源推動的,。直到GPT3出現(xiàn),，大家說我花了幾百萬、幾千萬去訓練一個模型,，我為什么要把它開源,？除了我們?nèi)ψ右酝獾娜?，對文本模型沒有那么多關注的，其實大家是不愿意去開源,，那個時候開源我感覺都有點停滯了,，我甚至都有點擔心。

GPT4一出來之后大家就更擔心了,，對話模型比以前的文本模型做的能力更強,，對話的模型又出來，感覺里面有很多黑科技我們都不知道,，我感覺過去一年,，年初的時候開源還是比較沮喪的這么一個狀態(tài)，但是經(jīng)過這一年的發(fā)展,，我感覺開源這個活力又回來了,，大家又開始愿意去開源很多模型，愿意去把自己的知識貢獻出來,。大家形成合力了,，每個人可以去探索不同的方向，有的人可以做預訓練,、去調(diào)數(shù)據(jù),，有的人可以做微調(diào)，甚至把模型做小,，做在不同的硬件上面,，你提供了比ChatGPT一個公司、OpenAI一個公司在這個領域進化快得多的一個能量,，所以我覺得開源還是在這個領域做了非常多有價值的工作,。

但你說單靠開源一個產(chǎn)品，它的技術能力肯定是跟閉源有差距的,，它的產(chǎn)品肯定也是有差距的,，畢竟開源就是一個網(wǎng)上大家能下載的東西，還是需要一個商業(yè)公司花很多模型之外的能力去把它變成一個非常好的產(chǎn)品,，這都很正常,，這兩個其實是互相促進的，閉源打在前面,，開源后面去追,，大家一起去把這個領域去做得更深，讓更多的人把這個技術用起來,。

駱軼航：其實反而我剛才聽到一個觀點我覺得還蠻有意思的,，反而是閉源的大模型這一兩年，2022年底到2023年進展其實反而推動了開源本身再去做一些新的突破和嘗試,。

王鐵震：因為開源一開始還是我們小圈子自嗨,，閉源的公司真正讓普通人了解到我們到底在做什么,，然后讓我們的工作變得更有意義。

駱軼航：HuggingFace是受益者毫無疑問是嗎,？

王鐵震：對,，沒錯。

“開源讓大家的熱情更高”

駱軼航：我們聊了HuggingFace這個受益者,，我們看看通義千問,，通義是開源人類歷史上參數(shù)最大的一個開源模型對嗎？我能這么說嗎,？

林俊旸：其實也不算,，F(xiàn)alcon其實更大。

駱軼航：那其實我想聊聊,，俊旸聊一聊開源的事吧,，從過去一年有什么成就？從你們這個角度,。

林俊旸：駱老師總是提非常敏感的問題,，開源是否造成虛假繁榮這個現(xiàn)象，其實剛才鐵震的回答我覺得他是想逼我放更強的模型到他們社區(qū),。

駱軼航：他就希望所有人都做雷鋒嘛,。

林俊旸：開閉源是一個選擇，閉源模型比開源模型更強是不是成立,，我其實是打問號的。我們今天在談的是OpenAI和非OpenAI是這個差距,?？赡芪矣悬c暴論，我個人感覺像Gemini AI和Claude的話,，我覺得還是非常有信心,，單從語言模型來說，多模態(tài)就另說了,。

駱軼航：你是說我們搞不了OpenAI,，我們還超不過GeminiAI和Claude嗎？是這個意思嗎,？

林俊旸：至少有戲,，至少在很多場合里面還是有來有回的。

駱軼航：你指的是通義嗎,？

林俊旸：我不能拿我自己來說,。我覺得好多模型都做得不錯，可能是部分方面的,，之前我們可能會有一些部分方面,，甚至有一些是部分地超越GPT4,，但是大家始終感覺跟GPT4的差距還是很大。大家看國內(nèi)的模型,，開源也好,、閉源也好，其實不用3.5,，用AI會更好,，跟GPT4可能有一些差距。

上半年的時候,，我覺得差距跟Claude還比較有差距,，下半年我感覺差距在縮小。我跟做開源模型的國外的人去聊,，像Upstage他們其實更加有信心,，我在他們的講座說我們跟OpenAI可能還有一年的差距。他說你說得不對,，我也有很多OpenAI的朋友,，我覺得就半年的差距，他非常有信心,。

我們現(xiàn)在在做開源模型,，說實話我是開閉源同行。剛才鐵震說的我是認同的,，有最強的貨肯定得留著,，我得活著賺錢呀。能把開源打出去,，我肯定更有信心能更好一些,。

開源對我來說幫助我們這個團隊很大的一個點，上半年通義千問已經(jīng)出來了,，但是很少人在討論通義千問,，你能明顯地感覺到，在那個時候大家會覺得說通義千問是一個搜索的模型,，但是到了今年這一個時候,，也許我有點大言不慚，但是我至少能跟大家坐到這個臺上來發(fā)表我剛才的這個暴論,，我覺得一定程度上我們這個團隊還是成功了那么一點點,。

我們其實在做閉源的時候，我們當時把問題看得太簡單,，因為如果你仔細分析,，你可能就會得出結論說，大模型無非是幾個問題,，數(shù)據(jù),、算力,、模型、參數(shù),，我們傳統(tǒng)大廠一想就說這事我適合,，那我就做唄，我做閉源肯定能把這些搞垮,，這些創(chuàng)業(yè)公司不可能搞得過我們,，但是到年初的時候你看到ChatGPT也好、百川也好,，其實大家非常熱鬧地去做了很多東西,。

我覺得開源是造福了全社會，讓大家熱情更高,，能把更好的技術給弄出來,。所以我們當時也嘗試說我們開源出去會不會更好？我們開出去就發(fā)現(xiàn)了很多問題,，用戶會反饋說這個模型可以這樣優(yōu)化,、哪方面優(yōu)化，這些意見一回來我們知道原來我們自己的評測還不能覆蓋好自己做的這個事情,，我們能做更好的模型,。我也看到有了這些基座模型之后，研究院們做了很優(yōu)秀的工作,，包括現(xiàn)在在年初的時候,，大家看到OpenAI覺得非常羨慕，它能做RLHF,，然后大家就去盲目地跟風RLHF,，鐵定是失敗的，這個不用說,，因為我們團隊已經(jīng)失敗了8個月。

駱軼航：你們失敗了8個月,，發(fā)布通義之后就失敗了,？

林俊旸：我是說RLHF這項技術，因為你通過SAD的話,，你一定能煉造一個對標ChatGPT的模型,，無非就是強和弱的問題，但是你想讓它更上一層樓,，肯定得上RLHF嘛,，但是你看RLHF的技術很多的，就包括DPO大家做得更細,，大家發(fā)現(xiàn)說原來我可以很穩(wěn)定地做很好,。然后有些高手玩PPO玩得好的,，他PPO他也能玩出花來，但是這個事情如果說閉源的公司自己內(nèi)部去做我必須得承認一個事情,，你得看你自己的人才密度有沒有OpenAI這么高,，你才能去談這個閉源的問題。如果你認為你的團隊人才密度足夠高的話,，你可以賭這一把,，說實話跟學界的合作和學習讓我們自己的進步非常大。我們自己的效果提升不是說我們自己強,，而是說我們真的跟開源社區(qū),、跟學界大家發(fā)paper這些人學了很多的東西。

接下來如果我們作為開源的,，一個是開更好的節(jié)奏模型讓大家去用,，我們還要做一件事情，讓大家怎么用得更爽,，學界的人完全可以跟我們有更多的合作,，今天我非常感謝HuggingFace，如果沒有HuggingFace的話,，今天大家根本不可能用大模型用得這么爽的,。

駱軼航：你不感謝你們自己的ModelScope嗎？

林俊旸：ModelScope這是第二個問題,，我待會兒,。

駱軼航：我一直不確定你能不能代表ModelScope說話主要是？

林俊旸：我算是友情代言,，我一定程度上我也能說,，但是我們ModelScope跟HuggingFace的合作也非常多，待會兒我們連還可以互動在聊一下ModelScope的這個問題,。

駱軼航：我建議這一次一定要把你們倆放在一起,，就是想看這個。

有了這些事情之后,，大模型已經(jīng)越來越平民化,，據(jù)我所知，中專的學生已經(jīng)在學習大模型,，普惠這件事情非常好,，每個人都非常有創(chuàng)造力，大家都有創(chuàng)造力這個社區(qū),、這個行業(yè)才能發(fā)展得快,，有了這個以后學界和業(yè)界真的能夠發(fā)展得好，大家分清好自己的職責有好了。這是我的一些暴論,。

駱軼航：簡單總結一下這個暴論,，第一個就是說開源模型做得好的話，我干不了ChatGPT,，我還干不了Claude和Gemini AI嗎,？這是暴論一。

暴論二,，其實大廠們,，以阿里為代表之一的大廠們，其實不光廠,，創(chuàng)業(yè)公司你剛才講的我左手搞開源,、右手懷里揣著一個更大的閉源，這個典型的還不是阿里,，這個典型的分明是百川跟智譜,，其實大家都在走這條路，這條路就是給自己留一條商業(yè)化的活路,，同時把能開源的部分基本上能開源出去,，繁榮社區(qū)、繁榮一個人同時讓自己做得很好,，這個是一個基本的路,，大廠基本上都在干這個活。

“整個開源社區(qū)給應用生態(tài)創(chuàng)造了很大的價值”

駱軼航：從零一的角度來去看,，本身我們也是開源社區(qū)的受益者,，從這個角度到底有什么意義？對一個其實已經(jīng)正經(jīng)干活干了七八個月的大模型創(chuàng)業(yè)公司來說怎么看待這個問題,？

黃文灝：我先說一下我對“百模大戰(zhàn)”的看法,，我覺得其實模型要分成兩個部分，一個是 pre model,，就是基礎模型,，后面都是 post train，就是 continue training,，SFT都是屬于后面的部分,，其實前半部分真正做training基礎模型從頭用數(shù)據(jù)開始好好做訓練的其實并沒有特別多，過去一年大家都加一塊可能十個,？十幾個模型吧，全球加在一塊,，大概也就這樣一個量,。

我們?nèi)绻约鹤鲞^就知道train一個模型，不管再小,，7B,、13B可能也是幾百萬的錢,。因為我們現(xiàn)在在train比較大的模型，就知道這個錢的開銷是很恐怖,，所以這個事情不是傳統(tǒng)意義上的開源社區(qū)可以做的,，而且很多開源是說大家合起來來自不同組織的人去train一個模型，這個事情在pre train階段是很難做到的,。

另外一部分是 post train,，就是在SFT continue training我們有了以前出來的模型，比如說像LLaMA,，英文有LLaMA,，中文比如說通義，我們有些模型,，這些模型在國外有很多的開發(fā)者基于我們的模型,，他們花很少的成本，比如我說去準備幾千條SFT數(shù)據(jù),，用LLaMA那種方式,，我可能幾美金、幾千美金就可以用一個很好的模型,，我不贊成他們應該被稱作“百模大戰(zhàn)”,，做了一些SFT以后又可以叫一個新的名字，這個其實是繁榮了很多行業(yè)的開發(fā)者,。

開源模型的應用,，往下沉來看， ChatGPT它很大,，它有幾億用戶這樣的量在里面,，其實有很多應用它已經(jīng)開始用開源模型做了，它只要能適應它的那個場景,，就是到 technical product fit我可以把成本壓下來,，我可以自己去做scalation，我可以自己去做量化,。在這種情況下,，其實是有大量的比如說一個應用它有幾萬用戶、幾十萬用戶,，但這樣的用戶應用的量其實是很大的,。

再回到剛才駱老師的問題，我覺得也可以 Echo一下,，之前我們也會有一些風波吧,。

駱軼航：是你主動要談的啊。

黃文灝：沒關系，我覺得早晚還是要談一下,，剛才我記得汪老師的PPT里面有一句話,，叫架構借鑒LLaMA，我可以簡單說一下LLaMA的paper里面,，關于Architecture 的部分其實就很短,，大概四分之一頁吧，它第一句話叫Rebased on GPT herb Transformer Architecture leveraged various improvements,。第一個他用了pre-norm,，這個是GPT3用的，它也注了,。第二個是 swi-GLU,，然后這個是palm用的，第三個是rotary,，這個是 GPT near S5用的,，只有這三個，其他都跟Transformer一樣,，但這三個也是大家普遍在用的,，所以很多人說LLaMA的架構讓國內(nèi)的大模型訓練有了希望，這一點我是不認同的,。我覺得大家都知道,，因為Transformer就長這樣，它能變的地方很少,，我們都試過了,，大家就會訓練出一些很不錯的模型。

再回到開源的問題,，我們在開源上的確做得非常地不到位,，改了一些變量，我們也雇了開源的經(jīng)理,，開源的經(jīng)理今天也來了現(xiàn)場,，后面也跟開發(fā)者很頻繁地互動，我覺得大家開源就以比較規(guī)范的方式開源,，后面我們也發(fā)現(xiàn)我們改回了LLaMA架構以后突然變好了,，很多國外的開發(fā)者就可以用了，基于我們的模型去做各種各樣的嘗試,、微調(diào),，使更個開源社區(qū)會非常繁榮。我覺得我們的模型應該是在國外的開源社區(qū)里面用得最多的國內(nèi)的模型,，就是我們最后還是沿用了LLaMA這個標準架構,，這一點也是一個很有意思的事情,。

而且我剛才看大家越來越多開源的人都是這樣去做，整個生態(tài)其是也是在越變越好,。

駱軼航：我覺得文灝其實也釋放了兩個暴論，第一個暴論就是其實沒有真正的“百模大戰(zhàn)”,、真正從基礎端能夠去train一個模型的,，十模大戰(zhàn)、二十模大戰(zhàn)到頭了在中國,，其實不存在那個意義的“百模大戰(zhàn)”,。

第二個問題當時我聽了之后我還是“嗯”了一下，其實就是說LLaMA架構的出現(xiàn)事實上繁榮了中國的基礎模型的生態(tài),，這個事其實本身不是這個道理,，跟大家看到的其實并不是完全一樣的。

黃文灝：對,，我覺得大部分做技術,，真正訓練模型的覺得LLaMA其實沒有什么。