·“大煉鋼鐵的階段基本上接近尾聲。但在大模型真正進(jìn)入產(chǎn)業(yè)化應(yīng)用時(shí),，仍然需要持續(xù)的算力消耗,，盡管這種消耗可能與訓(xùn)練機(jī)器不太相同,。對(duì)應(yīng)的服務(wù)能夠開放出來(lái)后，除了訓(xùn)練機(jī)器之外,，對(duì)推理算力的需求將越來(lái)越大,。”

·“上海超算中心作為上海市的公共服務(wù)平臺(tái),，我們的能力可能有限,，但我們更多地致力于建立接入和調(diào)度的標(biāo)準(zhǔn)，讓更多的商業(yè)公司,、科研單位和市民都能夠輕松方便地接入算力資源,。”

ChatGPT推動(dòng)全球爆發(fā)新一輪人工智能熱潮,，以大型語(yǔ)言模型為基礎(chǔ)的生成式人工智能被看作堪比蒸汽機(jī)的技術(shù)驅(qū)動(dòng)器,。新的AI淘金時(shí)代來(lái)臨，“賣鏟子的人”贏得前所未有的關(guān)注,，從算力,、算法到數(shù)據(jù)、網(wǎng)絡(luò),，機(jī)遇與挑戰(zhàn)并存,。

7月6日,，澎湃科技（www.thepaper.cn）邀請(qǐng)上海超級(jí)計(jì)算中心主任李根國(guó)和百度飛槳產(chǎn)品團(tuán)隊(duì)負(fù)責(zé)人趙喬，共同探討大模型基礎(chǔ)設(shè)施的機(jī)遇與挑戰(zhàn),。本場(chǎng)對(duì)話由澎湃科技記者邵文主持,，在一個(gè)小時(shí)的對(duì)話中，嘉賓們討論了多個(gè)相關(guān)問題,，包括：

為什么AI大模型的計(jì)算成本如此高,，有哪些方法能夠降低成本？

算力短缺會(huì)持續(xù)多久,？算力調(diào)度的難點(diǎn)在哪,？初創(chuàng)公司如何配置AI技術(shù)設(shè)施？

如何確?！扮P子”質(zhì)量鋒利和堅(jiān)固

澎湃科技：目前有一個(gè)非常熱門的話題,，即AI模型的計(jì)算成本非常高。我們可以用通俗的方式向大眾解釋一下為什么AI大模型的計(jì)算成本如此高,，現(xiàn)在有哪些方法能夠降低這些成本,？

李根國(guó)（上海超級(jí)計(jì)算中心主任）：首先，人工智能的發(fā)展經(jīng)歷了很長(zhǎng)時(shí)間,，從20世紀(jì)50年代開始提出概念,，經(jīng)歷了多次熱潮。我們認(rèn)為ChatGPT的出現(xiàn)是人工智能領(lǐng)域革命性的突破,，因?yàn)檫^去的工作更多是基于特定領(lǐng)域的知識(shí)和數(shù)據(jù),，比如計(jì)算機(jī)、化學(xué),、物理或生命科學(xué)等,。然而，ChatGPT的出現(xiàn)打破了領(lǐng)域限制,。盡管它是一個(gè)語(yǔ)言模型,，但實(shí)際上可以在各個(gè)領(lǐng)域中使用，這是一次革命性的突破,。在它之前,，人工智能并沒有形成一個(gè)標(biāo)準(zhǔn)的理論。但是有了ChatGPT,，可能會(huì)引發(fā)人工智能理論的產(chǎn)生,，因?yàn)樗黄屏颂囟I(lǐng)域的發(fā)展。

然而,，GPT模型的訓(xùn)練需要強(qiáng)大的計(jì)算能力支持,。訓(xùn)練大模型需要使用數(shù)千張圖形處理器（GPU）。目前，人們認(rèn)為起步的必要條件是至少3000張GPU,，而未來(lái)可能會(huì)有更高的需求,。英偉達(dá)的A100 GPU性能指標(biāo)是320 TFLOPS，因此,，為了獲得100 PFLOPS的計(jì)算能力,，需要使用300多張A100 GPU。（注：1TFLOPS等于每秒萬(wàn)億次浮點(diǎn)計(jì)算,，1PFLOPS等于每秒千萬(wàn)億次浮點(diǎn)計(jì)算）

此外，訓(xùn)練這樣的大模型需要一個(gè)周期,，可能需要一個(gè)月的時(shí)間,。在這一個(gè)月的時(shí)間里，機(jī)器的能耗將非常高,，例如可能達(dá)到一兆瓦,。也就是說(shuō)，僅僅訓(xùn)練一個(gè)大模型就需要數(shù)百萬(wàn)元的電費(fèi),。

當(dāng)然,，這只是起步階段的訓(xùn)練成本。在訓(xùn)練完成后,，還需要不斷迭代和更新模型,，這也需要大量的算力和電力支撐。

趙喬（百度飛槳產(chǎn)品團(tuán)隊(duì)負(fù)責(zé)人）：開發(fā)一個(gè)大模型的過程,，就像是小朋友讀書一樣,。我們會(huì)設(shè)置一個(gè)非常龐大的神經(jīng)網(wǎng)絡(luò)，然后讓神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)大量數(shù)據(jù)來(lái)獲得較好的效果,。這個(gè)過程需要較長(zhǎng)時(shí)間,，同時(shí)也會(huì)消耗大量算力和電費(fèi)等資源。

此外,，數(shù)據(jù)的存儲(chǔ)是一個(gè)額外的成本,。就像小朋友閱讀得越多，變得越聰明一樣,，人工智能模型也需要更多的數(shù)據(jù)來(lái)提高效果,，這對(duì)數(shù)據(jù)存儲(chǔ)提出了很高的要求。

另外,，計(jì)算量增加意味著使用的（人工智能加速）卡數(shù)增加,。當(dāng)你將模型擴(kuò)展到更多的卡上時(shí)，要確保能夠達(dá)到與單卡相同的效果是相當(dāng)困難的,。這涉及到穩(wěn)定性和線性加速比的問題,。同時(shí)，由于集群規(guī)模的增大，可能會(huì)出現(xiàn)卡的損壞或掉電等問題,，因此需要確保訓(xùn)練過程的持續(xù)穩(wěn)定性,。

為了降低這些成本，我們?cè)谟布蛙浖用娑甲隽撕芏喙ぷ?。在硬件方面,，我們從集群設(shè)計(jì)和網(wǎng)絡(luò)調(diào)度等方面進(jìn)行優(yōu)化，以降低成本,。在軟件層面,，特別是在深度學(xué)習(xí)平臺(tái)和框架方面，我們采取了許多方案來(lái)降低成本,。例如,，通過壓縮模型尺寸大小來(lái)獲得與大模型相當(dāng)?shù)男Ч捎昧炕瘔嚎s等工具,。這些工作都是為了降低訓(xùn)練成本,。

李根國(guó)：除了算力需求，數(shù)據(jù)的質(zhì)量也對(duì)訓(xùn)練效果和計(jì)算成本有影響,。通過對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和提高算法平臺(tái)的完善程度,，可以提高訓(xùn)練效率，從而節(jié)約算力,。

澎湃科技：當(dāng)前大型AI模型對(duì)AI基礎(chǔ)設(shè)施提出了很多要求,。在AI基礎(chǔ)設(shè)施的發(fā)展中，存在哪些明顯的瓶頸,？

趙喬：飛槳作為深度學(xué)習(xí)平臺(tái),，也是AI開發(fā)的基礎(chǔ)設(shè)施，這些年與國(guó)內(nèi)外不同的算力基礎(chǔ)設(shè)施的機(jī)構(gòu)有過合作,。

首先是互聯(lián)網(wǎng)公有云服務(wù)提供商,，他們需要花費(fèi)大量資金購(gòu)買硬件設(shè)備，例如英偉達(dá)的設(shè)備,。然而,，他們當(dāng)前面臨著供不應(yīng)求甚至算力供應(yīng)短缺情況。但實(shí)際上公有云的價(jià)格相對(duì)較低,，甚至存在激烈的競(jìng)爭(zhēng),，所以他們面臨的挑戰(zhàn)是如何持續(xù)降低成本并提供更好的算力服務(wù)。

其次是超算中心,，它們通常服務(wù)于國(guó)家的重大戰(zhàn)略任務(wù),，主要關(guān)注高性能計(jì)算等經(jīng)典領(lǐng)域。在AI時(shí)代,，面臨的挑戰(zhàn)是如何將傳統(tǒng)的超算集群轉(zhuǎn)變?yōu)槟軌蛑蜛I任務(wù)的智能計(jì)算集群,，這里包括體系結(jié)構(gòu)和軟件平臺(tái)的大量升級(jí)工作,。我們正與國(guó)內(nèi)的許多超算中心合作，以提升和改進(jìn)這一點(diǎn),。

此外,，還有一些大型企業(yè)會(huì)自建AI基礎(chǔ)設(shè)施，除了一次性投資外,，后續(xù)的運(yùn)維和有效使用這些設(shè)備也可能成為瓶頸,。

還有一個(gè)重要的挑戰(zhàn)是，隨著大模型尺寸的增加,，對(duì)數(shù)據(jù)和算力的需求也越來(lái)越大,，傳統(tǒng)的單點(diǎn)式算力發(fā)展可能無(wú)法滿足未來(lái)的需求。因此,，實(shí)現(xiàn)廣泛的算力互聯(lián)互通是非常重要的,，但在實(shí)現(xiàn)互聯(lián)互通之后，如何高效地進(jìn)行調(diào)度以及支持應(yīng)用開發(fā)也是具有挑戰(zhàn)性的工作,。

李根國(guó)：根據(jù)直播的主題,，我們可以將自己比作是賣鏟子的人,。作為賣鏟子的人,，我們必須確保鏟子的質(zhì)量非常鋒利和堅(jiān)固。所以我們要把算力做得既好用,，又有價(jià)值,，同時(shí)成本也低，以便在算力市場(chǎng)上占據(jù)地位,。

因此,，從算力的角度來(lái)看，我們需要突破核心技術(shù)和發(fā)展,。首先,，核心技術(shù)之一是算力的互聯(lián)技術(shù)。這意味著我們需要將上百?gòu)埧ㄆB接在一起,，共同完成一個(gè)任務(wù),，而不是將任務(wù)分配給每個(gè)卡片?；ヂ?lián)技術(shù)在這方面起著關(guān)鍵作用,。然而，美國(guó)對(duì)我們施加限制,，如禁止我們使用從A100到A800的卡片,，限制了我們的互聯(lián)核心能力。他們限制了我們的帶寬不能超過每秒400G,，包括H系列卡片在內(nèi),。因此，要在算力方面取得突破，首先需要突破互聯(lián)技術(shù),。

其次是芯片技術(shù),，即用于人工智能的芯片。大家通?？吹降氖撬懔?，算力卡插在服務(wù)器上。如果一個(gè)服務(wù)器插滿了8張卡,，1張卡的功耗可能是700千瓦,，那么單臺(tái)機(jī)器甚至可能達(dá)到6000千瓦。根據(jù)以前的IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心）標(biāo)準(zhǔn),，一臺(tái)機(jī)器就占據(jù)整個(gè)機(jī)柜的功耗,，之前一個(gè)柜子里至少可以容納10臺(tái)服務(wù)器，但現(xiàn)在只能容納1臺(tái)?，F(xiàn)在有另一種方法即水冷技術(shù),，利用水冷可以使機(jī)柜的功耗降低，那么就可以容納6-8臺(tái)機(jī)器,。因此,，我們需要突破傳統(tǒng)服務(wù)器和機(jī)柜的技術(shù)，實(shí)現(xiàn)更高效的利用空間,。

第三個(gè)核心技術(shù)是軟件,。在人工智能領(lǐng)域，軟件體系非常重要,。我們需要有適用于人工智能和大數(shù)據(jù)的軟件體系,，以便訓(xùn)練大模型并在各行各業(yè)中應(yīng)用。但互聯(lián)技術(shù),、芯片技術(shù)等底層技術(shù)仍然不是我們的,。如果我們不能突破這些技術(shù)，我們只能作為應(yīng)用方來(lái)使用別人發(fā)布的大模型,，并將其應(yīng)用于各個(gè)領(lǐng)域,。國(guó)家機(jī)構(gòu)對(duì)這些核心技術(shù)非常重視，因?yàn)榈讓蛹夹g(shù)的突破至關(guān)重要,。

“大煉鋼鐵的階段基本接近尾聲”

澎湃科技：對(duì)于AI基礎(chǔ)設(shè)施的成本變化趨勢(shì),，兩位有什么看法？哪些方面的成本有望降低,，哪些方面的成本難以降低,？

趙喬：我國(guó)底層的AI基礎(chǔ)設(shè)施特別是大模型方面，對(duì)國(guó)外依然有較多依賴,。然而,，我們也看到了很多好機(jī)會(huì),。例如，國(guó)內(nèi)的芯片廠商在人工智能支持產(chǎn)業(yè)應(yīng)用方面取得了快速發(fā)展,。我們正在與國(guó)內(nèi)的許多芯片廠商合作,，進(jìn)行與大模型相關(guān)的軟件聯(lián)合技術(shù)攻關(guān)工作。在這方面,，我相信我們核心底層技術(shù)的成熟將持續(xù)降低成本,。

李根國(guó)：當(dāng)前IT行業(yè)面臨的一個(gè)重要問題就是成本居高不下。其中一個(gè)重要原因是芯片的發(fā)展,。芯片發(fā)展到7納米或更低的技術(shù)水平,，其研發(fā)和生產(chǎn)過程成本非常高。另外,，軟件開發(fā)需要大量的人力投入,。例如，在構(gòu)建配套的軟件體系時(shí),，可能需要數(shù)千人參與,。所以軟件方面的人力投入、硬件設(shè)施的投入以及計(jì)算機(jī)運(yùn)行過程中的電力投入,，都是不可避免的,。

從效率的角度來(lái)看，我們只能通過提高整個(gè)計(jì)算機(jī)運(yùn)行的效率來(lái)降低成本,。傳統(tǒng)計(jì)算機(jī)的CPU（中央處理器）使用率往往很低,，大部分時(shí)間處于等待狀態(tài),，讀取數(shù)據(jù)的過程浪費(fèi)了很多電能?，F(xiàn)代計(jì)算機(jī)體系架構(gòu)發(fā)生了一些變化，例如GPU的趨勢(shì),，以及一些新的計(jì)算方法,，此外，現(xiàn)在也期待量子計(jì)算機(jī)能夠帶來(lái)一些革命性的變化和計(jì)算效率的巨大提升,。然而,，量子計(jì)算機(jī)目前只在特定行業(yè)具有一些應(yīng)用，并且距離普遍應(yīng)用仍然需要很長(zhǎng)的時(shí)間,。

澎湃科技：兩位在實(shí)踐過程是否遇到了由于算力短缺和算力價(jià)格的提升,，帶來(lái)的算力價(jià)格上漲情況？

李根國(guó)：我們直接碰到了算力短缺和價(jià)格上漲的情況,。以前的超級(jí)計(jì)算機(jī)主要面向科研服務(wù),，價(jià)格相對(duì)普惠。而現(xiàn)在,，因?yàn)槿斯ぶ悄艿陌l(fā)展,，特別是大模型的出現(xiàn),，對(duì)算力的需求急劇增加。人工智能面向市場(chǎng)和企業(yè)應(yīng)用,，大家都在追求大模型,。我們以前可能有一些卡，基本上滿足需求,。但現(xiàn)在明顯感覺到需要排隊(duì),，可能排隊(duì)的人數(shù)是正在運(yùn)行的十倍以上。大家都需要卡來(lái)訓(xùn)練自己的模型,。雖然小規(guī)模的算力需求并不一定是訓(xùn)練大模型,，但廣泛應(yīng)用的需求也推動(dòng)了算力需求的增加，從而推高了算力的價(jià)格,。

趙喬：我們對(duì)算力的消耗和需求非常旺盛,，也遇到過類似的情況。

一方面,，從供應(yīng)的角度來(lái)解決問題,。比如說(shuō)，更多類似的供應(yīng)商能夠提供同類型的解決方案,；另一方面,，如何充分利用現(xiàn)有設(shè)施來(lái)降低成本，我們也正在尋求一些技術(shù)手段來(lái)解決這個(gè)問題,。例如,，由于大模型的發(fā)展，過去半年內(nèi)開源領(lǐng)域發(fā)生了非常大的變化?，F(xiàn)在有許多新的方法和策略,，可以降低大模型的訓(xùn)練成本。而且,，我們也提供了一些在深度學(xué)習(xí)框架層面的技術(shù),，從這些角度來(lái)持續(xù)降低成本。

澎湃科技：預(yù)計(jì)這種算力短缺會(huì)持續(xù)多久呢,？

李根國(guó)：目前是訓(xùn)練大模型的高峰階段,，預(yù)計(jì)今年年底會(huì)逐漸下降。因?yàn)榇竽Ｐ突诂F(xiàn)有的大數(shù)據(jù)進(jìn)行訓(xùn)練,，一旦模型訓(xùn)練完成,，需求可能會(huì)稍微減少。更重要的是,，我們需要解決如何在各個(gè)領(lǐng)域中應(yīng)用這些模型的問題,。大模型的獨(dú)立訓(xùn)練可能會(huì)暫時(shí)告一段落，接下來(lái)會(huì)在各個(gè)領(lǐng)域形成自己的專有應(yīng)用,。

趙喬：大煉鋼鐵的階段基本上接近尾聲,。但在大模型真正進(jìn)入產(chǎn)業(yè)化應(yīng)用時(shí),，仍然需要持續(xù)的算力消耗，盡管這種消耗可能與訓(xùn)練機(jī)器不太相同,。例如,，隨著生成式人工智能應(yīng)用政策的明朗，對(duì)應(yīng)的服務(wù)能夠開放出來(lái),，除了訓(xùn)練機(jī)器之外,，對(duì)推理算力的需求將越來(lái)越大。這將是一個(gè)重大的變化,。此外,，除了基礎(chǔ)的大模型訓(xùn)練外，后續(xù)可能會(huì)有更多的行業(yè)大模型出現(xiàn),。

此外,，人工智能與科學(xué)問題的結(jié)合也是一個(gè)巨大的機(jī)會(huì)，例如與經(jīng)典的計(jì)算流體力學(xué)和制藥領(lǐng)域結(jié)合,。但是“ChatGPT時(shí)刻”什么時(shí)候會(huì)到來(lái),，我們也不知道。因此,，如果這個(gè)領(lǐng)域的“ChatGPT時(shí)刻”到來(lái),，預(yù)計(jì)會(huì)有更多的算力需求。

李根國(guó)：這個(gè)就是之前一直在說(shuō)的AI for Science,，以前,，科學(xué)研究主要依賴于傳統(tǒng)的超級(jí)計(jì)算機(jī)進(jìn)行推理，例如解方程等,。但現(xiàn)在,，人工智能更多地用大數(shù)據(jù)解決問題。其中,，生命科學(xué)領(lǐng)域包括與人們直接相關(guān)的醫(yī)療領(lǐng)域,，是應(yīng)用最廣泛,、推動(dòng)力最大的,。通過人工智能方法，生物醫(yī)藥等領(lǐng)域可能會(huì)實(shí)現(xiàn)突破性的發(fā)展,。

在科學(xué)研究中,，人工智能的應(yīng)用被視為一種新的范式。過去,，人類研究主要基于實(shí)驗(yàn),，后來(lái)發(fā)展到理論，再然后逐漸發(fā)展為計(jì)算,。而現(xiàn)在,，我們能夠基于數(shù)據(jù),，更多地基于人工智能進(jìn)行研究，進(jìn)入了智能范式階段,。在這個(gè)階段,，我們的研究手段發(fā)生了根本性的變化。

“更多算力投入需要依靠商業(yè)公司”

澎湃科技：此次引發(fā)人工智能熱潮的GPT不僅僅是大眾的熱潮,，也是創(chuàng)業(yè)潮,。對(duì)于在人工智能領(lǐng)域創(chuàng)業(yè)的初創(chuàng)公司，他們?nèi)绾闻渲肁I技術(shù)設(shè)施,，能否給一些建議或原則性的思路,？

趙喬：首先，針對(duì)大模型的研發(fā)方向,，有些偏底層研發(fā),，有些偏應(yīng)用研發(fā)，不同的創(chuàng)業(yè)團(tuán)隊(duì)選擇的路線和技術(shù)手段可能不同,，因此對(duì)算力的配置需求也會(huì)有所差異,。如果是基于大模型的基礎(chǔ)研發(fā)，算力需求肯定很高,，可以按照前面提到的數(shù)據(jù)進(jìn)行估算,。但如果是應(yīng)用型的公司，現(xiàn)在經(jīng)過半年多的技術(shù)快速發(fā)展,，它們不需要從頭開始訓(xùn)練自己的大模型,，可能會(huì)基于開源或商業(yè)模型進(jìn)行一些小的改造，并結(jié)合自身的數(shù)據(jù)來(lái)獲得不錯(cuò)的效果,。這樣的話,，對(duì)算力的需求就不像做基礎(chǔ)大模型那樣高，配置起來(lái)相對(duì)輕松一些,。

此外,，初創(chuàng)企業(yè)也可以直接圍繞以文心一言為代表的大模型服務(wù)構(gòu)建自己的業(yè)務(wù)，如果直接使用這些能力,，成本會(huì)進(jìn)一步降低,，比之前提到的自己訓(xùn)練模型的成本更低。因此,，圍繞國(guó)內(nèi)的大模型開發(fā)上層的AI應(yīng)用也是一個(gè)值得考慮的方向,。

可以說(shuō)，目前對(duì)于中國(guó)來(lái)說(shuō),，這是一個(gè)機(jī)會(huì)無(wú)限的時(shí)代,，各個(gè)領(lǐng)域都有發(fā)展的機(jī)會(huì)。從農(nóng)業(yè)時(shí)代到工業(yè)時(shí)代,，直接進(jìn)入數(shù)字化信息化的時(shí)代,，創(chuàng)業(yè)機(jī)會(huì)非常多,。例如無(wú)人駕駛在城市道路和農(nóng)業(yè)方面的應(yīng)用，智能工廠等在不同領(lǐng)域都有廣闊的發(fā)展空間,。作為計(jì)算機(jī)行業(yè)的人,，有更多的機(jī)會(huì)，因?yàn)樵诖竽Ｐ桶l(fā)布后,，大模型在各個(gè)領(lǐng)域都有應(yīng)用,。

澎湃科技：文心一言是現(xiàn)在關(guān)注度非常高的一個(gè)大模型。我們想知道百度飛槳和文心一言之間是怎樣配合的,，有什么樣的邏輯關(guān)系,？

趙喬：現(xiàn)在，人工智能技術(shù)軟件棧的結(jié)構(gòu)與以前的操作系統(tǒng)或通用計(jì)算相比,，發(fā)生了較大變化,。從百度的角度來(lái)看，我們定義了四層架構(gòu)：芯片,、框架,、模型和應(yīng)用。這四層之間密切配合,，并相互產(chǎn)生一些化學(xué)反應(yīng),。具體到框架層和模型層，指的就是飛槳深度學(xué)習(xí)平臺(tái)和文心一言,。一方面,，整個(gè)文心一言的開發(fā)過程，包括從最初的模型訓(xùn)練到工程化上線,，都需要飛槳的技術(shù),。我們有許多技術(shù)來(lái)支持文心一言的高效開發(fā)。因此,，在支持文心一言的研發(fā)和產(chǎn)品化工作方面,，我們密切合作。另一方面,，由于文心一言的迭代速度很快,，有許多創(chuàng)新需求進(jìn)一步反饋給飛槳團(tuán)隊(duì)，因此飛槳也需要不斷進(jìn)行研發(fā)工作,。雙方互相補(bǔ)充,，不斷向前發(fā)展，這是一個(gè)持續(xù)的過程,。

澎湃科技：在這波生成式AI熱潮中，上海超算中心在上海占據(jù)非常重要的位置,。那么接下來(lái)上海超算中心會(huì)有什么規(guī)劃,？如何賦能上海的人工智能產(chǎn)業(yè)集群的發(fā)展,？

李根國(guó)：上海超級(jí)計(jì)算中心作為政府支持的公共服務(wù)平臺(tái)，我們的建設(shè)是通過政府撥款支持的,，所以我們的算力規(guī)模不可能非常大,，政府的財(cái)力有限，我們提供的是普惠的服務(wù),，只能是引導(dǎo)性的,。更多的算力投入需要依靠商業(yè)公司。

因此,，我們目前的重要工作之一是建立算力調(diào)度平臺(tái),，通過這個(gè)平臺(tái)，外部的算力,，比如運(yùn)營(yíng)商的算力,，通過我們的公共服務(wù)平臺(tái)接入，用戶的需求可以通過公共服務(wù)平臺(tái)進(jìn)行調(diào)度,，并利用商業(yè)算力,。

我們正在形成統(tǒng)一的調(diào)度機(jī)制，甚至還包括與國(guó)家倡導(dǎo)的“東數(shù)西算”工程,，能夠與西部地區(qū)的算力進(jìn)行合作,，如貴州、寧夏,、甘肅,、內(nèi)蒙古等地。我們已經(jīng)有了一些接洽,，希望能夠使用他們提供的算力,。

未來(lái)我們希望算力就像電力一樣，能夠提供給用戶使用,，但現(xiàn)在還沒有那么容易,，因?yàn)樗懔χg差異很大，超算計(jì)算和云計(jì)算之間有很大差別,，包括配置和使用方法都不同,。但是這些都會(huì)慢慢統(tǒng)一，算力作為基礎(chǔ)設(shè)施會(huì)逐漸統(tǒng)一起來(lái),。

當(dāng)前所謂的算力調(diào)度實(shí)際上是將用戶的計(jì)算任務(wù)分配到其他地方去執(zhí)行,。例如，用戶通過操作中心的平臺(tái)提交作業(yè),，然后我們將計(jì)算任務(wù)調(diào)度到百度平臺(tái)上完成,，這是一個(gè)任務(wù)調(diào)度的過程。算力調(diào)度的概念也是近年來(lái)才出現(xiàn)的，隨著算力逐漸成為基礎(chǔ)設(shè)施,，我們的調(diào)度也會(huì)逐漸進(jìn)步,，以提供更加順暢的服務(wù)給用戶。標(biāo)準(zhǔn)和規(guī)范的制定也會(huì)在行政過程中進(jìn)行,。

上海超算中心作為上海市的公共服務(wù)平臺(tái),，我們的能力可能有限，但我們更多地致力于建立接入和調(diào)度的標(biāo)準(zhǔn),，讓更多的商業(yè)公司,、科研單位和市民都能夠輕松方便地接入算力資源。

澎湃科技：目前,，算力調(diào)度的難點(diǎn)在哪,？

李根國(guó)：主要包括接入標(biāo)準(zhǔn)制定和算力差異。另外是數(shù)據(jù)傳輸,，網(wǎng)絡(luò)也是一個(gè)重要的限制因素,。例如，大規(guī)模數(shù)據(jù)傳輸在西部地區(qū)可能會(huì)遇到瓶頸,。不過,，隨著技術(shù)的改進(jìn)，整個(gè)網(wǎng)絡(luò)也在不斷改善中,。

“還沒有看到本質(zhì)上的突破”

澎湃科技：兩位從個(gè)人角度來(lái)說(shuō),，對(duì)于這次生成式AI熱潮，包括通用人工智能（AGI）是什么樣的感受,，目前的路線是否能實(shí)現(xiàn)通用人工智能,？對(duì)于未來(lái)通用人工智能的發(fā)展是持擔(dān)憂還是樂觀的態(tài)度呢？

李根國(guó)：我持樂觀態(tài)度,?？萍及l(fā)展到今天，仍存在許多未知領(lǐng)域需要我們探索,。人工智能的方法可能使我們?cè)诳茖W(xué)研究方面取得更大的突破和發(fā)現(xiàn),。

趙喬：生成式人工智能是通用人工智能發(fā)展的曙光，但需要明確的是,，人工智能并不能與人類智能劃等號(hào),。在某些任務(wù)上，人工智能表現(xiàn)出色,，但在許多其他方面仍未達(dá)到理想效果,。總的來(lái)說(shuō),，對(duì)于通用人工智能的發(fā)展,，我持樂觀態(tài)度,。

此外，除了大模型的核心工作外,，我們也看到了許多周邊工作的開展,，例如LangChain（注：一個(gè)用于開發(fā)由語(yǔ)言模型驅(qū)動(dòng)的應(yīng)用程序的框架）等,，這將讓大模型成為內(nèi)核,，同時(shí)推動(dòng)通用人工智能的發(fā)展。

整個(gè)領(lǐng)域充滿了技術(shù)創(chuàng)新和活力,。作為一個(gè)偏向底層技術(shù)的團(tuán)隊(duì),，我們不僅關(guān)注通用人工智能的路線，還關(guān)注其他經(jīng)典科研路線,，如AI for Science等,。對(duì)于我們團(tuán)隊(duì)來(lái)說(shuō)，有很多事情需要去做,，除了支持不同技術(shù)路線的發(fā)展外,，我們還需要更好地對(duì)接算力、消除不同芯片之間的差異,，并提供更好的開發(fā)服務(wù),。

澎湃科技：有觀點(diǎn)認(rèn)為此次生成式AI的技術(shù)熱潮本質(zhì)上并沒有帶來(lái)非常新的技術(shù)創(chuàng)新，而更多地是工程上的成就,，兩位對(duì)此持什么觀點(diǎn),？此外，你們認(rèn)為近期最重要的科技進(jìn)展是什么,？

李根國(guó)：就我個(gè)人而言,，ChatGPT是將人工智能應(yīng)用于自然語(yǔ)言生成領(lǐng)域的突破。此前,，人工智能也經(jīng)歷過熱潮,，例如20世紀(jì)80年代，可能更多關(guān)注算法,，比如機(jī)器學(xué)習(xí)方法的改進(jìn)等,。但幾次熱潮都暴露出一個(gè)問題,，那就是我們的計(jì)算能力跟不上發(fā)展的速度。現(xiàn)在，我們感覺到算力是可以跟得上的,，盡管成本很高。

過去,，人工智能在語(yǔ)言方面的生成一直受限,，但通過引入大模型，我們看到了革命性的變化,。這可能只是突破的開始,，接下來(lái)可能會(huì)出現(xiàn)人工智能的理論體系和框架,。因此，我們認(rèn)為目前只是看到了一些現(xiàn)象上的突破,，但還沒有看到其本質(zhì)上的突破,。

我最近關(guān)注的科技進(jìn)展，就是在科學(xué)研究領(lǐng)域出現(xiàn)了一些突破和發(fā)展,。舉個(gè)例子,，之前提到了醫(yī)藥方面的進(jìn)展。而最近的突破是在天氣預(yù)報(bào)領(lǐng)域,。傳統(tǒng)的天氣預(yù)報(bào)需要強(qiáng)大的計(jì)算能力支持,。我們現(xiàn)在在計(jì)算尺度上取得了突破，例如縮小到1公里精確度,，而以前是基于3公里的天氣預(yù)報(bào),。這意味著我們可以提供更精確的局部天氣預(yù)報(bào)，例如指明浦東下雨而浦西不下雨,，所以人工智能應(yīng)用于天氣預(yù)報(bào)能夠算得快且算得準(zhǔn),。另外，還有一個(gè)最新的進(jìn)展是在近半年,，我在好幾個(gè)領(lǐng)域里面都看到了人工智能應(yīng)用科學(xué)研究后,，產(chǎn)生了新的發(fā)現(xiàn)。

趙喬：作為從業(yè)者,，我認(rèn)為在工程技術(shù)創(chuàng)新方面是有突破性成果的,，這次熱潮給人們帶來(lái)了更多的關(guān)注。例如,，大家通過嘗試不同的方法和策略,，實(shí)現(xiàn)了大模型的高效表現(xiàn)，這是技術(shù)上的一個(gè)突破,。另外,，產(chǎn)品用戶交互方面也出現(xiàn)了一些突破，這些領(lǐng)域的產(chǎn)品增長(zhǎng)也非常顯著,。

關(guān)于最近看到的重要科技進(jìn)展,，我覺得開源技術(shù)的發(fā)展是最令人深刻的。在半年的時(shí)間里,，開源技術(shù)的發(fā)展非常迅速,。雖然對(duì)于百度來(lái)說(shuō)，我們對(duì)這些技術(shù)比較熟悉,，但對(duì)于更多希望獲得大模型技術(shù)的人來(lái)說(shuō),，這些技術(shù)可能是神秘的，不知道如何應(yīng)用和獲得好的效果,。然而,，最近半年,，從大模型的開發(fā)訓(xùn)練到推理部署的技術(shù)，開源技術(shù)的發(fā)展變化非?？焖?，幾乎每周都有新變化。這種開源的創(chuàng)新推動(dòng)著人工智能領(lǐng)域的進(jìn)步,，比我們過去幾年見到的創(chuàng)新更快,，更多。