來源:科技每日推送
主持人:尊敬的來賓,,女士們,、先生們,專家學者,開發(fā)者,企業(yè)家們,大家上午好。
歡迎蒞臨2024AI智領者峰會,我是來自阿里云的AI主持人通義,。很高興在我國全國的經濟性經濟中心城市和國家創(chuàng)新型城市,粵港澳大灣區(qū)核心城市深圳與大家相遇,。45年前深圳市建立經濟特區(qū),,作為中國改革開放的窗口,創(chuàng)造了舉世矚目的深圳速度,。創(chuàng)新是深圳這座城市的特點,,特質和品牌,如今,,當人工智能科技的浪潮席卷而來,,我們見證了AI如何以前所未有的速度重塑了經濟和生活,這座城市也正在以科技創(chuàng)新之際,,拓展創(chuàng)新之路,,最終呈高質量發(fā)展之效,。今天,我們從這里出發(fā),,共話人工智能大模型的實踐方向和應用的未來,,加速推動大灣區(qū)乃至全國快速探索出一條適合自己的智能化創(chuàng)新之路,。首先,有請阿里云智能集團副總裁,、公共云首席解決方案架構師 韓鴻源帶來開場演講云計算加速AI爆發(fā)。掌聲歡迎,。
韓鴻源:各位尊敬的嘉賓大家早上好,。
歡迎大家來到AI智領者峰會會場,我來簡單向大家介紹一下我們在云和AI方向的發(fā)展和未來發(fā)展方向的一些看法,。
首先,,先回顧一下云計算一個發(fā)展過程,從2006年云計算誕生開始,,其實云計算經歷一個快速發(fā)展的迭代過程,,云和云上承載的應用相互促進,形成今天非常蓬勃云計算整個的趨勢,,在這個趨勢上來講,,回顧一下過程里面幾個關鍵的時間段,最開始的時候,,其實云計算承載的是把線下的這些IT技術能力搬到云上去,,降低成本和方便管理能力這些方面的提升,當然到今天為止其實很多人認為云計算還是停留在這個階段上,,但實際上云計算經過了其他很多快速發(fā)展的階段,,比如走過了初期的管理能力提升和降低成本階段之后,,云上誕生了像云原生這樣的新的開發(fā)范式。這個新的開發(fā)范式加速很多應用的迭代和能力的提升,,包括也促進云計算本身的一些發(fā)展,,在云原生技術普及之后,其實下一個階段里面誕生很多先進架構的需求,,這個需求來自于當越來越多的關鍵業(yè)務系統(tǒng)承載在云上的時候,,對云計算提出了更多的要求,這個時候可以看到在云上做這些高可用容災各方向的這些發(fā)展,,包括架構上怎么更好支撐這些業(yè)務系統(tǒng),,保證業(yè)務系統(tǒng)連續(xù)性和可靠性的同時,能夠提升運行效率,,提出很多新的挑戰(zhàn),同時很多新興的公司體會到云計算帶來新的好處,,就是傳統(tǒng)行業(yè)里當要做業(yè)務連續(xù)性和高可用性的時候,,其實是一個非常高的門檻,但是當結合云計算做這件事情的時候,,通過軟件定義的方式非常簡單在非常小的規(guī)模下使用到具有高可靠性,,高可用性這些基礎設施,來構建自己業(yè)務系統(tǒng)和保證業(yè)務系統(tǒng)的連續(xù)運行,。走過這個階段之后,,后續(xù)是一個全球化的蓬勃發(fā)展,尤其是當國內企業(yè)參與到全球化進程中的時候帶來很多新的變化,,就是在近幾年的全球化里面其實云計算面臨很多的挑戰(zhàn),,比如像合規(guī)、數據主權相關的話題,,當云計算面臨挑戰(zhàn)的時候,,大家一起做了非常多的工作之后,解決掉了這方面絕大部分的擔心,,所以也促成了全球化的蓬勃發(fā)展,,促成了國內企業(yè)出海非常蓬勃的發(fā)展。
走過這個階段之后,,最近這兩年大家看到生成式AI的爆發(fā)和帶來一些新的需求,,在這個階段里。就是大家今天最關心的情況,,不管是大模型還是其他的生成式AI,,帶來了新的基礎設施和基礎能力的需求,同時也為應用帶來新的發(fā)展機會,。我們預計在下個階段里面隨著人工智能技術的持續(xù)發(fā)展和成本的持續(xù)降低,,人工智能會走到一個無處不在的狀態(tài),,這是未來新的發(fā)展階段,我們今天努力去幫助大家一起去走向這個階段,,鋪平走向這個階段所有的技術能力和技術手段方面的準備,。
回到現在說的生成式AI爆發(fā)階段上,大家可以感受的到是說,,今天在生成式AI爆發(fā)的階段里面,,其實云計算幫助生成式AI做到讓所有人可以非常容易使用到這些技術手段,包括技術能力方面的提升,,讓大家可以有效地去運行所有技術負載,。我這里列了一下,從計算,、數據,、開發(fā)、部署各個方向來講,,今天的生成式AI對所有的技術能力提出非常多新的挑戰(zhàn),,這些挑戰(zhàn)包括計算能力提升到今天大家看到的EFLOP(音)級別的能力需求,包括持續(xù)運行一個訓練任務,,可能需要運行周或者月級別的時長才能讓它拿到有效的結果,。數據方面來講其實是TB、PB級的數據會成為常態(tài)參與到所有的密集計算過程里,,才能產生想要的結果來,。在開發(fā)過程里,很多時候模型的探索是面臨著非常多的技術基礎工作,,這些工作里面其實怎么樣高效開展工作,,也是需要有一個有效平臺支撐它的運轉。最后,,實際上今天大家可以看到,通過這邊提供一些信息,,今天絕大部分跟AI相關的工作,,其實是承載在云上的,絕大部分組織使用了這些云的能力,,也是通過在云上使用更有效地讓它們發(fā)揮作用的,。
作為一個云計算公司,在我們的平臺上持續(xù)在追求一個極致的性能和彈性方向上的持續(xù)提升,,來有效地支撐剛才提到不管存儲計算網絡還是軟件能力層面各個方面的提升需求,。結合這幾個方面來看,我簡單匯報一下我們在計算,、存儲,、網絡,、大數據幾個方向的一些進展。
可以看到,,雖然經過十幾年的發(fā)展,,但今天阿里云在每年每個階段里面持續(xù)提升自己的技術能力,包括在AI方向上,,我們自研自己的服務器,,在自己的集群里面去探索更大規(guī)模集群下能夠有效運行計算負載。存儲方向來講,,怎么讓存儲不成為AI訓練和所有AI工作的瓶頸,,去提升它的運行效率。在網絡方面怎么樣能夠去更有效地讓更大的集群有機結合起來,,更好有效地開展工作,。數據庫和大數據方面來講其實更多承載大家看到更偏傳統(tǒng)一些的負載,但是當它跟AI做結合的時候,,當新的應用在AI方向上做了更多事情的時候,,也會對這些技術能力提出很多新的要求,我們也配合這些能力做了非常多新的提升,,包括數據庫響應每年雙十一和所有促銷活動里面的業(yè)務壓力,,包括像大數據里面流失去處理每秒鐘幾億次,每秒鐘幾億TB級的這種存儲量,。
除了這些之外今天還有一個新的趨勢,,云計算逐漸走向serverless化,任何AT系統(tǒng)運轉不可能沒有服務器,,serverless講的不是沒有服務器,,是服務器對用戶的使用沒有感知。就是當你去使用這些云上服務能力的時候,,并不需要感知這些物理服務器的存在,,不需要感知這些物理存在情況下,可以更有效地使用這個服務,,這樣會大大簡化企業(yè)使用IT計算能力的難度和方便大家開發(fā)新的應用,。這是我們現在新的追求方向,今天大家感受AI的使用也是serverless的方式,,大家去調云上所有這些AI服務的時候,,你不會知道這個服務運行在什么樣的服務器上,你也不需要關注這個服務運行在什么樣的服務器上,,你去使用這個服務有效地滿足業(yè)務需求就好了,。
結合這點之后,現在看到一個新的發(fā)展方向,在傳統(tǒng)意義上,,大家一般會認為云計算組成是由基礎設施和一些軟件層技術去實現的,。但是現在隨著人工智能一步一步的發(fā)展,我們覺得今天需要把另外一個因素引進到技術站里面來,,就是模型及服務的服務能力,。這個服務能力有一個很大的變化,和以前比起來有很大的區(qū)別,,以前大家永德不管是IaaS,、PaaS都是傳統(tǒng)大家使用的計算能力,這些更偏傳統(tǒng)計算機架構下有效執(zhí)行的能力,。但是當走到今天以模型和AI為中心的時候帶來一個新的變化,,神經網絡會成為計算能力一個基礎的組成部分,神經網絡的計算方式跟以前的傳統(tǒng)機器指令的執(zhí)行方式間會有很大的差異,,結合這個新的計算方式引入會帶來很多新的變化,,資源池的變化,管理方式的變化,,技術能力組織的變化,,所有這些變化加在一起其實今天看到的我們認為未來可能會從IaaS、PaaS走到IaaS,、PaaS+MaaS三個方向,,一起結合支撐業(yè)務系統(tǒng)和應用有效地運行和發(fā)展。
說到這點之后,,談一下今天主要的話題,,我這里畫了一幅圖,這個圖畫得比較簡單,,不是一個面面俱到地想覆蓋一切的圖,。但是從詩意的角度來講,今天非常熱門大語言模型這個方向來講,,畫這個圖想說今天用戶去使用這個模型的時候并不需要去掌握模型的原始訓練所有的細節(jié),,這個圖分了三個階段,上面畫了我們去承載不同的工作負載大家會是什么樣的架構在做,。從最左邊開始,,其實基礎模型的訓練,很多時候在今天來講,,大家可以感受得到從去年的百模大戰(zhàn)到現在以后可能不再會有那么多的模型存在了,,模型的競爭會越來越激烈,,想訓一個好的模型,,想讓市場上有競爭力不是那么容易的事情。其實往下走的時候,不管是對技術資源的需求,、投入資金的要求,,還有對技術能力的要求,這都會越來越高,,這個方向來講會經歷一個比較殘酷淘汰的過程,。這個之后流程里面,在使用模型階段里面,,可以看成兩個小段,,以前當大語言模型剛出來的時候,大家非常喜歡做的一件事情就是模型微調,,就是我針對特定的業(yè)務方向,,希望能把我享有的領域支持注入模型里面,讓模型按我希望的方式回答我的問題,,去處理我給它的請求,。但是這個需求今天不會是繼續(xù)像以前那么強了,原因是什么,?當基礎模型泛化能力越來越強的時候,,當它能夠去做更多處理的時候,模型的微調有時候不一定是最好的選擇,。當然不管模型經不經過微調,,最終可能走到下面真正用的時候,其實是走到推理服務的階段,,就你是一個基礎模型也好,,是一個定制模型也好,當你走到推理的時候是模型真正發(fā)揮作用的時候,。在這個推理流程里,,今天從應用側去看的時候,不管今天訪問的是任何一個AI的模型服務,,本質上來講它不是一個原始的推理服務,。推理服務實際上通過API訪問的,訪問的時候實際上中間有很多串入環(huán)節(jié)的,,當你訪問的你認為是模型服務的時候,,有可能里面有其他的處理流程在里面。我這里畫了一下,,這邊有一些提示詞的優(yōu)化嵌入到里面去,,也有像下面增強生成語料的提供結合在一起去做的,右側畫了一個示意的應用,,這個應用除了使用AI能力之外,,它還會像以前一樣地去使用所有云上這些基礎能力,不管是PaaS也好,還是IaaS也好,,這可能是未來應用運行的大概形態(tài),。在這個形態(tài)來講從用戶側來講,更多還是關注在應用這一側,,怎么跟模型做好接口使用的作用,,而不需要去關注太多模型內部到底怎么樣把它訓出來,因為使用一個基礎模型不意味著你要去訓練一個基礎模型,,你完全可以使用很多現成的服務,,當你理解了更多原理的時候,可以讓你更好使用這個模型,,但是不意味著你要從頭做起這些訓練工作和基礎工作,。
說到剛才幾個階段,PAI,、靈駿簡單和大家講一下,。PAI、靈駿是今天云計算基礎設施級的基礎能力,,結合上層軟件能力一體化的整體訓練平臺,。在這個平臺上,它會給以前的IT帶來新的可以值得大家反思的地方,,隨著生成式AI的持續(xù)發(fā)展,,今天有一個很大的變化,以前云計算把大家線下的負載搬到云機房里面去,,可能改造或者不改造沒有關系,,云上也不會帶來翻天覆地的變化,當今天要訓練的模型大到可能需要萬卡甚至于更多卡的時候,,這個能力可能不是大家選一個機房,,在里面把服務器把網絡連上可以運載的狀況,它已經變成了非常專業(yè)的工作領域,,當你要優(yōu)化大規(guī)模計算基礎設施的時候,,其實這個東西可能隨著未來隨著商業(yè)化分工的越來越強,會更多由云計算廠商承載,,而不是由每一個客戶搭建這個系統(tǒng),,因為畢竟大家在這塊技術上是有分工的。
說一些指標性的東西,。今天計算里面用到的網絡已經是每秒鐘能夠傳遞3.2個TBPS的數據,,網絡的延時都是個位數微妙級的,對存儲的需求是幾十TB的這種大B級吞吐量的需求,,持續(xù)連續(xù)性不出現問題,,或者出現問題不影響工作,,至少達到幾周的工作才能確保大參數模型有效地得到訓練。
說完訓練相關的事情,,下一步模型使用有兩個典型的鏈路,模型的推理,,其實推理這件事情本質是一個原始的操作,,真正去用模型的時候,其實用戶完全可以選擇基于這種技術模型喂給它相應的提示詞,,喂給它相應希望能夠知道的上下文也好,,讓它更好的運轉。
另外一點在模型使用過程中有很多技巧性的東西,,或者有很多的技術環(huán)節(jié)可以幫助大家讓模型發(fā)揮作用,。下面那條線模型的定制其實不意味著要改模型參數,很多時候的定制其實怎么樣更有效地讓模型在一個更好的環(huán)境里去運行的時候能夠發(fā)揮出你想要的效果來,。這塊來講新的一些發(fā)展趨勢包括智能體的做法,,包括結合RAG去做知識管理的做法,現在逐步經過很多探索之后,,今天的很多應用逐漸走向成熟,。這一塊在客戶業(yè)務系統(tǒng)里面來講,可以更簡單有效使用這些模型的能力,,通過這些更靈活的方式結合,,能夠讓它更好地發(fā)揮作用。
再往下,,模型會是一個非常豐富的生態(tài),,在今天來講,在我們的平臺上,,去支持大家去運行的模型包括自己自產的模型,,這里列出來所有通義系列的模型,包括千問,,包括有通義的多模態(tài)萬象的模型還有通義的VR視覺和語言結合的模型,。除了這個之外,我們的平臺今天是一個開放的運行方式,,它的承載能力可以去支持三方的這些模型和經過調整的垂直模型的有效運行,。今天大家比拼模型之外,還要比拼模型的服務能力,。模型服務這件事來講,,我們提供有效運行模型的平臺,是幫大家更有效更低成本地讓模型能夠發(fā)揮它應該發(fā)揮的作用,。除了這兩點之外,,還有更重要一條怎么樣跟開發(fā)者社區(qū)有效地結合起來,,能夠為大家提供一個可以在模型上更方便地開展工作,更方便地獲取模型和把自己的成果發(fā)布出來的平臺,。這是下面列出來這些,,像model scope平臺,今天國外的huggingface平臺,,結合在一起是為大家提供一個更好的持續(xù)發(fā)展下去的生態(tài)環(huán)境,。
跟大家匯報一下我們自己模型的進展。
在自己研究模型這件事來講,,有一個很重要的原因,,就是當我搭建前面大家看到的這些有效的訓練也好,推理也好的平臺的時候,,它總要有一個載體驗證它的效果是不是可以有效運轉,,所以我們自己的通義模型是一個很好的證明,我們今天搭建的所有這些平臺級的能力,,可以有效去訓練出好的模型來和讓好的模型在上面提供好的服務能力,。
這邊可以看到通義其實品牌的發(fā)布是2022年的9月份,通義千問大語言模型發(fā)布是2023年4月份,。當時剛發(fā)布的時候,,早期用戶可以體會到初級版本一些不成熟的地方,但是后續(xù)做了非常多模型的迭代,。到去年8月的時候通義模型相對能力比較完整了,,到去年10月份的時候,通義2.0發(fā)布之后,,這個模型能力其實已經完全具備今天主流的先進模型能力,。除了這個方向之外,我們今天也在做的一件事情,,我們在提供商業(yè)模型的同時,,其實提供非常多開源的貢獻,通義今天可能是市場上開放的參數最大最完整最成體系的模型系列,,就是我們從7B的模型開始開源,,到后來7B、14B,,一直迭代到72B,。包括今年4月份我們其實開放千億級參數的通義的千問模型。
在開放的體系里可以發(fā)現,,整個社區(qū)里面,,通義開源模型的下載量和使用量非常高,尤其國內的很多用戶,,包括很多海外用戶里面,,通義的開源模型有非常好的用戶基礎和非常好的口碑存在,。除了這個之外,通義模型商業(yè)版本,,我們自己在持續(xù)發(fā)展的模型也在不停的發(fā)展,,今年5月份的時候上個月在北京開峰會的時候發(fā)布通義千問2.5的版本,這個版本標志著模型的能力進入到了下一個非常高性能的階段,,大家如果有興趣盡可能嘗試新版本,,其實還是能持續(xù)給大家?guī)硪恍┬碌捏@喜。
商業(yè)模型本身,,魔搭社區(qū),這個社區(qū)是我們?yōu)橹鲗ソM建的一個開放社區(qū),。這個社區(qū)歡迎大家加入,,歡迎大家在這個社區(qū)上面使用包括反饋大家的相關意見,包括在上面去上傳自己的模型,,去下載別人提供的模型,,大家一起促成整個模型的開放生態(tài),未來更有效,,更蓬勃的發(fā)展下去,,讓整個AI的環(huán)境得到更蓬勃的發(fā)展。
我們的看法,。今天在云上去結合我的生成式AI模型服務能力,,構建新一代的應用,或者去改造現有的應用里面加入更多的智能能力,,這個可能是我們目前最希望和大家一起探討和持續(xù)發(fā)展的方向,,希望后續(xù)能跟大家有更多的機會,在這件事情上展開更多的合作,。謝謝大家,!
免責聲明:本文來自網絡收錄或投稿,觀點僅代表作者本人,,不代表芒果財經贊同其觀點或證實其描述,,版權歸原作者所有。轉載請注明出處:http://lequren.com/1107084.html
溫馨提示:投資有風險,,入市須謹慎,。本資訊不作為投資理財建議。