了解生成式AI模型的碳足跡。

編者按：生成式人工智能推動(dòng)整個(gè)社會(huì)、技術(shù)和生產(chǎn)力的提升，但這些模型隱藏的環(huán)境成本和影響往往被忽視,。本文分享八個(gè)步驟來(lái)使這些系統(tǒng)更環(huán)保：使用現(xiàn)有的大型生成模型,；對(duì)現(xiàn)有模型進(jìn)行微調(diào),；使用節(jié)能計(jì)算方法,；只有在提供重大價(jià)值時(shí)才使用大型模型,；辨別何時(shí)使用生成式人工智能,；評(píng)估云提供商或數(shù)據(jù)中心能源；重用模型和資源,；了解人工智能活動(dòng)的碳活動(dòng)足跡,。文章來(lái)自編譯。

雖然ChatGPT,、BERT,、LaMDA、GPT-3,、DALL-E-2,、MidJourney和Stable Diffusion等新型生成式AI工具在更多領(lǐng)域中得到廣泛應(yīng)用，但這些模型所暗藏的環(huán)境成本和影響卻通常被人忽視,。這些系統(tǒng)的開(kāi)發(fā)和使用耗能巨大，維護(hù)其物理基礎(chǔ)設(shè)施也很耗費(fèi)電力?，F(xiàn)在,，這些工具剛剛開(kāi)始獲得主流關(guān)注，但我們有理由相信,，這些成本在不久的將來(lái)定會(huì)增長(zhǎng),，而且是大幅增長(zhǎng)。

數(shù)據(jù)中心行業(yè)是指用于存儲(chǔ)和管理信息和通信技術(shù)系統(tǒng)的物理設(shè)施,，占全球溫室氣體(GHG)排放量的2-3%,。全世界的數(shù)據(jù)量每?jī)赡攴环?shù)據(jù)中心的服務(wù)器存儲(chǔ)著不斷擴(kuò)大的信息海洋,，需要大量的能源和水來(lái)運(yùn)行計(jì)算機(jī)服務(wù)器,、設(shè)備和冷卻系統(tǒng),。這些系統(tǒng)約占丹麥用電量的7%，占美國(guó)用電量的2.8%,。

幾乎所有最著名的生成式人工智能模型都是由超大規(guī)模的云提供商生成的,，這些云提供商擁有成千上萬(wàn)臺(tái)服務(wù)器，會(huì)產(chǎn)生大量碳足跡,。特別是,，這些模型是在圖形處理單元（graphics processing unit，GPU）芯片上運(yùn)行的,。這些芯片所需的能量是傳統(tǒng)中央處理單元（CPU）的10-15倍,，因?yàn)镚PU在算術(shù)邏輯單元中使用了更多的晶體管。目前,，三家主要超大規(guī)模云提供商是亞馬遜云科技（AWS）,、谷歌云（Google Cloud）和微軟云（Microsoft Azure）。

如果我們?cè)噲D從碳足跡的角度來(lái)理解ChatGPT對(duì)環(huán)境的影響,，那么我們應(yīng)該首先了解機(jī)器學(xué)習(xí)（ML）模型的碳足跡生命周期,。這是通過(guò)降低能耗讓生成式人工智能變得更加綠色的關(guān)鍵所在。

是什么決定了生成式人工智能模型的碳足跡?

所有大型生成模型在能源使用和碳排放方面都是不一樣的,。在確定機(jī)器學(xué)習(xí)模型的碳足跡時(shí),，需要考慮三個(gè)不同的值：

• 訓(xùn)練模型產(chǎn)生的碳足跡；

• 一旦部署了機(jī)器學(xué)習(xí)模型,，使用ML模型進(jìn)行推理（使用新輸入數(shù)據(jù)推斷或預(yù)測(cè)結(jié)果）所產(chǎn)生的碳足跡,；

• 生產(chǎn)所有所需計(jì)算硬件和云數(shù)據(jù)中心能力所需的碳足跡。

擁有更多參數(shù)和訓(xùn)練數(shù)據(jù)的模型通常會(huì)消耗更多能量,，產(chǎn)生更多碳,。GPT-3是 ChatGPT的“母”模型，其規(guī)模在生成式模型中名列前茅或接近前茅,。它有1750 億個(gè)模型參數(shù),，并在超過(guò)5000億字的文本上進(jìn)行過(guò)訓(xùn)練。一篇研究文章指出,，與上一代人工智能模型相比,，最近的生成式人工智能模型需要增加十倍到百倍的計(jì)算能力來(lái)訓(xùn)練模型，具體取決于哪種模型,。因此,，總體需求大約每六個(gè)月翻一番。

訓(xùn)練模型是生成式人工智能最耗能的部分,。研究人員認(rèn)為,，訓(xùn)練一個(gè)“單個(gè)大型語(yǔ)言深度學(xué)習(xí)模型”（如OpenAI推出的GPT-4或谷歌推出的PaLM）估計(jì)要消耗約300噸二氧化碳。相比之下,，平均每人每年要產(chǎn)生約5噸二氧化碳,，而北美人平均每年要產(chǎn)生是其數(shù)倍的二氧化碳,。根據(jù)其他研究人員的計(jì)算，使用一種名為“神經(jīng)架構(gòu)搜索”（neural architecture search）技術(shù)訓(xùn)練一個(gè)中等規(guī)模的生成式人工智能模型所消耗的電力和能源相當(dāng)于626,000噸二氧化碳排放量,，或者說(shuō)相當(dāng)于駕駛五輛普通美國(guó)汽車(chē)終生所產(chǎn)生的二氧化碳排放量,。從頭開(kāi)始訓(xùn)練一個(gè)BERT模型（谷歌開(kāi)發(fā)的一種大型語(yǔ)言模型）所需的能源和碳足跡相當(dāng)于一次橫跨大西洋的飛行。

部署人工智能模型,，讓它們?cè)诂F(xiàn)實(shí)環(huán)境中采取行動(dòng)——這個(gè)過(guò)程被稱(chēng)為推理,，該過(guò)程的能耗比訓(xùn)練環(huán)節(jié)更高。推理,，或使用模型響應(yīng)用戶(hù)輸入的提示問(wèn)題,，雖然每次對(duì)話(huà)消耗的能量不多，但對(duì)話(huà)次數(shù)卻不計(jì)其數(shù),。有時(shí)這些模型只訓(xùn)練一次,，然后部署到云中，供數(shù)百萬(wàn)用戶(hù)進(jìn)行推理,。在這種情況下,，將大型深度學(xué)習(xí)模型部署到云端進(jìn)行推理也會(huì)消耗大量能源。分析人士報(bào)告稱(chēng),，實(shí)際上,，英偉達(dá)公司（Nvidia）估計(jì)，神經(jīng)網(wǎng)絡(luò)80％至90％的能量消耗出現(xiàn)在推理環(huán)節(jié),，而不是訓(xùn)練環(huán)節(jié),。

除了大型生成模型的初始訓(xùn)練和推理使用的能量外，這些模型的用戶(hù)和經(jīng)銷(xiāo)商越來(lái)越多地采用微調(diào)或基于提示的訓(xùn)練,。當(dāng)與經(jīng)過(guò)大量數(shù)據(jù)訓(xùn)練的原始生成模型相結(jié)合時(shí),，微調(diào)允許模型根據(jù)組織的特定內(nèi)容定制提示和答案。一些研究表明,，微調(diào)訓(xùn)練比初始訓(xùn)練消耗的能量和計(jì)算能力要少得多,。但是，如果許多組織采用微調(diào)方法并經(jīng)常這樣做,，總體能耗可能會(huì)相當(dāng)高,。

盡管很難計(jì)算運(yùn)行所有這些人工智能軟件所需的成本，但人們有理由相信這個(gè)成本非常高,。2011年的一項(xiàng)研究估計(jì)，一臺(tái)普通筆記本電腦70%的能源消耗是在制造過(guò)程中產(chǎn)生的,，臺(tái)式電腦的能耗甚至更高,。很有可能的是，用于運(yùn)行AI模型的復(fù)雜而強(qiáng)大的GPU芯片和服務(wù)器在能耗方面遠(yuǎn)遠(yuǎn)高于筆記本電腦和臺(tái)式電腦,。

如何讓人工智能更環(huán)保

考慮到這一切,，現(xiàn)在有一種運(yùn)動(dòng)使人工智能建模,、部署和使用更具環(huán)境可持續(xù)性。它的目標(biāo)是用更合適,、更環(huán)保的替代品取代耗電的方法,。供應(yīng)商和用戶(hù)都需要做出改變，使人工智能算法變得更加環(huán)保,，這樣它們的效用才能在不損害環(huán)境的情況下得到廣泛部署,。特別是生成式AI模型，鑒于它們的高能耗,，它們需要在普及之前變得更加環(huán)保,。通過(guò)好幾種不同的方式，AI和生成式AI可以朝這個(gè)方向發(fā)展,，接下來(lái)我們會(huì)在下文描述,。

使用現(xiàn)有的大型生成模型，不要生成自己的模型?，F(xiàn)在已經(jīng)有很多大型語(yǔ)言和圖像模型提供商,，而且未來(lái)還會(huì)有更多。創(chuàng)造和訓(xùn)練這些模型需要大量的能源,。除了大型供應(yīng)商或云提供商之外,，其他公司幾乎不需要自己生成大型人工智能模型。他們已經(jīng)可以在云端獲取所需訓(xùn)練數(shù)據(jù)和海量的計(jì)算能力,，因此他們不需要獲取這些數(shù)據(jù),。

對(duì)現(xiàn)有模型進(jìn)行微調(diào)訓(xùn)練。如果一家公司希望按照自己的內(nèi)容訓(xùn)練生成式模型,，它不應(yīng)該從頭開(kāi)始訓(xùn)練模型,，而是應(yīng)該改進(jìn)現(xiàn)有的模型。相比于從頭開(kāi)始訓(xùn)練新的大型模型,，在特定內(nèi)容領(lǐng)域進(jìn)行微調(diào)并及時(shí)訓(xùn)練所消耗的能量要少得多,。它還可以為許多企業(yè)提供比一般訓(xùn)練模型更多的價(jià)值。對(duì)于希望針對(duì)自己的內(nèi)容采用生成式AI模型的公司而言,，這才是主要關(guān)注點(diǎn),。

使用節(jié)能計(jì)算方法。另一種減少生成人工智能能耗的方法是使用計(jì)算成本較低的方法來(lái)處理數(shù)據(jù),，如TinyML,。TinyML框架允許用戶(hù)在小型、低功耗的邊緣設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型,，比如帶寬要求低的微控制器(不需要將數(shù)據(jù)發(fā)送到服務(wù)器進(jìn)行處理),。一般CPU平均耗電70瓦，GPU消耗400瓦的功率,，而一個(gè)微型微控制器僅耗電幾百微瓦,，相比前兩者,，其耗電減少一千倍。這樣就可以保證模型在本地處理數(shù)據(jù),，而不需要將數(shù)據(jù)發(fā)送到數(shù)據(jù)服務(wù)器,。

只有當(dāng)大型模型提供重大價(jià)值時(shí)才使用它。對(duì)于數(shù)據(jù)科學(xué)家和開(kāi)發(fā)人員來(lái)說(shuō),，了解模型在哪里提供價(jià)值是很重要的,。如果使用3倍以上的耗電系統(tǒng)僅能讓模型增加1-3%的計(jì)算精度，那么額外的能耗就不值得,。更廣泛而言,，機(jī)器學(xué)習(xí)和AI并不總是解決問(wèn)題所必需的。開(kāi)發(fā)人員首先需要對(duì)多種備選解決方案進(jìn)行研究和分析,，并根據(jù)研究結(jié)果選擇一種方法,。例如，蒙特利爾人工智能倫理研究所(Montreal AI Ethics Institute)正在積極研究這個(gè)問(wèn)題,。

當(dāng)你使用生成式AI時(shí),，要有鑒別力。機(jī)器學(xué)習(xí)和NLP工具對(duì)于醫(yī)療相關(guān)的健康問(wèn)題和預(yù)測(cè)是革命性的,。它們?cè)陬A(yù)測(cè)自然災(zāi)害,，如海嘯、地震等方面非常有用,。這些都是有用的應(yīng)用程序,，但是僅用于生成博客文章或創(chuàng)建有趣故事的工具可能不是這些計(jì)算量很大的工具的最佳用途。它們對(duì)地球健康的消耗可能大于對(duì)人類(lèi)的幫助,。如果一家公司正在使用生成式人工智能進(jìn)行內(nèi)容創(chuàng)作,，它應(yīng)該盡量確保只在必要時(shí)使用這些模型，或者減少其他計(jì)算成本,，這應(yīng)該也會(huì)減少其總體計(jì)算預(yù)算,。

評(píng)估云提供商或數(shù)據(jù)中心的能源來(lái)源。在能夠使用環(huán)保能源的地區(qū)以及低碳環(huán)保的地區(qū)部署模型,，可以最大限度地降低AI（以及一般軟件）的碳強(qiáng)度,。這一做法表明，運(yùn)營(yíng)排放減少了75%,。例如,，在美國(guó)訓(xùn)練和運(yùn)行的模型可能使用來(lái)自化石燃料的能源，但同樣的模型可以在主要能源是水力發(fā)電的魁北克運(yùn)行,。谷歌最近開(kāi)始在魁北克建造一個(gè)7.35億美元的清潔能源數(shù)據(jù)中心,，并計(jì)劃到2030年轉(zhuǎn)向全天候的無(wú)碳能源。歌還提供了一個(gè)“碳感應(yīng)套件（Carbon Sense Suite）”，以幫助公司減少云工作負(fù)載的能源消耗,。云提供商的用戶(hù)可以監(jiān)控這些公司關(guān)于何時(shí)以及如何部署碳中和或零碳能源的公告。

重復(fù)利用模型和資源,。就像其他材料一樣,，技術(shù)也可以重復(fù)使用。企業(yè)可以使用開(kāi)源模型,，而不是訓(xùn)練新的模型,。循環(huán)利用可以降低人工智能產(chǎn)生碳足跡的影響。原材料可以被提取出來(lái)制造新一代的最新筆記本電腦,、處理器,、硬盤(pán)驅(qū)動(dòng)器等等。

將AI活動(dòng)納入你的碳監(jiān)測(cè),。所有研究實(shí)驗(yàn)室,、人工智能供應(yīng)商和使用人工智能的公司都需要采用碳監(jiān)測(cè)的做法，以了解模型的碳足跡,。他們還需要公布自己的足跡數(shù)字,，以便讓客戶(hù)在與他們進(jìn)行人工智能相關(guān)業(yè)務(wù)時(shí)做出明智的決定。溫室氣體排放的計(jì)算取決于數(shù)據(jù)供應(yīng)商和處理公司（如研究實(shí)驗(yàn)室）以及基于人工智能的服務(wù)提供商（如OpenAI）的數(shù)據(jù)集,。從最初的想法到會(huì)被用于獲得研究成果的基礎(chǔ)設(shè)施,，都需要遵循綠色人工智能方法。有幾個(gè)可用的軟件包和在線(xiàn)工具,，如CodeCarbon, Green算法和ML CO2 Impact,，可以在運(yùn)行時(shí)納入你的代碼中以估計(jì)你的排放量，我們應(yīng)該鼓勵(lì)開(kāi)發(fā)人員社區(qū)考慮這些性能指標(biāo)來(lái)建立基準(zhǔn)并評(píng)估ML模型,。

當(dāng)然,，組織和個(gè)人在使用生成式人工智能模型時(shí)需要考慮很多因素：道德、法律,，甚至哲學(xué)和心理學(xué),。然而，生態(tài)問(wèn)題也值得考慮,。我們可以討論這些技術(shù)對(duì)人類(lèi)的長(zhǎng)期未來(lái)影響,，但如果我們沒(méi)有一個(gè)適合居住的星球來(lái)討論這些問(wèn)題，那么這些考慮將毫無(wú)意義,。

譯者：Araon_

本文來(lái)自翻譯, 如若轉(zhuǎn)載請(qǐng)注明出處,。