了解生成式AI模型的碳足跡。

編者按：生成式人工智能推動(dòng)整個(gè)社會(huì),、技術(shù)和生產(chǎn)力的提升,，但這些模型隱藏的環(huán)境成本和影響往往被忽視。本文分享八個(gè)步驟來使這些系統(tǒng)更環(huán)保：使用現(xiàn)有的大型生成模型,；對現(xiàn)有模型進(jìn)行微調(diào),；使用節(jié)能計(jì)算方法；只有在提供重大價(jià)值時(shí)才使用大型模型,；辨別何時(shí)使用生成式人工智能；評(píng)估云提供商或數(shù)據(jù)中心能源,；重用模型和資源,；了解人工智能活動(dòng)的碳活動(dòng)足跡。文章來自編譯,。

雖然ChatGPT,、BERT、LaMDA,、GPT-3,、DALL-E-2、MidJourney和Stable Diffusion等新型生成式AI工具在更多領(lǐng)域中得到廣泛應(yīng)用,，但這些模型所暗藏的環(huán)境成本和影響卻通常被人忽視,。這些系統(tǒng)的開發(fā)和使用耗能巨大，維護(hù)其物理基礎(chǔ)設(shè)施也很耗費(fèi)電力?，F(xiàn)在，這些工具剛剛開始獲得主流關(guān)注,，但我們有理由相信,，這些成本在不久的將來定會(huì)增長，而且是大幅增長,。

數(shù)據(jù)中心行業(yè)是指用于存儲(chǔ)和管理信息和通信技術(shù)系統(tǒng)的物理設(shè)施,，占全球溫室氣體(GHG)排放量的2-3%。全世界的數(shù)據(jù)量每兩年翻一番,。數(shù)據(jù)中心的服務(wù)器存儲(chǔ)著不斷擴(kuò)大的信息海洋,，需要大量的能源和水來運(yùn)行計(jì)算機(jī)服務(wù)器、設(shè)備和冷卻系統(tǒng),。這些系統(tǒng)約占丹麥用電量的7%,，占美國用電量的2.8%。

幾乎所有最著名的生成式人工智能模型都是由超大規(guī)模的云提供商生成的,，這些云提供商擁有成千上萬臺(tái)服務(wù)器,，會(huì)產(chǎn)生大量碳足跡。特別是,，這些模型是在圖形處理單元（graphics processing unit,，GPU）芯片上運(yùn)行的。這些芯片所需的能量是傳統(tǒng)中央處理單元（CPU）的10-15倍,，因?yàn)镚PU在算術(shù)邏輯單元中使用了更多的晶體管,。目前，三家主要超大規(guī)模云提供商是亞馬遜云科技（AWS）、谷歌云（Google Cloud）和微軟云（Microsoft Azure）,。

如果我們試圖從碳足跡的角度來理解ChatGPT對環(huán)境的影響,，那么我們應(yīng)該首先了解機(jī)器學(xué)習(xí)（ML）模型的碳足跡生命周期。這是通過降低能耗讓生成式人工智能變得更加綠色的關(guān)鍵所在,。

是什么決定了生成式人工智能模型的碳足跡?

所有大型生成模型在能源使用和碳排放方面都是不一樣的,。在確定機(jī)器學(xué)習(xí)模型的碳足跡時(shí)，需要考慮三個(gè)不同的值：

• 訓(xùn)練模型產(chǎn)生的碳足跡,；

• 一旦部署了機(jī)器學(xué)習(xí)模型,，使用ML模型進(jìn)行推理（使用新輸入數(shù)據(jù)推斷或預(yù)測結(jié)果）所產(chǎn)生的碳足跡；

• 生產(chǎn)所有所需計(jì)算硬件和云數(shù)據(jù)中心能力所需的碳足跡,。

擁有更多參數(shù)和訓(xùn)練數(shù)據(jù)的模型通常會(huì)消耗更多能量,，產(chǎn)生更多碳。GPT-3是 ChatGPT的“母”模型,，其規(guī)模在生成式模型中名列前茅或接近前茅,。它有1750 億個(gè)模型參數(shù)，并在超過5000億字的文本上進(jìn)行過訓(xùn)練,。一篇研究文章指出,，與上一代人工智能模型相比，最近的生成式人工智能模型需要增加十倍到百倍的計(jì)算能力來訓(xùn)練模型,，具體取決于哪種模型,。因此，總體需求大約每六個(gè)月翻一番,。

訓(xùn)練模型是生成式人工智能最耗能的部分,。研究人員認(rèn)為，訓(xùn)練一個(gè)“單個(gè)大型語言深度學(xué)習(xí)模型”（如OpenAI推出的GPT-4或谷歌推出的PaLM）估計(jì)要消耗約300噸二氧化碳,。相比之下,，平均每人每年要產(chǎn)生約5噸二氧化碳，而北美人平均每年要產(chǎn)生是其數(shù)倍的二氧化碳,。根據(jù)其他研究人員的計(jì)算,，使用一種名為“神經(jīng)架構(gòu)搜索”（neural architecture search）技術(shù)訓(xùn)練一個(gè)中等規(guī)模的生成式人工智能模型所消耗的電力和能源相當(dāng)于626,000噸二氧化碳排放量，或者說相當(dāng)于駕駛五輛普通美國汽車終生所產(chǎn)生的二氧化碳排放量,。從頭開始訓(xùn)練一個(gè)BERT模型（谷歌開發(fā)的一種大型語言模型）所需的能源和碳足跡相當(dāng)于一次橫跨大西洋的飛行,。

部署人工智能模型，讓它們在現(xiàn)實(shí)環(huán)境中采取行動(dòng)——這個(gè)過程被稱為推理,，該過程的能耗比訓(xùn)練環(huán)節(jié)更高,。推理，或使用模型響應(yīng)用戶輸入的提示問題,，雖然每次對話消耗的能量不多,，但對話次數(shù)卻不計(jì)其數(shù),。有時(shí)這些模型只訓(xùn)練一次，然后部署到云中,，供數(shù)百萬用戶進(jìn)行推理,。在這種情況下，將大型深度學(xué)習(xí)模型部署到云端進(jìn)行推理也會(huì)消耗大量能源,。分析人士報(bào)告稱,，實(shí)際上，英偉達(dá)公司（Nvidia）估計(jì),，神經(jīng)網(wǎng)絡(luò)80％至90％的能量消耗出現(xiàn)在推理環(huán)節(jié),，而不是訓(xùn)練環(huán)節(jié)。

除了大型生成模型的初始訓(xùn)練和推理使用的能量外,，這些模型的用戶和經(jīng)銷商越來越多地采用微調(diào)或基于提示的訓(xùn)練,。當(dāng)與經(jīng)過大量數(shù)據(jù)訓(xùn)練的原始生成模型相結(jié)合時(shí)，微調(diào)允許模型根據(jù)組織的特定內(nèi)容定制提示和答案,。一些研究表明,，微調(diào)訓(xùn)練比初始訓(xùn)練消耗的能量和計(jì)算能力要少得多。但是,，如果許多組織采用微調(diào)方法并經(jīng)常這樣做,，總體能耗可能會(huì)相當(dāng)高。

盡管很難計(jì)算運(yùn)行所有這些人工智能軟件所需的成本,，但人們有理由相信這個(gè)成本非常高,。2011年的一項(xiàng)研究估計(jì)，一臺(tái)普通筆記本電腦70%的能源消耗是在制造過程中產(chǎn)生的,，臺(tái)式電腦的能耗甚至更高。很有可能的是,，用于運(yùn)行AI模型的復(fù)雜而強(qiáng)大的GPU芯片和服務(wù)器在能耗方面遠(yuǎn)遠(yuǎn)高于筆記本電腦和臺(tái)式電腦,。

如何讓人工智能更環(huán)保

考慮到這一切，現(xiàn)在有一種運(yùn)動(dòng)使人工智能建模,、部署和使用更具環(huán)境可持續(xù)性,。它的目標(biāo)是用更合適、更環(huán)保的替代品取代耗電的方法,。供應(yīng)商和用戶都需要做出改變,，使人工智能算法變得更加環(huán)保，這樣它們的效用才能在不損害環(huán)境的情況下得到廣泛部署,。特別是生成式AI模型,，鑒于它們的高能耗，它們需要在普及之前變得更加環(huán)保,。通過好幾種不同的方式,，AI和生成式AI可以朝這個(gè)方向發(fā)展,，接下來我們會(huì)在下文描述。

使用現(xiàn)有的大型生成模型,，不要生成自己的模型?，F(xiàn)在已經(jīng)有很多大型語言和圖像模型提供商，而且未來還會(huì)有更多,。創(chuàng)造和訓(xùn)練這些模型需要大量的能源,。除了大型供應(yīng)商或云提供商之外，其他公司幾乎不需要自己生成大型人工智能模型,。他們已經(jīng)可以在云端獲取所需訓(xùn)練數(shù)據(jù)和海量的計(jì)算能力,，因此他們不需要獲取這些數(shù)據(jù)。

對現(xiàn)有模型進(jìn)行微調(diào)訓(xùn)練,。如果一家公司希望按照自己的內(nèi)容訓(xùn)練生成式模型,，它不應(yīng)該從頭開始訓(xùn)練模型，而是應(yīng)該改進(jìn)現(xiàn)有的模型,。相比于從頭開始訓(xùn)練新的大型模型,，在特定內(nèi)容領(lǐng)域進(jìn)行微調(diào)并及時(shí)訓(xùn)練所消耗的能量要少得多。它還可以為許多企業(yè)提供比一般訓(xùn)練模型更多的價(jià)值,。對于希望針對自己的內(nèi)容采用生成式AI模型的公司而言,，這才是主要關(guān)注點(diǎn)。

使用節(jié)能計(jì)算方法,。另一種減少生成人工智能能耗的方法是使用計(jì)算成本較低的方法來處理數(shù)據(jù),，如TinyML。TinyML框架允許用戶在小型,、低功耗的邊緣設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型,，比如帶寬要求低的微控制器(不需要將數(shù)據(jù)發(fā)送到服務(wù)器進(jìn)行處理)。一般CPU平均耗電70瓦,，GPU消耗400瓦的功率,，而一個(gè)微型微控制器僅耗電幾百微瓦，相比前兩者,，其耗電減少一千倍,。這樣就可以保證模型在本地處理數(shù)據(jù)，而不需要將數(shù)據(jù)發(fā)送到數(shù)據(jù)服務(wù)器,。

只有當(dāng)大型模型提供重大價(jià)值時(shí)才使用它,。對于數(shù)據(jù)科學(xué)家和開發(fā)人員來說，了解模型在哪里提供價(jià)值是很重要的,。如果使用3倍以上的耗電系統(tǒng)僅能讓模型增加1-3%的計(jì)算精度,，那么額外的能耗就不值得。更廣泛而言,，機(jī)器學(xué)習(xí)和AI并不總是解決問題所必需的,。開發(fā)人員首先需要對多種備選解決方案進(jìn)行研究和分析,，并根據(jù)研究結(jié)果選擇一種方法。例如,，蒙特利爾人工智能倫理研究所(Montreal AI Ethics Institute)正在積極研究這個(gè)問題,。

當(dāng)你使用生成式AI時(shí)，要有鑒別力,。機(jī)器學(xué)習(xí)和NLP工具對于醫(yī)療相關(guān)的健康問題和預(yù)測是革命性的,。它們在預(yù)測自然災(zāi)害，如海嘯,、地震等方面非常有用,。這些都是有用的應(yīng)用程序，但是僅用于生成博客文章或創(chuàng)建有趣故事的工具可能不是這些計(jì)算量很大的工具的最佳用途,。它們對地球健康的消耗可能大于對人類的幫助,。如果一家公司正在使用生成式人工智能進(jìn)行內(nèi)容創(chuàng)作，它應(yīng)該盡量確保只在必要時(shí)使用這些模型,，或者減少其他計(jì)算成本,，這應(yīng)該也會(huì)減少其總體計(jì)算預(yù)算。

評(píng)估云提供商或數(shù)據(jù)中心的能源來源,。在能夠使用環(huán)保能源的地區(qū)以及低碳環(huán)保的地區(qū)部署模型,，可以最大限度地降低AI（以及一般軟件）的碳強(qiáng)度。這一做法表明,，運(yùn)營排放減少了75%,。例如，在美國訓(xùn)練和運(yùn)行的模型可能使用來自化石燃料的能源,，但同樣的模型可以在主要能源是水力發(fā)電的魁北克運(yùn)行,。谷歌最近開始在魁北克建造一個(gè)7.35億美元的清潔能源數(shù)據(jù)中心，并計(jì)劃到2030年轉(zhuǎn)向全天候的無碳能源,。歌還提供了一個(gè)“碳感應(yīng)套件（Carbon Sense Suite）”,，以幫助公司減少云工作負(fù)載的能源消耗。云提供商的用戶可以監(jiān)控這些公司關(guān)于何時(shí)以及如何部署碳中和或零碳能源的公告,。

重復(fù)利用模型和資源。就像其他材料一樣,，技術(shù)也可以重復(fù)使用,。企業(yè)可以使用開源模型，而不是訓(xùn)練新的模型,。循環(huán)利用可以降低人工智能產(chǎn)生碳足跡的影響,。原材料可以被提取出來制造新一代的最新筆記本電腦、處理器,、硬盤驅(qū)動(dòng)器等等,。

將AI活動(dòng)納入你的碳監(jiān)測,。所有研究實(shí)驗(yàn)室、人工智能供應(yīng)商和使用人工智能的公司都需要采用碳監(jiān)測的做法,，以了解模型的碳足跡,。他們還需要公布自己的足跡數(shù)字，以便讓客戶在與他們進(jìn)行人工智能相關(guān)業(yè)務(wù)時(shí)做出明智的決定,。溫室氣體排放的計(jì)算取決于數(shù)據(jù)供應(yīng)商和處理公司（如研究實(shí)驗(yàn)室）以及基于人工智能的服務(wù)提供商（如OpenAI）的數(shù)據(jù)集,。從最初的想法到會(huì)被用于獲得研究成果的基礎(chǔ)設(shè)施，都需要遵循綠色人工智能方法,。有幾個(gè)可用的軟件包和在線工具,，如CodeCarbon, Green算法和ML CO2 Impact，可以在運(yùn)行時(shí)納入你的代碼中以估計(jì)你的排放量,，我們應(yīng)該鼓勵(lì)開發(fā)人員社區(qū)考慮這些性能指標(biāo)來建立基準(zhǔn)并評(píng)估ML模型,。

當(dāng)然，組織和個(gè)人在使用生成式人工智能模型時(shí)需要考慮很多因素：道德,、法律,，甚至哲學(xué)和心理學(xué)。然而,，生態(tài)問題也值得考慮,。我們可以討論這些技術(shù)對人類的長期未來影響，但如果我們沒有一個(gè)適合居住的星球來討論這些問題,，那么這些考慮將毫無意義,。

譯者：Araon_

本文來自翻譯, 如若轉(zhuǎn)載請注明出處。