文章來源：學(xué)術(shù)頭條
圖片來源：由無界AI生成
?剛剛,，谷歌在大模型領(lǐng)域又有了新動作：重磅推出了一系列輕量級、先進(jìn)的開放模型 Gemma,。
據(jù)介紹,，Gemma 由 Google DeepMind 和 Google 的其他團(tuán)隊共同開發(fā)，采用與創(chuàng)建 Gemini 模型相同的研究和技術(shù)構(gòu)建而成,，專為負(fù)責(zé)任的人工智能開發(fā)而設(shè)計,，其名字來自拉丁語 gemma，意為“寶石”,。
Google DeepMind 首席執(zhí)行官 Demis Hassabis 在 X 上表示,，“我們長期以來一直支持負(fù)責(zé)任的開源和科學(xué)，這可以推動快速的研究進(jìn)展,，因此我們很自豪地發(fā)布了 Gemma……”
研究團(tuán)隊在 Google DeepMind 官方博客中公布了一些關(guān)于 Gemma 的關(guān)鍵細(xì)節(jié),，如下：
- 谷歌將發(fā)布兩種尺寸的模型權(quán)重：Gemma 2B 和 Gemma 7B，且每種尺寸都發(fā)布了預(yù)訓(xùn)練和指令微調(diào)變體,。
- 新的 Responsible Generative AI 工具包為使用 Gemma 創(chuàng)建更安全的 AI 應(yīng)用提供了指導(dǎo)和基本工具,。
- 谷歌也為所有主要框架的推理和監(jiān)督微調(diào)（SFT）提供了工具鏈：JAX、PyTorch 和 TensorFlow，以及本地 Keras 3.0,。
- 現(xiàn)成可用的 Colab 和 Kaggle 筆記本,，以及與 Hugging Face、MaxText,、NVIDIA NeMo 和 TensorRT-LLM 等流行工具的集成，也使得開發(fā)者上手 Gemma 非常容易,。
- 經(jīng)過預(yù)訓(xùn)練和指令微調(diào)的 Gemma 模型可在用戶的筆記本電腦,、工作站或谷歌云上運行，并可在 Vertex AI 和谷歌 Kubernetes Engine (GKE) 上輕松部署,。
- 跨多個 AI 硬件平臺的優(yōu)化確保了行業(yè)領(lǐng)先的性能,，包括英偉達(dá) GPU 和谷歌云 TPU。
- 在使用條款下,，允許所有組織（無論規(guī)模大?。┻M(jìn)行負(fù)責(zé)任的商業(yè)使用和分發(fā)。
此外,，研究團(tuán)隊也在博客中寫道,，“從今天開始，Gemma 將在全球發(fā)布,?！?/strong>也就是說，國內(nèi)的開發(fā)者從今天起也可以使用 Gemma,。（快速入門指南：https://ai.google.dev/gemma?hl=zh-cn）
同尺寸下最強(qiáng)
據(jù)官方博客介紹,，Gemma 模型與 Gemini 共享技術(shù)和基礎(chǔ)設(shè)施組件,，這使得 Gemma 2B 和 7B 與其他開放模型相比,，在其規(guī)模上實現(xiàn)了同類最佳的性能,。而且，Gemma 模型能夠直接在開發(fā)人員的筆記本電腦或臺式電腦上運行,。
值得一提的是，Gemma 在關(guān)鍵基準(zhǔn)上超過了更大的模型,，同時還符合谷歌嚴(yán)格的安全和負(fù)責(zé)任的輸出標(biāo)準(zhǔn),。
此外,，為了使 Gemma 預(yù)訓(xùn)練模型安全可靠，谷歌使用自動化技術(shù)從訓(xùn)練集中過濾掉某些個人信息和其他敏感數(shù)據(jù),；還使用了大量的微調(diào)和基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）,，從而使 Gemma 的指令微調(diào)模型與負(fù)責(zé)任的行為保持一致；為了解并降低 Gemma 模型的風(fēng)險,，谷歌進(jìn)行了嚴(yán)格的評估,，包括人工紅隊、自動對抗測試和危險活動模型能力評估,。
跨框架,、工具和硬件優(yōu)化
谷歌方面表示，為適應(yīng)特定的應(yīng)用需求,，比如匯總或檢索增強(qiáng)生成（RAG）,，開發(fā)者可以使用自己的數(shù)據(jù)對 Gemma 模型進(jìn)行微調(diào)。
目前,，Gemma 支持多種工具和系統(tǒng)：
- 多框架工具：使用最喜歡的框架,，在多框架 Keras 3.0、本地 PyTorch,、JAX 和 Hugging Face Transformers 中進(jìn)行推理和微調(diào)的參考實現(xiàn),。
- 跨設(shè)備兼容性：Gemma 模型可在筆記本電腦、臺式機(jī),、物聯(lián)網(wǎng)、移動和云等流行設(shè)備類型中運行,，從而實現(xiàn)廣泛的 AI 功能,。
- 尖端硬件平臺：谷歌與英偉達(dá)合作，針對英偉達(dá) GPU 優(yōu)化 Gemma,，從數(shù)據(jù)中心到云端再到本地 RTX AI PC,，確保業(yè)界領(lǐng)先的性能和與尖端技術(shù)的集成。
- 針對谷歌云進(jìn)行了優(yōu)化：Vertex AI 提供廣泛的 MLOps 工具集,，具有一系列調(diào)整選項,，并可使用內(nèi)置推理優(yōu)化功能進(jìn)行一鍵式部署?？墒褂猛耆芾淼?Vertex AI 工具或自主管理的 GKE 進(jìn)行高級定制,，包括部署到任何平臺的 GPU、TPU 和 CPU 上具有成本效益的基礎(chǔ)設(shè)施,。
參考鏈接：
https://blog.google/technology/developers/gemma-open-models/
技術(shù)報告鏈接：
https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
免責(zé)聲明：本文來自網(wǎng)絡(luò)收錄或投稿,，觀點僅代表作者本人，不代表芒果財經(jīng)贊同其觀點或證實其描述,，版權(quán)歸原作者所有,。轉(zhuǎn)載請注明出處：http://lequren.com/1089668.html
溫馨提示：投資有風(fēng)險，入市須謹(jǐn)慎,。本資訊不作為投資理財建議。
