文章來源：學(xué)術(shù)頭條

圖片來源：由無界AI生成

?剛剛，谷歌在大模型領(lǐng)域又有了新動作：重磅推出了一系列輕量級,、先進的開放模型 Gemma,。
據(jù)介紹，Gemma 由 Google DeepMind 和 Google 的其他團隊共同開發(fā),，采用與創(chuàng)建 Gemini 模型相同的研究和技術(shù)構(gòu)建而成,，專為負責任的人工智能開發(fā)而設(shè)計,，其名字來自拉丁語 gemma,，意為“寶石”。
Google DeepMind 首席執(zhí)行官 Demis Hassabis 在 X 上表示,，“我們長期以來一直支持負責任的開源和科學(xué),，這可以推動快速的研究進展，因此我們很自豪地發(fā)布了 Gemma……”

研究團隊在 Google DeepMind 官方博客中公布了一些關(guān)于 Gemma 的關(guān)鍵細節(jié),，如下：

• 谷歌將發(fā)布兩種尺寸的模型權(quán)重：Gemma 2B 和 Gemma 7B,，且每種尺寸都發(fā)布了預(yù)訓(xùn)練和指令微調(diào)變體。
• 新的 Responsible Generative AI 工具包為使用 Gemma 創(chuàng)建更安全的 AI 應(yīng)用提供了指導(dǎo)和基本工具,。
• 谷歌也為所有主要框架的推理和監(jiān)督微調(diào)（SFT）提供了工具鏈：JAX,、PyTorch 和 TensorFlow，以及本地 Keras 3.0,。
• 現(xiàn)成可用的 Colab 和 Kaggle 筆記本,，以及與 Hugging Face、MaxText,、NVIDIA NeMo 和 TensorRT-LLM 等流行工具的集成,，也使得開發(fā)者上手 Gemma 非常容易。
• 經(jīng)過預(yù)訓(xùn)練和指令微調(diào)的 Gemma 模型可在用戶的筆記本電腦,、工作站或谷歌云上運行,，并可在 Vertex AI 和谷歌 Kubernetes Engine (GKE) 上輕松部署。
• 跨多個 AI 硬件平臺的優(yōu)化確保了行業(yè)領(lǐng)先的性能,，包括英偉達 GPU 和谷歌云 TPU,。
• 在使用條款下，允許所有組織（無論規(guī)模大?。┻M行負責任的商業(yè)使用和分發(fā),。
  此外,，研究團隊也在博客中寫道，“從今天開始,，Gemma 將在全球發(fā)布,。”也就是說,，國內(nèi)的開發(fā)者從今天起也可以使用 Gemma,。（快速入門指南：https://ai.google.dev/gemma?hl=zh-cn）

同尺寸下最強

據(jù)官方博客介紹，Gemma 模型與 Gemini 共享技術(shù)和基礎(chǔ)設(shè)施組件,，這使得 Gemma 2B 和 7B 與其他開放模型相比，在其規(guī)模上實現(xiàn)了同類最佳的性能,。而且,，Gemma 模型能夠直接在開發(fā)人員的筆記本電腦或臺式電腦上運行。
值得一提的是,，Gemma 在關(guān)鍵基準上超過了更大的模型,，同時還符合谷歌嚴格的安全和負責任的輸出標準。

此外,，為了使 Gemma 預(yù)訓(xùn)練模型安全可靠,，谷歌使用自動化技術(shù)從訓(xùn)練集中過濾掉某些個人信息和其他敏感數(shù)據(jù)；還使用了大量的微調(diào)和基于人類反饋的強化學(xué)習（RLHF）,，從而使 Gemma 的指令微調(diào)模型與負責任的行為保持一致,；為了解并降低 Gemma 模型的風險，谷歌進行了嚴格的評估,，包括人工紅隊,、自動對抗測試和危險活動模型能力評估。

跨框架,、工具和硬件優(yōu)化

谷歌方面表示，為適應(yīng)特定的應(yīng)用需求,，比如匯總或檢索增強生成（RAG）,，開發(fā)者可以使用自己的數(shù)據(jù)對 Gemma 模型進行微調(diào),。

目前，Gemma 支持多種工具和系統(tǒng)：

• 多框架工具：使用最喜歡的框架,，在多框架 Keras 3.0,、本地 PyTorch、JAX 和 Hugging Face Transformers 中進行推理和微調(diào)的參考實現(xiàn),。
• 跨設(shè)備兼容性：Gemma 模型可在筆記本電腦,、臺式機、物聯(lián)網(wǎng),、移動和云等流行設(shè)備類型中運行，從而實現(xiàn)廣泛的 AI 功能,。
• 尖端硬件平臺：谷歌與英偉達合作,，針對英偉達 GPU 優(yōu)化 Gemma，從數(shù)據(jù)中心到云端再到本地 RTX AI PC，確保業(yè)界領(lǐng)先的性能和與尖端技術(shù)的集成,。
• 針對谷歌云進行了優(yōu)化：Vertex AI 提供廣泛的 MLOps 工具集,，具有一系列調(diào)整選項，并可使用內(nèi)置推理優(yōu)化功能進行一鍵式部署,?？墒褂猛耆芾淼?Vertex AI 工具或自主管理的 GKE 進行高級定制，包括部署到任何平臺的 GPU,、TPU 和 CPU 上具有成本效益的基礎(chǔ)設(shè)施,。

參考鏈接：
https://blog.google/technology/developers/gemma-open-models/
技術(shù)報告鏈接：
https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf