3月26日,,昆侖萬維正式發(fā)布Mureka O1模型與Mureka V6模型,。Mureka O1作為全球首款音樂推理大模型,性能超越Suno,、模型登頂SOTA,,中國科技創(chuàng)新再次在AI音樂領域領跑全球,。
2024年4月,昆侖萬維發(fā)布了第一代音樂生成模型:Mureka V1(SkyMusic),,獲得了非常好的市場反響,。在過去接近一年的時間里,我們的技術團隊,、產品團隊持續(xù)對Mureka進行升級迭代,。截至目前,全球范圍內已經有超過100個國家和地區(qū)的用戶訪問我們的AI音樂產品——Mureka。
Mureka是Music與Eureka的結合,。Eureka源自希臘語的感嘆詞,,意為我發(fā)現(xiàn)了、我找到了,,常用于表達突然獲得靈感的時刻,。Mureka寓意著,我們希望它可以將人們的音樂靈感爆發(fā)時刻快速記錄下來,,并創(chuàng)作出屬于自己風格的歌曲,。
Mureka V6&O1全量上線,支持自由切換,,來自東方的音樂魔盒驚艷全球
Mureka V6是當前Mureka的基座模型,,支持純音樂生成,還支持10種語言的AI音樂創(chuàng)作,,包括英語,、中文、日語,、韓語,、法語、西班牙語,、葡萄牙語,、德語、意大利語和俄語,。在Mureka V6中,,團隊引入自研 ICL(in-context learning)技術,使得聲場更加開闊,,人聲質感和混音設計進一步強化,。
Mureka O1模型是基于Mureka V6的推理優(yōu)化版本,也是全球范圍內首個引入CoT的音樂模型,,在推理過程中加入思考與自我批判,,大幅提升音樂品質、音樂創(chuàng)作效率和靈活性,。
Mureka V6和O1模式支持多元化的音樂創(chuàng)作風格及情感表達,。曲風涵蓋爵士(Jazz)、電子(Electronic),、流行(Pop),、鄉(xiāng)村(Country)、節(jié)奏布魯斯(R&B),、靈魂樂(Soul),、藍調(Blues),、搖滾(Rock)、舞曲(Dance)等,;情感維度包括快樂,、放縱、神秘,、充滿活力,、悲傷等多種情緒表達。
此外,,Mureka還提供兩個特色音樂生成功能:
1. 歌曲參考(Reference Fuction):將音樂本身作為提示,,用戶可直接上傳音頻或Youtube鏈接作為創(chuàng)作提示,比文本提示更直接更高級的提示方式,;
2. 音色克?。╒ocal Fuction):Mureka是全球首個可以指定演唱歌手音色的AI音樂生成平臺,用戶不僅可以選擇官方提供的多種歌手音色,,還可以上傳自己的聲音,讓AI學習并復刻,,精準模擬歌手音色,,一鍵生成個性化專屬作品。自定義歌手音色的功能宣告人人都能成為AI歌手的時代正式到來了,。
Mureka V6和O1的發(fā)布,,是AI音樂行業(yè)技術進步的一個重要里程碑,也證明了AI在藝術創(chuàng)作中的潛力,,展示了持續(xù)探索新的技術形式和藝術表現(xiàn)形式的巨大可能性,。
Mureka O1采用業(yè)界首創(chuàng)自研MusiCoT技術、登頂SOTA,、性能超越Suno,,AI將為音樂注入靈魂
Mureka O1中包含了Mureka團隊最新發(fā)布的音樂生成領域的創(chuàng)新研究成果——MusiCoT,具備技術領先性和前瞻性,。我們發(fā)現(xiàn),,業(yè)界關于音樂領域的算法工作非常少,只有少數(shù)幾個團隊公開了自己的工作成果,。為此,,我們以論文形式公開了Mureka O1的實現(xiàn)原理,歡迎業(yè)界在此基礎之上做出更好的工作,。
項目主頁:MusiCoT.github.io
MusiCoT利用了思維鏈Chain-of-Thought (CoT)方法,,不同于傳統(tǒng)自回歸模型逐步生成音頻,MusiCoT首次在細粒度音頻token預測前預生成整體音樂結構,,大幅提升生成音樂的結構連貫性與樂器編排精準度,。MusiCoT基于CLAP模型,無需人工標注即具備高擴展性,并顯著提高了生成音樂的可解釋性和質量,。MusiCoT為高保真AI音樂生成開辟全新路徑,,推動音樂AI創(chuàng)作邁入結構化時代。
圖丨Mureka自研基于MusiCoT的自回歸模型音樂生成技術(來源:MusiCoT.github.io)
基于首次在音樂生成領域引入Chain-of-Thought(CoT)技術,、算法框架的升級,,Mureka O1不僅保持了低延遲音樂生成,還顯著提升了歌詞旋律契合度,、演唱準確性和藝術表現(xiàn)力等,,多項指標領先于Suno V4。
通過AI基礎設施深度優(yōu)化,,Mureka O1實現(xiàn)了行業(yè)領先的低延遲音樂生成,,提供即時、高質量的用戶體驗,。以下實測采用相同prompt進行輸入:
圖丨Mureka O1實現(xiàn)了行業(yè)領先的低延時音樂生成
在我們的實際測試中,,發(fā)音唱對率、樂段準確率,、文本相關度,、制作質量等客觀指標,Mureka V6都顯著優(yōu)于Suno V4,。通過下述主流的開源模型對生成音樂進行分析測試,,Mureka O1在發(fā)音清晰程度、生成樂段的精準度上遙遙領先,。
圖丨Mureka O1在文本生成音樂的客觀測評中得分
音樂最終還是要服務于人的耳朵,,因此主觀評價和客觀評價同樣重要。
在最新的音樂評測中,,Mureka O1展現(xiàn)出卓越的音樂品質,,在最終的整體聽感評測超過了Suno V4。其中,,Mureka O1在混音(Mixing),、人聲質感(Vocal Texture)、BGM質感(Background Music Texture)方面明顯超越Suno V4,;在配器豐富度(Instrumentation Richness),、作曲結構(Composition Structure)和旋律動機質量(Motif Quality)表現(xiàn)上相較于Mureka V6實現(xiàn)了顯著提升。這一進展標志著Mureka在音樂生成領域的持續(xù)突破,,為用戶帶來更豐富,、更高品質的音樂體驗。
圖丨Mureka O1在主觀測評中整體聽感超越Suno V4
全球首次開放API服務與模型微調功能,,共建AI音樂開發(fā)者生態(tài)
Mureka是全球首批開放API服務的高質量AI音樂生成平臺,。不論是開發(fā)者,,還是音樂平臺,現(xiàn)在都可以將Mureka的音樂生成能力無縫集成到自己的產品或平臺中,,更容易地應用AI音樂功能拓展自己的商業(yè)價值,。
圖丨Mureka API服務界面(來源:Mureka官網(wǎng))
面向企業(yè)和開發(fā)者,Mureka同時開放靈活的API服務,,不僅包括音樂音頻生成API,,還有語音合成API:
1. 音樂API
a)標準音樂生成API:支持多種輸入包括文本提示、音色參考,、音頻參考的音樂生成,,歌詞創(chuàng)作。通過不同維度的輸入,,系統(tǒng)可生產多風格音樂及純音樂,,適用于內容創(chuàng)作、游戲配樂,、短視頻等多場景應用,。
b)精調私有曲庫API:上傳私有曲庫定制專屬風格,模型精調技術深度解析每一首旋律風格偏好,,無需音樂知識也可輕松定制品牌音樂,、個人專輯等專屬內容。
2. 語音API
提供AI?語音播客,、精品說話人,、音色克隆等 API?,,用于語音播客,、預制精品音色語音合成、音色克隆等場景,。
其中,,Mureka同步開放的前沿語音合成API——Mureka TTS,在與ElevenLabs,、OpenAI,、微軟的橫向評測表現(xiàn)出色。如下圖所示,,Mureka TTS在對話聊天類全場景效果測評中排名第一(總體得分4.34),,與一線廠商相比,各維度均表現(xiàn)優(yōu)異,。
圖丨Mureka TTS在對話聊天類全場景效果表現(xiàn)優(yōu)異
不僅在全球范圍內,,首次開放API服務,Mureka同步開放基于Mureka V6的模型微調服務,。成為全球首個開放模型微調功能的AI音樂生成平臺,。
有需求的用戶可以提供自己的私有數(shù)據(jù),,在我們強大的基座模型之上訓練屬于自己的專屬音樂模型,為自己的音樂創(chuàng)作提升效率,。當然,,你提供的數(shù)據(jù)我們會嚴格保密,不會用于訓練我們自己的基座模型,,也不會泄露給其他人,,你的模型只屬于你。
這項功能讓AI音樂創(chuàng)作更加個性化,,為音樂人,、制作人、甚至品牌和游戲開發(fā)者提供了定制化的AI音樂解決方案,。
未來,,Mureka團隊將會持續(xù)在模型能力上投入,讓我們的音樂模型持續(xù)保持在全球第一梯隊,,同時在基座模型之上開發(fā)更多音樂創(chuàng)作功能,,例如音樂生成的二次編輯、歌曲二創(chuàng)等等,。
歡迎全球用戶登錄Mureka,,體驗全新V6&O1模型,與全球AI音樂創(chuàng)作者共同探索音樂創(chuàng)作的無限可能,,共建AI音樂開發(fā)者生態(tài),!
免責聲明:本文來自網(wǎng)絡收錄或投稿,觀點僅代表作者本人,,不代表芒果財經贊同其觀點或證實其描述,,版權歸原作者所有。轉載請注明出處:http://lequren.com/1137969.html
溫馨提示:投資有風險,,入市須謹慎,。本資訊不作為投資理財建議。