3月26日,,昆侖萬維正式發(fā)布Mureka O1模型與Mureka V6模型,。Mureka O1作為全球首款音樂推理大模型,,性能超越Suno、模型登頂SOTA,,中國科技創(chuàng)新再次在AI音樂領(lǐng)域領(lǐng)跑全球,。
2024年4月,,昆侖萬維發(fā)布了第一代音樂生成模型:Mureka V1(SkyMusic),,獲得了非常好的市場反響。在過去接近一年的時間里,,我們的技術(shù)團隊,、產(chǎn)品團隊持續(xù)對Mureka進行升級迭代。截至目前,,全球范圍內(nèi)已經(jīng)有超過100個國家和地區(qū)的用戶訪問我們的AI音樂產(chǎn)品——Mureka,。
Mureka是Music與Eureka的結(jié)合。Eureka源自希臘語的感嘆詞,,意為我發(fā)現(xiàn)了,、我找到了,常用于表達突然獲得靈感的時刻,。Mureka寓意著,,我們希望它可以將人們的音樂靈感爆發(fā)時刻快速記錄下來,并創(chuàng)作出屬于自己風格的歌曲,。
Mureka V6&O1全量上線,,支持自由切換,來自東方的音樂魔盒驚艷全球
Mureka V6是當前Mureka的基座模型,,支持純音樂生成,,還支持10種語言的AI音樂創(chuàng)作,包括英語,、中文,、日語、韓語、法語,、西班牙語,、葡萄牙語、德語,、意大利語和俄語,。在Mureka V6中,團隊引入自研 ICL(in-context learning)技術(shù),,使得聲場更加開闊,,人聲質(zhì)感和混音設(shè)計進一步強化。
Mureka O1模型是基于Mureka V6的推理優(yōu)化版本,,也是全球范圍內(nèi)首個引入CoT的音樂模型,,在推理過程中加入思考與自我批判,大幅提升音樂品質(zhì),、音樂創(chuàng)作效率和靈活性,。
Mureka V6和O1模式支持多元化的音樂創(chuàng)作風格及情感表達。曲風涵蓋爵士(Jazz),、電子(Electronic),、流行(Pop),、鄉(xiāng)村(Country),、節(jié)奏布魯斯(R&B)、靈魂樂(Soul),、藍調(diào)(Blues),、搖滾(Rock)、舞曲(Dance)等,;情感維度包括快樂,、放縱、神秘,、充滿活力,、悲傷等多種情緒表達。
此外,,Mureka還提供兩個特色音樂生成功能:
1. 歌曲參考(Reference Fuction):將音樂本身作為提示,,用戶可直接上傳音頻或Youtube鏈接作為創(chuàng)作提示,比文本提示更直接更高級的提示方式,;
2. 音色克?。╒ocal Fuction):Mureka是全球首個可以指定演唱歌手音色的AI音樂生成平臺,用戶不僅可以選擇官方提供的多種歌手音色,,還可以上傳自己的聲音,,讓AI學習并復刻,精準模擬歌手音色,一鍵生成個性化專屬作品,。自定義歌手音色的功能宣告人人都能成為AI歌手的時代正式到來了,。
Mureka V6和O1的發(fā)布,是AI音樂行業(yè)技術(shù)進步的一個重要里程碑,,也證明了AI在藝術(shù)創(chuàng)作中的潛力,,展示了持續(xù)探索新的技術(shù)形式和藝術(shù)表現(xiàn)形式的巨大可能性。
Mureka O1采用業(yè)界首創(chuàng)自研MusiCoT技術(shù),、登頂SOTA,、性能超越Suno,AI將為音樂注入靈魂
Mureka O1中包含了Mureka團隊最新發(fā)布的音樂生成領(lǐng)域的創(chuàng)新研究成果——MusiCoT,,具備技術(shù)領(lǐng)先性和前瞻性,。我們發(fā)現(xiàn),業(yè)界關(guān)于音樂領(lǐng)域的算法工作非常少,,只有少數(shù)幾個團隊公開了自己的工作成果,。為此,我們以論文形式公開了Mureka O1的實現(xiàn)原理,,歡迎業(yè)界在此基礎(chǔ)之上做出更好的工作,。
項目主頁:MusiCoT.github.io
MusiCoT利用了思維鏈Chain-of-Thought (CoT)方法,不同于傳統(tǒng)自回歸模型逐步生成音頻,,MusiCoT首次在細粒度音頻token預測前預生成整體音樂結(jié)構(gòu),,大幅提升生成音樂的結(jié)構(gòu)連貫性與樂器編排精準度。MusiCoT基于CLAP模型,,無需人工標注即具備高擴展性,,并顯著提高了生成音樂的可解釋性和質(zhì)量。MusiCoT為高保真AI音樂生成開辟全新路徑,,推動音樂AI創(chuàng)作邁入結(jié)構(gòu)化時代,。
圖丨Mureka自研基于MusiCoT的自回歸模型音樂生成技術(shù)(來源:MusiCoT.github.io)
基于首次在音樂生成領(lǐng)域引入Chain-of-Thought(CoT)技術(shù)、算法框架的升級,,Mureka O1不僅保持了低延遲音樂生成,,還顯著提升了歌詞旋律契合度、演唱準確性和藝術(shù)表現(xiàn)力等,,多項指標領(lǐng)先于Suno V4,。
通過AI基礎(chǔ)設(shè)施深度優(yōu)化,Mureka O1實現(xiàn)了行業(yè)領(lǐng)先的低延遲音樂生成,,提供即時,、高質(zhì)量的用戶體驗。以下實測采用相同prompt進行輸入:
圖丨Mureka O1實現(xiàn)了行業(yè)領(lǐng)先的低延時音樂生成
在我們的實際測試中,,發(fā)音唱對率,、樂段準確率,、文本相關(guān)度、制作質(zhì)量等客觀指標,,Mureka V6都顯著優(yōu)于Suno V4,。通過下述主流的開源模型對生成音樂進行分析測試,Mureka O1在發(fā)音清晰程度,、生成樂段的精準度上遙遙領(lǐng)先,。
圖丨Mureka O1在文本生成音樂的客觀測評中得分
音樂最終還是要服務(wù)于人的耳朵,因此主觀評價和客觀評價同樣重要,。
在最新的音樂評測中,,Mureka O1展現(xiàn)出卓越的音樂品質(zhì),在最終的整體聽感評測超過了Suno V4,。其中,,Mureka O1在混音(Mixing)、人聲質(zhì)感(Vocal Texture),、BGM質(zhì)感(Background Music Texture)方面明顯超越Suno V4,;在配器豐富度(Instrumentation Richness)、作曲結(jié)構(gòu)(Composition Structure)和旋律動機質(zhì)量(Motif Quality)表現(xiàn)上相較于Mureka V6實現(xiàn)了顯著提升,。這一進展標志著Mureka在音樂生成領(lǐng)域的持續(xù)突破,,為用戶帶來更豐富、更高品質(zhì)的音樂體驗,。
圖丨Mureka O1在主觀測評中整體聽感超越Suno V4
全球首次開放API服務(wù)與模型微調(diào)功能,,共建AI音樂開發(fā)者生態(tài)
Mureka是全球首批開放API服務(wù)的高質(zhì)量AI音樂生成平臺。不論是開發(fā)者,,還是音樂平臺,,現(xiàn)在都可以將Mureka的音樂生成能力無縫集成到自己的產(chǎn)品或平臺中,更容易地應用AI音樂功能拓展自己的商業(yè)價值,。
圖丨Mureka API服務(wù)界面(來源:Mureka官網(wǎng))
面向企業(yè)和開發(fā)者,Mureka同時開放靈活的API服務(wù),,不僅包括音樂音頻生成API,,還有語音合成API:
1. 音樂API
a)標準音樂生成API:支持多種輸入包括文本提示、音色參考,、音頻參考的音樂生成,,歌詞創(chuàng)作。通過不同維度的輸入,,系統(tǒng)可生產(chǎn)多風格音樂及純音樂,,適用于內(nèi)容創(chuàng)作、游戲配樂,、短視頻等多場景應用,。
b)精調(diào)私有曲庫API:上傳私有曲庫定制專屬風格,,模型精調(diào)技術(shù)深度解析每一首旋律風格偏好,無需音樂知識也可輕松定制品牌音樂,、個人專輯等專屬內(nèi)容,。
2. 語音API
提供AI?語音播客、精品說話人,、音色克隆等 API?,,用于語音播客、預制精品音色語音合成,、音色克隆等場景,。
其中,Mureka同步開放的前沿語音合成API——Mureka TTS,,在與ElevenLabs,、OpenAI、微軟的橫向評測表現(xiàn)出色,。如下圖所示,,Mureka TTS在對話聊天類全場景效果測評中排名第一(總體得分4.34),與一線廠商相比,,各維度均表現(xiàn)優(yōu)異,。
圖丨Mureka TTS在對話聊天類全場景效果表現(xiàn)優(yōu)異
不僅在全球范圍內(nèi),首次開放API服務(wù),,Mureka同步開放基于Mureka V6的模型微調(diào)服務(wù),。成為全球首個開放模型微調(diào)功能的AI音樂生成平臺。
有需求的用戶可以提供自己的私有數(shù)據(jù),,在我們強大的基座模型之上訓練屬于自己的專屬音樂模型,,為自己的音樂創(chuàng)作提升效率。當然,,你提供的數(shù)據(jù)我們會嚴格保密,,不會用于訓練我們自己的基座模型,也不會泄露給其他人,,你的模型只屬于你,。
這項功能讓AI音樂創(chuàng)作更加個性化,為音樂人,、制作人,、甚至品牌和游戲開發(fā)者提供了定制化的AI音樂解決方案。
未來,,Mureka團隊將會持續(xù)在模型能力上投入,,讓我們的音樂模型持續(xù)保持在全球第一梯隊,同時在基座模型之上開發(fā)更多音樂創(chuàng)作功能,,例如音樂生成的二次編輯,、歌曲二創(chuàng)等等,。
歡迎全球用戶登錄Mureka,體驗全新V6&O1模型,,與全球AI音樂創(chuàng)作者共同探索音樂創(chuàng)作的無限可能,,共建AI音樂開發(fā)者生態(tài)!
免責聲明:本文來自網(wǎng)絡(luò)收錄或投稿,,觀點僅代表作者本人,,不代表芒果財經(jīng)贊同其觀點或證實其描述,版權(quán)歸原作者所有,。轉(zhuǎn)載請注明出處:http://lequren.com/1137969.html
溫馨提示:投資有風險,,入市須謹慎。本資訊不作為投資理財建議,。