原文來源：AIGC開放社區(qū)

圖片來源：由無界 AI生成

阿里巴巴,、香港大學(xué),、螞蟻集團(tuán)的研究人員提出了一種全新圖片生成動態(tài)視頻模型——LivePhoto,。用戶通過LivePhoto,，可將一張靜態(tài)圖片快速生成高精準(zhǔn)的動態(tài)視頻,。

與傳統(tǒng)方法不同的是,，LivePhoto在開源文生圖模型Stable Diffusion基礎(chǔ)之上，增加了運(yùn)動強(qiáng)度和文本加權(quán)兩大創(chuàng)新模塊,，可精準(zhǔn)掌控動態(tài)視頻生成過程中的運(yùn)動強(qiáng)度,、文本描述。

研究人員將LivePhoto與主流模型Gen-2,、Pikalabs進(jìn)行了比較,，經(jīng)過多輪測試效果非常卓越。

論文地址：https://arxiv.org/abs/2312.02928?

從論文來看，LivePhoto模型主要由三大模塊組成：首先是圖像內(nèi)容控制模塊,通過多種策略提供強(qiáng)大的像素級和語義級圖像指導(dǎo),從而確保生成序列中每一幀的視覺內(nèi)容與原圖保持高度一致,。

其次是運(yùn)動建模模塊,基于知名開源模型Stable Diffusion,僅訓(xùn)練插入的特定組件來捕捉幀間隱含的運(yùn)動模式,。

第三個(gè)是額外控制指令模塊,是一種運(yùn)動強(qiáng)度估計(jì)和文本重新加權(quán)的方法,，可有效減少文本到運(yùn)動映射中的歧義,使得所生成的圖像動畫視頻更好地遵循文本指令描述。

圖像內(nèi)容控制

為了實(shí)現(xiàn)生成內(nèi)容與參考圖像保持一致,LivePhoto使用了三種圖像指導(dǎo)方法: 1）參考潛在表示拼接通過VAE編碼器提取參考圖像的潛在表示,并直接拼接到模型輸入中,實(shí)現(xiàn)像素級指導(dǎo),。

2）內(nèi)容編碼器,，使用了預(yù)訓(xùn)練的DINOv2網(wǎng)絡(luò)提取參考圖像的圖像塊表示,并通過新增的交叉注意力層注入到UNet網(wǎng)絡(luò)中,提供全局內(nèi)容約束。

3）先驗(yàn)反向映射,，在推理階段,將參考潛在表示的反向映射混合到高斯噪聲中,為細(xì)節(jié)生成提供先驗(yàn)知識。

此外,，LivePhoto凍結(jié)了Stable Diffusion模型的部分功能,，僅訓(xùn)練插入了其中的可學(xué)習(xí)運(yùn)動模塊,用來構(gòu)建不同幀間的運(yùn)動聯(lián)系。相當(dāng)于每個(gè)UNet組件中插入了一個(gè)運(yùn)動模塊,采用了類似AnimateDiff的結(jié)構(gòu),。

額外指令

通過圖像內(nèi)容控制和運(yùn)動模塊,，基本可以勾勒出大致的運(yùn)動視頻內(nèi)容。但仍然無法精準(zhǔn)控制運(yùn)動方式,，這是因?yàn)槲谋局型瑫r(shí)包含內(nèi)容和運(yùn)動兩個(gè)方面的描述,而參考圖像起主導(dǎo)作用,容易造成內(nèi)容描述對運(yùn)動描述的抑制,。
為解決這一問題，開發(fā)人員提出了兩種額外的指令：

1）運(yùn)動強(qiáng)度,，考慮到文本指令本身很難準(zhǔn)確表達(dá)運(yùn)動特征, LivePhoto引入了一個(gè)1-10的值來參數(shù)化運(yùn)動強(qiáng)度,。這一超參數(shù)既可于訓(xùn)練時(shí)促進(jìn)文本與運(yùn)動的匹配，也為用戶提供了方便的推理調(diào)節(jié)接口,。

2）文本加權(quán),，為區(qū)分文本中與內(nèi)容和運(yùn)動相關(guān)的部分, LivePhoto設(shè)計(jì)了文本加權(quán)功能。

其目標(biāo)是檢測文本中與運(yùn)動相關(guān)的維度,并對其進(jìn)行加權(quán)放大,。這可以減少內(nèi)容描述帶來的干擾,從而增強(qiáng)運(yùn)動控制能力,。

實(shí)驗(yàn)結(jié)果也證明,，在運(yùn)動強(qiáng)度指導(dǎo)和文本加權(quán)的幫助下,LivePhoto展現(xiàn)出了十分出色的零樣本視頻動畫生成性能。

可以處理各種圖像輸入,同時(shí)遵循文本中對運(yùn)動的描述生成視頻。例如,，不同的人或動物正在進(jìn)行的動作,或者虛擬出文本所描寫的場景,。

此外,用戶還可以通過簡單調(diào)節(jié)運(yùn)動強(qiáng)度的數(shù)值,自由定制視頻中運(yùn)動的方式。