AI視頻工具賽道越來越卷，各種升級(jí)令人應(yīng)接不暇， 尤其是Gen-2,、Pika1.0、Stable Video Diffusion,、和Magic Animate，它們正在成為用戶最常用的視頻生成產(chǎn)品，背后有強(qiáng)大的AI大模型支撐。

盡管目前的視頻類大模型還達(dá)不到“用文字描述一個(gè)故事就能生成一部電影”這么高能,，但已經(jīng)能通過一系列提示詞就能創(chuàng)作出一段生動(dòng)的視頻，還發(fā)展出圖生視頻等強(qiáng)大的多模態(tài)能力,。

《元宇宙日?qǐng)?bào)》測試了四大AI視頻工具,，希望能幫你快速上手體驗(yàn)。需要提醒的是,，所有的工具輸入提示詞時(shí)最好使用英文，生成效果會(huì)比中文提示要好,。在此,，我們也希望國產(chǎn)的AI視頻生成工具能快點(diǎn)趕上，創(chuàng)造出適合中文用戶的好產(chǎn)品,。

Runway Gen-2

Gen-2是第一款公開可用的文本生成視頻工具,，由 Runway Research 開發(fā)。它的相關(guān)功能,，包括文本/圖像轉(zhuǎn)視頻,、視頻風(fēng)格化、圖像拓展,、一鍵扣除視頻背景,、抹除視頻指定元素、訓(xùn)練特定AI模型等,，可以說是目前最強(qiáng)的 AI 視頻生成/編輯工具,。

Gen-2的文本生視頻功能相對(duì)Gen-1已經(jīng)有了相當(dāng)大的提升，這里可以看下輸入“raccoon play snow ball fight in sunny snow Christmas playground”（浣熊在陽光明媚的雪地圣誕游樂場打雪仗）的生成效果,?？梢哉f，無論是畫質(zhì)還是構(gòu)圖,，Gen-2都十分出色,。但會(huì)出現(xiàn)遺漏關(guān)鍵詞的問題，比如畫面中沒有體現(xiàn)出“圣誕”與“打雪仗”的效果,。

就在前幾天,，Runway 又上線了新功能“Motion Brush”（運(yùn)動(dòng)筆刷）,，我們只需在圖像上涂抹一個(gè)區(qū)域，就能將靜態(tài)的圖像變?yōu)閯?dòng)態(tài)內(nèi)容,?！斑\(yùn)動(dòng)筆刷“的功能在操作上太友好了，選定一張圖片,，使用筆刷涂抹想要?jiǎng)悠饋淼膮^(qū)域,，再調(diào)試好想要大致的運(yùn)動(dòng)方向，靜止的圖片就可以根據(jù)預(yù)定動(dòng)起來,。

但目前,，“運(yùn)動(dòng)筆刷”的功能也存在一些不足，比如適合緩慢的移動(dòng)畫面,，無法生成類似車輛飛速行駛等快速移動(dòng)的畫面,。此外，如果使用運(yùn)動(dòng)筆刷,，涂抹外的區(qū)域都幾乎保持靜止,，無法實(shí)現(xiàn)多個(gè)物體運(yùn)動(dòng)軌跡的微調(diào)。

目前,，Runway免費(fèi)賬號(hào)只能生成4秒時(shí)長的視頻,，每秒需要消耗5 個(gè)積分，最多可以生成31個(gè)視頻,，并且不能去除水印,。如果你想要更高分辨率、無水印,、時(shí)長更長的視頻,，那就需要付費(fèi)升級(jí)一下你的賬號(hào)。

此外,，如果你想學(xué)習(xí)AI視頻,，可以試試Runway 推出的電視頻道 Runway TV，這里24 小時(shí)循環(huán)播放由 AI 制作的視頻,，通過這些 AI 視頻,，你或者還能尋找一些創(chuàng)意靈感。

網(wǎng)站定位：

https://app.runwayml.com/video-tools/teams/wuxiaohui557/ai-tools/gen-2

Pika 1.0

Pika 1.0是Pika Labs發(fā)布的第一個(gè)正式版產(chǎn)品,，這個(gè)實(shí)驗(yàn)室是由華人團(tuán)隊(duì)創(chuàng)辦的AI技術(shù)初創(chuàng)公司,。Pika 1.0不僅能夠生成3D動(dòng)畫、動(dòng)漫,、卡通和電影,，甚至可以實(shí)現(xiàn)風(fēng)格轉(zhuǎn)換、幕布擴(kuò)展,、視頻編輯等重磅能力,。Pika 1.0非常擅長制作動(dòng)漫風(fēng)格的畫面,，可生成電影效果的短視頻。

Pika 1.0最受網(wǎng)友歡迎的小工具當(dāng)屬 “AI魔法棒”即局部修改功能,。放在幾個(gè)月前,，這是AI繪畫領(lǐng)域才剛剛擁有的能力，現(xiàn)在“局部修改”能夠修改視頻中所有背景,、主體的局部特征,，而且實(shí)現(xiàn)起來也很便捷，只需要三步：上傳動(dòng)態(tài)視頻,；在Pika的控制臺(tái)內(nèi)選擇要修改的區(qū)域,；輸入提示詞，告訴Pika你想用什么來代替它,。

除了“局部修改”功能,，Pika1.0將文生圖工具M(jìn)idjourney具備的“圖像拓展”功能帶到了視頻界，這是視頻AI生成工具的首次,。不同于在抖音上被玩壞的 “AI擴(kuò)圖”,，Pika 1.0的視頻拓展相當(dāng)靠譜，不僅畫面自然,，而且十分符合邏輯,。

目前，Pika1.0支持用戶免費(fèi)體驗(yàn),，但需要申請(qǐng)?jiān)囉妹~。如果你還在排隊(duì)的話,，可以在官網(wǎng)選擇Discord登陸看看,。與Midjourney類似，用戶需要在Discord進(jìn)行云端創(chuàng)作,，而且可以體驗(yàn)到文本-視頻,、圖片-視頻兩大功能。

進(jìn)入Pika 1.0的Discord服務(wù)器后,，點(diǎn)擊Generat中的任意一個(gè)頻道,，輸入“/”，選擇“Create”,，在彈出的prompt文本框中輸入提示詞即可,。

與Gen-2相比，Pika 1.0對(duì)提示詞的理解更加到位,，但在畫質(zhì)還不如Gen-2,，這很可能是因?yàn)樵苿?chuàng)造的緣故，我們來看下效果：

如果用圖片生成視頻,，則輸入“/”后,，選擇“animate”,，上傳一張圖片，輸入提示詞說明即可,。

Pika 1.0的圖片-視頻效果與Gen-2不相伯仲,。

網(wǎng)站定位：

https://pika.art/waitlist

Stable Video Diffusion

11月22日 Stability AI 發(fā)布了一個(gè)AI生成視頻的開源項(xiàng)目：Stable Video Diffusion（SVD），Stability AI官方博客顯示,，全新SVD支持文本到視頻,、圖像到視頻生成，并且還支持物體從單視角到多視角的轉(zhuǎn)化,，也就是3D合成,。生成效果不亞于Runway Gen2和 Pika 1.0。

目前有兩種在線使用途徑,，一個(gè)是官方在 replicate上發(fā)布的試玩 demo,， 一個(gè)是新出的在線網(wǎng)站，兩者均免費(fèi),。

我們測試了第一種,，因?yàn)樗С謪?shù)調(diào)整，操作也相對(duì)便捷：上傳圖片,，調(diào)整幀數(shù),、畫面縱橫比、整體運(yùn)動(dòng)等參數(shù)即可,。但美中不足的是,，畫面生成效果相對(duì)隨機(jī)，需要不斷調(diào)試來達(dá)到想要的效果,。

Stable Video Diffusion目前只是基礎(chǔ)模型,，尚未產(chǎn)品化，但官方透露“正計(jì)劃繼續(xù)擴(kuò)展,，建立類似于Stable Diffusion的生態(tài)系統(tǒng)”,，計(jì)劃根據(jù)用戶對(duì)安全和質(zhì)量的反饋持續(xù)改進(jìn)模型。

網(wǎng)站定位：試玩 demo 版和在線版

• https://replicate.com/stability-ai/stable-video-diffusion
• https://stable-video-diffusion.com/

Magic Animate

MagicAnimate是一種基于擴(kuò)散模型的人像動(dòng)畫生成方法,，旨在增強(qiáng)時(shí)間一致性,、保持參考圖像的真實(shí)性，并提高動(dòng)畫保真度,，由新加坡國立大學(xué)Show Lab和字節(jié)跳動(dòng)聯(lián)合推出,。

簡單來說，給定一張參考圖像和一個(gè)姿態(tài)序列（視頻）,它可以生成一個(gè)跟隨姿態(tài)運(yùn)動(dòng),，并保持參考圖像身份特征的動(dòng)畫視頻,。操作也是非常簡單，同樣只需三步：上傳一張靜態(tài)人物照片,；上傳想要生成的動(dòng)作demo視頻,；調(diào)整參數(shù),。

MagicAnimate在GitHub中也給出了本地體驗(yàn)的方式感興趣的小伙伴可以試試！

網(wǎng)站定位：

https://github.com/magic-research/magic-animate