AI視頻工具賽道越來越卷,，各種升級令人應(yīng)接不暇， 尤其是Gen-2,、Pika1.0,、Stable Video Diffusion、和Magic Animate,，它們正在成為用戶最常用的視頻生成產(chǎn)品,，背后有強大的AI大模型支撐。

盡管目前的視頻類大模型還達不到“用文字描述一個故事就能生成一部電影”這么高能,，但已經(jīng)能通過一系列提示詞就能創(chuàng)作出一段生動的視頻,，還發(fā)展出圖生視頻等強大的多模態(tài)能力,。

《元宇宙日報》測試了四大AI視頻工具，希望能幫你快速上手體驗,。需要提醒的是,，所有的工具輸入提示詞時最好使用英文，生成效果會比中文提示要好,。在此,，我們也希望國產(chǎn)的AI視頻生成工具能快點趕上，創(chuàng)造出適合中文用戶的好產(chǎn)品,。

Runway Gen-2

Gen-2是第一款公開可用的文本生成視頻工具,，由 Runway Research 開發(fā)。它的相關(guān)功能,，包括文本/圖像轉(zhuǎn)視頻,、視頻風(fēng)格化、圖像拓展,、一鍵扣除視頻背景,、抹除視頻指定元素、訓(xùn)練特定AI模型等,，可以說是目前最強的 AI 視頻生成/編輯工具,。

Gen-2的文本生視頻功能相對Gen-1已經(jīng)有了相當(dāng)大的提升，這里可以看下輸入“raccoon play snow ball fight in sunny snow Christmas playground”（浣熊在陽光明媚的雪地圣誕游樂場打雪仗）的生成效果,?？梢哉f，無論是畫質(zhì)還是構(gòu)圖,，Gen-2都十分出色,。但會出現(xiàn)遺漏關(guān)鍵詞的問題，比如畫面中沒有體現(xiàn)出“圣誕”與“打雪仗”的效果,。

就在前幾天,，Runway 又上線了新功能“Motion Brush”（運動筆刷），我們只需在圖像上涂抹一個區(qū)域,，就能將靜態(tài)的圖像變?yōu)閯討B(tài)內(nèi)容,。“運動筆刷“的功能在操作上太友好了,，選定一張圖片,，使用筆刷涂抹想要動起來的區(qū)域，再調(diào)試好想要大致的運動方向,，靜止的圖片就可以根據(jù)預(yù)定動起來,。

但目前，“運動筆刷”的功能也存在一些不足，比如適合緩慢的移動畫面,，無法生成類似車輛飛速行駛等快速移動的畫面,。此外，如果使用運動筆刷,，涂抹外的區(qū)域都幾乎保持靜止,，無法實現(xiàn)多個物體運動軌跡的微調(diào)。

目前,，Runway免費賬號只能生成4秒時長的視頻,，每秒需要消耗5 個積分，最多可以生成31個視頻,，并且不能去除水印,。如果你想要更高分辨率、無水印,、時長更長的視頻,，那就需要付費升級一下你的賬號。

此外,，如果你想學(xué)習(xí)AI視頻,，可以試試Runway 推出的電視頻道 Runway TV，這里24 小時循環(huán)播放由 AI 制作的視頻,，通過這些 AI 視頻,，你或者還能尋找一些創(chuàng)意靈感。

網(wǎng)站定位：

https://app.runwayml.com/video-tools/teams/wuxiaohui557/ai-tools/gen-2

Pika 1.0

Pika 1.0是Pika Labs發(fā)布的第一個正式版產(chǎn)品,，這個實驗室是由華人團隊創(chuàng)辦的AI技術(shù)初創(chuàng)公司,。Pika 1.0不僅能夠生成3D動畫、動漫,、卡通和電影,，甚至可以實現(xiàn)風(fēng)格轉(zhuǎn)換、幕布擴展,、視頻編輯等重磅能力。Pika 1.0非常擅長制作動漫風(fēng)格的畫面,，可生成電影效果的短視頻,。

Pika 1.0最受網(wǎng)友歡迎的小工具當(dāng)屬 “AI魔法棒”即局部修改功能。放在幾個月前,，這是AI繪畫領(lǐng)域才剛剛擁有的能力,，現(xiàn)在“局部修改”能夠修改視頻中所有背景、主體的局部特征,，而且實現(xiàn)起來也很便捷,，只需要三步：上傳動態(tài)視頻；在Pika的控制臺內(nèi)選擇要修改的區(qū)域,；輸入提示詞,，告訴Pika你想用什么來代替它,。

除了“局部修改”功能，Pika1.0將文生圖工具Midjourney具備的“圖像拓展”功能帶到了視頻界,，這是視頻AI生成工具的首次,。不同于在抖音上被玩壞的 “AI擴圖”，Pika 1.0的視頻拓展相當(dāng)靠譜,，不僅畫面自然,，而且十分符合邏輯。

目前,，Pika1.0支持用戶免費體驗,，但需要申請試用名額。如果你還在排隊的話,，可以在官網(wǎng)選擇Discord登陸看看,。與Midjourney類似，用戶需要在Discord進行云端創(chuàng)作,，而且可以體驗到文本-視頻,、圖片-視頻兩大功能。

進入Pika 1.0的Discord服務(wù)器后,，點擊Generat中的任意一個頻道,，輸入“/”，選擇“Create”,，在彈出的prompt文本框中輸入提示詞即可,。

與Gen-2相比，Pika 1.0對提示詞的理解更加到位,，但在畫質(zhì)還不如Gen-2,，這很可能是因為云創(chuàng)造的緣故，我們來看下效果：

如果用圖片生成視頻,，則輸入“/”后,，選擇“animate”，上傳一張圖片,，輸入提示詞說明即可,。

Pika 1.0的圖片-視頻效果與Gen-2不相伯仲。

網(wǎng)站定位：

https://pika.art/waitlist

Stable Video Diffusion

11月22日 Stability AI 發(fā)布了一個AI生成視頻的開源項目：Stable Video Diffusion（SVD）,，Stability AI官方博客顯示,，全新SVD支持文本到視頻、圖像到視頻生成,，并且還支持物體從單視角到多視角的轉(zhuǎn)化,，也就是3D合成。生成效果不亞于Runway Gen2和 Pika 1.0。

目前有兩種在線使用途徑,，一個是官方在 replicate上發(fā)布的試玩 demo,， 一個是新出的在線網(wǎng)站，兩者均免費,。

我們測試了第一種,，因為它支持參數(shù)調(diào)整，操作也相對便捷：上傳圖片,，調(diào)整幀數(shù),、畫面縱橫比、整體運動等參數(shù)即可,。但美中不足的是,，畫面生成效果相對隨機，需要不斷調(diào)試來達到想要的效果,。

Stable Video Diffusion目前只是基礎(chǔ)模型,，尚未產(chǎn)品化，但官方透露“正計劃繼續(xù)擴展,，建立類似于Stable Diffusion的生態(tài)系統(tǒng)”,，計劃根據(jù)用戶對安全和質(zhì)量的反饋持續(xù)改進模型。

網(wǎng)站定位：試玩 demo 版和在線版

• https://replicate.com/stability-ai/stable-video-diffusion
• https://stable-video-diffusion.com/

Magic Animate

MagicAnimate是一種基于擴散模型的人像動畫生成方法,，旨在增強時間一致性,、保持參考圖像的真實性，并提高動畫保真度,，由新加坡國立大學(xué)Show Lab和字節(jié)跳動聯(lián)合推出,。

簡單來說，給定一張參考圖像和一個姿態(tài)序列（視頻）,它可以生成一個跟隨姿態(tài)運動,，并保持參考圖像身份特征的動畫視頻,。操作也是非常簡單，同樣只需三步：上傳一張靜態(tài)人物照片,；上傳想要生成的動作demo視頻,；調(diào)整參數(shù)。

MagicAnimate在GitHub中也給出了本地體驗的方式感興趣的小伙伴可以試試,！

網(wǎng)站定位：

https://github.com/magic-research/magic-animate