LDM3D是業(yè)界領(lǐng)先的可創(chuàng)建深度圖的生成式AI模型，有望革新內(nèi)容創(chuàng)作、元宇宙和數(shù)字體驗(yàn)

英特爾研究院宣布與Blockade Labs合作發(fā)布LDM3D(Latent Diffusion Model for 3D)模型，這一全新的擴(kuò)散模型使用生成式AI創(chuàng)建3D視覺(jué)內(nèi)容。LDM3D是業(yè)界領(lǐng)先的利用擴(kuò)散過(guò)程(diffusion process)生成深度圖(depth map)的模型,，進(jìn)而生成逼真的、沉浸式的360度全景圖。LDM3D有望革新內(nèi)容創(chuàng)作,、元宇宙應(yīng)用和數(shù)字體驗(yàn)，改變包括娛樂(lè),、游戲,、建筑和設(shè)計(jì)在內(nèi)的許多行業(yè)。

英特爾研究院人工智能和機(jī)器學(xué)習(xí)研究專(zhuān)家Vasudev Lal表示：“生成式AI技術(shù)旨在提高和增強(qiáng)人類(lèi)創(chuàng)造力,，并節(jié)省時(shí)間,。然而，目前的大部分生成式AI模型僅限于生成2D圖像,，僅有少數(shù)幾種可根據(jù)文本提示生成3D圖像,。在使用幾乎相同數(shù)量參數(shù)的情況下，不同于現(xiàn)存的潛在擴(kuò)散模型,，LDM3D可以根據(jù)用戶給定的文本提示同時(shí)生成圖像和深度圖,。與深度估計(jì)中的標(biāo)準(zhǔn)后處理方法相比，LDM3D能夠?yàn)閳D像中的每個(gè)像素提供更精準(zhǔn)的相對(duì)深度,，并為開(kāi)發(fā)者省去了大量用于場(chǎng)景開(kāi)發(fā)的時(shí)間,。”

封閉的生態(tài)系統(tǒng)限制了規(guī)模,。英特爾致力于推動(dòng)AI的真正普及,，通過(guò)開(kāi)放的生態(tài)系統(tǒng)讓更多人從這項(xiàng)技術(shù)中受益。計(jì)算機(jī)視覺(jué)領(lǐng)域近年來(lái)取得了重大進(jìn)展,，特別是在生成式AI方面,。然而，當(dāng)今許多先進(jìn)的生成式AI模型只能生成2D圖像,。與通常只能根據(jù)文本提示生成2D RGB圖像的現(xiàn)有擴(kuò)散模型不同,，LDM3D可以根據(jù)用戶給定的文本提示同時(shí)生成圖像和深度圖。與深度估計(jì)(depth estimation)中的標(biāo)準(zhǔn)后處理(post-processing)方法相比，LDM3D在使用與潛在擴(kuò)散模型Stable Diffusion幾乎相同數(shù)量參數(shù)的情況下,，能夠?yàn)閳D像中的每個(gè)像素提供更精準(zhǔn)的相對(duì)深度(relative depth),。

這項(xiàng)研究有望改變我們與數(shù)字內(nèi)容的互動(dòng)方式，基于文本提示為用戶提供全新的體驗(yàn),。LDM3D生成的圖像和深度圖能夠?qū)⒅T如寧?kù)o的熱帶海灘,、摩天大樓、科幻宇宙等文本描述轉(zhuǎn)化為細(xì)致的360度全景圖,。LDM3D捕捉深度信息的能力,，可以即時(shí)增強(qiáng)整體真實(shí)感和沉浸感，使各行各業(yè)的創(chuàng)新應(yīng)用成為可能,，包括娛樂(lè),、游戲、室內(nèi)設(shè)計(jì),、房產(chǎn)銷(xiāo)售 ,，以及虛擬博物館與沉浸式VR體驗(yàn)等。

6月20日,，在IEEE/CVF計(jì)算機(jī)視覺(jué)和模式識(shí)別會(huì)議(CVPR)的3DMV工作坊上,，LDM3D模型獲得了“Best Poster Award”

LDM3D是在LAION-400M數(shù)據(jù)集包含一萬(wàn)個(gè)樣本的子集上訓(xùn)練而成的,。LAION-400M是一個(gè)大型圖文數(shù)據(jù)集,，包含超過(guò)4億個(gè)圖文對(duì)。對(duì)訓(xùn)練語(yǔ)料庫(kù)進(jìn)行標(biāo)注時(shí),，研究團(tuán)隊(duì)使用了之前由英特爾研究院開(kāi)發(fā)的稠密深度估計(jì)模型DPT-Large，為圖像中的每個(gè)像素提供了高度準(zhǔn)確的相對(duì)深度,。LAION-400M數(shù)據(jù)集是基于研究用途創(chuàng)建而成的,，以便廣大研究人員和其它興趣社群能在更大規(guī)模上測(cè)試模型訓(xùn)練。

LDM3D模型在一臺(tái)英特爾AI超級(jí)計(jì)算機(jī)上完成了訓(xùn)練,，該超級(jí)計(jì)算機(jī)由英特爾?至強(qiáng)?處理器和英特爾?Habana Gaudi? AI加速器驅(qū)動(dòng),。最終的模型和流程整合了RGB圖像和深度圖，生成360度全景圖,，實(shí)現(xiàn)了沉浸式體驗(yàn),。

為了展示LDM3D的潛力，英特爾和Blockade的研究人員開(kāi)發(fā)了應(yīng)用程序DepthFusion,，通過(guò)標(biāo)準(zhǔn)的2D RGB圖像和深度圖創(chuàng)建沉浸式,、交互式的360度全景體驗(yàn)。DepthFusion利用了TouchDesigner,，一種基于節(jié)點(diǎn)的可視化編程語(yǔ)言,，用于實(shí)時(shí)互動(dòng)多媒體內(nèi)容，可將文本提示轉(zhuǎn)化為交互式和沉浸式數(shù)字體驗(yàn)。LDM3D是能生成RGB圖像及其深度圖的單一模型,，因此能夠節(jié)省內(nèi)存占用和降低延遲,。

LDM3D和DepthFusion的發(fā)布，為多視角生成式AI和計(jì)算機(jī)視覺(jué)的進(jìn)一步發(fā)展鋪平了道路,。英特爾將繼續(xù)探索如何使用生成式AI增強(qiáng)人類(lèi)能力,，并致力于打造一個(gè)強(qiáng)大的開(kāi)源AI研發(fā)生態(tài)系統(tǒng)，讓更多人能夠使用AI技術(shù),。延續(xù)英特爾對(duì)開(kāi)放AI生態(tài)系統(tǒng)的大力支持,，LDM3D正在通過(guò)HuggingFace進(jìn)行開(kāi)源，讓AI研究人員和從業(yè)者能對(duì)這一系統(tǒng)作出進(jìn)一步改進(jìn),，并針對(duì)特定應(yīng)用進(jìn)行微調(diào),。

在2023年6月18日至22日舉行的IEEE/CVF計(jì)算機(jī)視覺(jué)和模式識(shí)別會(huì)議上，英特爾將發(fā)表這項(xiàng)研究成果,。