編程客棧（）5月4日 消息:最近，影眸科技與上?？萍即髮W(xué)的研發(fā)團(tuán)隊(duì)提出了一種文本指導(dǎo)的漸進(jìn)式3D生成框架——DreamFace，結(jié)合了視覺-語言模型、隱式擴(kuò)散模型和基于物理的材質(zhì)擴(kuò)散技術(shù)，可以生成符合計(jì)算機(jī)圖形制作標(biāo)準(zhǔn)的3D資產(chǎn)。

(資料圖)

項(xiàng)目網(wǎng)站:https://sites.google.com/view/dreamface

預(yù)印版論文:https://arxiv.org/abs/2304.03117

Web Demo: pythonhttps://hyperhuman.top

HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

這項(xiàng)技術(shù)可以解決基于神經(jīng)輻射場（NeRF）的3D生成方法與傳統(tǒng)3D渲染軟件的兼容性問題，為javascript3D生成技術(shù)的實(shí)際應(yīng)用提供了新的可能性。

DreamFace可以根據(jù)文字描述生成3D資產(chǎn)，具有廣泛的應(yīng)用前景。這項(xiàng)技術(shù)可以幫助人們更好地理解和應(yīng)對合成媒編程bTbUplsk體的問題，提高媒體的可信度和透明度。

DreamFace的創(chuàng)新之處在于其幾何體生成、基于物理的材質(zhì)擴(kuò)散生成和動(dòng)畫能力生成三個(gè)模塊。

幾何體生成模塊使用CLIP框架根據(jù)文本提示生成幾何模型。

基于物理的材質(zhì)擴(kuò)散生成模塊針對預(yù)測幾何體和文本提示生成面部紋理。

動(dòng)畫能力生成模塊使用BlendShapes或生成的Personalized BlendShapes的面部資產(chǎn)具備動(dòng)畫能力。

DreamFace框架在名人生成、描述生成角色等任務(wù)上取得了良好的效果編程客棧，只需5分鐘生成指定3D資產(chǎn)，并且支持使用提示和草圖進(jìn)行紋理編輯，實(shí)現(xiàn)全局編輯效果（如老化、化妝）和局部編輯效果(如紋身、胡須、胎記)，可用于影視、游戲等行業(yè)。