作者介紹 劉芳甫，清華大學(xué)博士生 內(nèi)容簡介 最近，通過利用2D和3D擴散模型，從文本提示創(chuàng)建3D內(nèi)容取得了顯著進展。雖然3D擴散模型確保了良好的幾何一致性，但由于3D數(shù)據(jù)有限，其生成高質(zhì)量和多樣化3D內(nèi)容的能力受到限制。相比之下，2D擴散模型通過一種提煉方法，在不使用任何3D數(shù)據(jù)的情況下實現(xiàn)了卓越的泛化能力和豐富的細節(jié)。然而，2D提升方法由于固有的視角不可知的模糊性，導(dǎo)致了嚴重的多面性問題，即文本提示無法提供足夠的指導(dǎo)來學(xué)習(xí)一致的3D結(jié)果。我們沒有重新訓(xùn)練一個昂貴的視點感知模型，而是研究如何充分利用易于獲取的粗略3D先驗知識來增強提示并引導(dǎo)2D提升優(yōu)化進行細化。在本文中，我們提出了Sherpa3D，一個新的文本到3D框架，能夠同時實現(xiàn)高保真度、通用性和幾何一致性。具體而言，我們設(shè)計了一對指導(dǎo)策略，來自由3D擴散模型生成的粗略3D先驗：幾何保真度的結(jié)構(gòu)指導(dǎo)和3D一致性的語義指導(dǎo)。通過采用這兩種指導(dǎo)，2D擴散模型豐富了3D內(nèi)容，產(chǎn)生了多樣化和高質(zhì)量的結(jié)果。大量實驗證明了我們的Sherpa3D在質(zhì)量和3D一致性方面優(yōu)于最新的文本到3D方法。 論文地址：https://arxiv.org/pdf/2312.06655 代碼地址：https://liuff19.github.io/Sherpa3D/ 項目地址：https://jamesyjl.github.io/DreamReward/ 01 Gallery of Sherpa3D Sherpa3D 是一個全新的文本到3D生成框架。該框架能夠在25分鐘內(nèi)生成高保真度、多樣化且符合幾何一致性的三維物體。相比于現(xiàn)有的方法，Sherpa3D在生成質(zhì)量和時間上均有顯著提升。 3D生成技術(shù)的發(fā)展歷程可以從ICLR 2023年的DreamFusion開始，該方法在生成質(zhì)量和時間效率上存在一定局限。隨后在ICLR 2024年提出的SweetDreamer，雖然在生成質(zhì)量上有所提升，但需要大量的3D數(shù)據(jù)進行訓(xùn)練。本文的研究表明，Sherpa3D的性能與SweetDreamer相當(dāng)，但在時間效率上更具優(yōu)勢。 此外，ICLR 2024年的Dream Gaussian在生成速度上實現(xiàn)了突破，但其生成的紋理質(zhì)量仍有提升空間。相比之下，Sherpa3D有效解決了現(xiàn)有方法中的諸多問題，并提出了一個全新的框架，顯著提升了3D生成的質(zhì)量和效率。
02 Background of 3D AIGC 3D AIGC的發(fā)展分為兩個主要范式。第一個范式以DreamFusion為代表，采用優(yōu)化的方式。該方法旨在將2D擴散模型的能力提升到3D空間，通過SDS損失（Score Distillation Sampling loss）實現(xiàn)。具體來說，3D物體的每一個側(cè)面都在2D世界中見到過，因此可以通過2D擴散模型來監(jiān)督整個3D物體的生成。SDS的本質(zhì)是將2D擴散模型的能力進行蒸餾，通過對損失函數(shù)直接求梯度的方式，監(jiān)督3D物體的生成。 第二個范式是從合成數(shù)據(jù)進行訓(xùn)練，稱為合成數(shù)據(jù)原生推理的方法。主要代表方法包括早期的CP、PointE以及近期利用ObjectVerse訓(xùn)練多視圖數(shù)據(jù)的生成方法。
03 Motivation 本文的研究動機在于分析現(xiàn)有的2D和3D擴散模型，即前面提到的兩種范式。2D擴散模型的優(yōu)勢在于其訓(xùn)練數(shù)據(jù)集非常豐富，2D圖像數(shù)量龐大，具備很強的泛化能力，能夠生成細節(jié)豐富的圖像。然而，2D擴散模型的局限在于其僅見過2D圖像，而且2D圖像數(shù)據(jù)集存在長尾分布問題，例如正面圖像遠多于背面圖像，導(dǎo)致其缺乏3D先驗，容易出現(xiàn)多面（multi-face）問題，例如DreamFusion生成的圖像可能正面和背面都有臉。 相比之下，3D擴散模型因為直接使用3D數(shù)據(jù)進行訓(xùn)練，具備很好的多視角一致性，不會出現(xiàn)多面的問題。但其不足在于3D數(shù)據(jù)相對于2D數(shù)據(jù)量非常少，導(dǎo)致模型的質(zhì)量和泛化能力較差。 因此，該研究的目標(biāo)是同時解決上述問題，提出一個質(zhì)量高、泛化性好，并且能夠保證幾何一致性的模型。
04 Method Overview 作者提出了Sherpa3D框架。Sherpa意指喜馬拉雅山的向?qū)В龑?dǎo)登山者攀登高峰。類似地，本文所提框架引導(dǎo)2D擴散模型逐步優(yōu)化，最終生成高質(zhì)量且具備3D一致性的模型。 首先，需要解決以下三個挑戰(zhàn)。第一個挑戰(zhàn)是在2D轉(zhuǎn)3D的過程中，容易出現(xiàn)多個面部的情況。第二個挑戰(zhàn)是僅使用2D擴散模型時，可能生成的幾何結(jié)構(gòu)不穩(wěn)定。第三個挑戰(zhàn)是引入3D擴散模型作為先驗時，需要平衡2D和3D擴散模型在整個優(yōu)化過程中的作用權(quán)重。 為了解決這些挑戰(zhàn)，本文方法如下。首先通過3D擴散模型生成一個粗略的3D先驗，然后將3D先驗投影成不同的側(cè)面圖像。接著，使用結(jié)構(gòu)引導(dǎo)和語義引導(dǎo)來輔助2D提升過程。結(jié)構(gòu)引導(dǎo)利用3D先驗引導(dǎo)后續(xù)的2D提升過程，避免出現(xiàn)結(jié)構(gòu)不良的幾何現(xiàn)象；語義引導(dǎo)則通過3D先驗提供正面、背面和側(cè)面的語義信息，從而緩解多面問題。最后，作者提出了一個分步退火策略（Step Annealing Strategy），在整個優(yōu)化過程中平衡2D和3D擴散模型的作用。
Method in detail 在該方法中，作者首先討論了哪些知識可以作為優(yōu)化過程的引導(dǎo)。通過實驗，作者發(fā)現(xiàn)幾何不一致性是導(dǎo)致3D性能不佳的一個主要原因。因此，優(yōu)化過程主要集中在幾何優(yōu)化上的設(shè)計和改進。 首先，在結(jié)構(gòu)引導(dǎo)方面，為了保留粗略3D先驗的結(jié)構(gòu)，本文采用了一個簡單的邊緣提取算子來描述其輪廓。這使得在后續(xù)的優(yōu)化過程中，生成的3D形狀能夠與初始的3D形狀保持幾何大小的一致，避免幾何結(jié)構(gòu)出現(xiàn)問題。 其次，在語義引導(dǎo)方面，作者通過約束語義一致性來避免多面問題。這樣可以確保生成的3D物體在不同視角下具有一致的外觀。 第三，本文引入了一個分步退火策略（step annealing strategy）來平衡2D和3D優(yōu)化的作用。如果沒有分步退火，3D擴散模型可能會過度發(fā)揮作用，從而導(dǎo)致生成的細節(jié)不足。因此，通過分步退火策略，就能夠在優(yōu)化過程中適當(dāng)調(diào)整2D和3D擴散模型的作用權(quán)重，保證生成結(jié)果的細節(jié)和一致性。 最后，文中的優(yōu)化是在幾何空間進行的，而不是在RGB空間。具體來說，通過對法線向量進行SDS優(yōu)化。在早些時候的SCP 2023和Fantasia 3D研究中，已經(jīng)證明了這種方法的有效性。Stable diffusion使用的訓(xùn)練數(shù)據(jù)中包含了一部分法線數(shù)據(jù)，因此可以很快地對SDS進行收斂。
05 Visualization 以下是生成的一個模型的可視化結(jié)果，這是使用Blender進行渲染的。
06 Experiment Results 以下是更多的實驗結(jié)果。可以看到，早期的方法如CPE盡管在3D一致性上表現(xiàn)良好，但生成的質(zhì)量非常粗糙。DreamFusion、Magic3D、Fantasia3D和ProlificDreamer等方法在生成時間上都非常長，并且經(jīng)常出現(xiàn)多臉和多頭的問題，質(zhì)量也較差。 相比之下，本文方法在解決多面問題上表現(xiàn)出色。最左邊的結(jié)果是Sherpa3D生成的3D模型，顯示出Sherpa3D不僅有效解決了多面問題，還在質(zhì)量和逼真度上達到了更高水平，生成的3D模型更加真實可信。
More Experiment Results 進一步的實驗結(jié)果表明，在CLIP上的驗證中，Sherpa3D表現(xiàn)出最高的性能。此外，用戶研究也顯示，Sherpa3D更受大眾歡迎。 值得一提的是，由于Sherpa3D僅在幾何空間進行優(yōu)化，因此可以充分發(fā)揮Stable Diffusion的上色能力和泛化能力。在整個優(yōu)化過程中，不會改變Stable Diffusion的特性，這使得Sherpa3D在生成質(zhì)量上優(yōu)于直接使用3D數(shù)據(jù)訓(xùn)練的模型。例如，ObjectVerse和MV-Dream等方法可能會過擬合到特定的數(shù)據(jù)集顏色空間，而Sherpa3D則能夠避免這種情況。 此外，Sherpa3D在解決OOD（Out-of-Distribution）現(xiàn)象時表現(xiàn)出色。無論是生成多樣化和具有高度泛化能力的提示，還是進行簡單的編輯操作（如只改變紋理而不改變幾何結(jié)構(gòu)），Sherpa3D都能很好地完成任務(wù)。
07 Zero-shot 3D Generation 下面展示了Sherpa3D在零樣本（zero-shot）3D生成任務(wù)中的結(jié)果。可以看到，Sherpa3D在3D一致性和紋理質(zhì)量方面表現(xiàn)出色。生成的3D模型不僅具備高度的幾何一致性，還在紋理細節(jié)上保持了很高的質(zhì)量。
08 Future Work Subject-Driven 3D Generation：Make-Your-3D 未來工作包括一個以主體為驅(qū)動的3D生成（subject-driven 3D generation）。當(dāng)前的3D生成大多數(shù)是基于給定的文本或圖片生成一個3D物體，而這篇文章提出了一種新方法，即只需提供一張圖片并添加一些文本提示，就可以在保持主體特征不變的情況下，為其添加帽子、墨鏡等配件。例如，我們可以讓格魯特坐著或者穿上制服。這實際上是一種定制化的過程。 該方法只需五分鐘內(nèi)就可以生成，有些案例甚至可以在幾十秒內(nèi)完成。此外，還可以對人物風(fēng)格進行修改，比如讓奧巴馬穿上不同的衣服，這都是定制化生成的表現(xiàn)。這是在后期進行的主體驅(qū)動的3D生成工作。具體工作參見：https://liuff19.github.io/Make-Your-3D/
Human Preference Alignment：DreamReward 另一個未來工作是解決當(dāng)前3D生成與人類偏好不對齊的問題。研究發(fā)現(xiàn)，目前的3D生成模型在理解文本提示的語義方面存在局限。例如，當(dāng)我們希望給自行車添加花籃裝飾時，使用MV-Dream等3D數(shù)據(jù)訓(xùn)練的模型可能無法很好地理解這一文本提示的語義。類似地，對于“獅子在陽光下”這樣的提示，模型可能無法捕捉到其中的語義信息。 為了解決這一問題，本文采用了ILHF（Instruction Learning from Human Feedback）的方法，使人類偏好與3D生成模型實現(xiàn)一定程度的對齊。右側(cè)展示的結(jié)果表明，所提方法在這一方面取得了顯著的進展，生成的3D模型與文本提示產(chǎn)生了更好的對齊效果。具體工作參見：https://jamesyjl.github.io/DreamReward/
|
