生成式3D：等待下一个“Midjourney时刻”

TL;DR

1. 从2017年至今3D经历过了3D视觉、元宇宙还有当前的大模型+MR驱动的三波热潮，软件（AI）和硬件（Vision Pro）共振带来的新一波热潮有望带来更持续的3D创新；
2. 文字和图像的大模型都已经有了各自的基石模型并进入到应用爆发期，3D生成模型仍处在模型迭代阶段，尚无行业*，但创新速度明显加快，市场在等待属于3D的“Midjourney时刻”；
3. 现有3D管线研发成本高、制作周期长，AI+3D正在通过以下几种方式大幅优化3D生产管线：生成式3D建模、纹理生成及绑定、服装布料生成及驱动、Text to action动画驱动、基于大模型的新交互方式（LUI、拖拉拽式交互）、3D资产库+LLM，其中生成式3D*有变革性；
4. 现有3D生成模型可以划分成“原生3D”和“2D升维”路线，目前都面临着生成速度、质量、丰富性的“不可能三角”：“原生3D”通常在生成速度和质量上占优，但由于3D数据的匮乏导致生成的丰富性上仍是短板，“2D升维”则继承2D图像生成的丰富性，同时在生成速度和质量上快速追赶；
5. “3D原生”的生成式模型更接近商业化要求，会在特定场景下先行商业化，“2D升维”的生成式模型预期未来一年内有机会在元宇宙等对生成质量要求不高的场景落地，真正的3D应用市场爆发尚待XR的成熟渗透，我们认为五年内AI+3D TAM市场的下限是3D资产交易市场的27亿美元，乐观能看到数百亿美元的市场（单游戏的3D研发投入就超过百亿美元）
6. 当前阶段有底层技术能力的公司会有显著的竞争优势，而3D应用的爆发仍需至少一年以上的时间，届时竞争要素才会逐渐往产品端倾斜，但优秀的AIGC公司应当是拥有底层技术的同时有自己的爆款C端应用。

目录

一、AI+3D=？

1. 生成式3D建模：类似Midjourney的文生图或图生图模式，以一段文字或者图片作为prompt输入，由生成式模型生成所需的3D资产，包括3D的虚拟人、物品、场景等，将原本高门槛、长周期的3D建模环节简化成只需要一句“咒语”或者一张“原画”就能够完成3D建模，生产效率有质的飞跃。由于3D生成模型对3D管线效率的极大提升，也是目前3D创新最为活跃的领域，下文将会展开重点介绍。

1. 纹理生成及绑定：目前基于NeRF（Neural Radiance Fields，神经辐射场）的3D生成模型通常是一步到位生成带贴图的3D资产，而没有单独进行纹理的生成和绑定，而非NeRF路线的生成模型通常会对几何和纹理进行分别生成，再进行绑定和驱动，比如英伟达的GET3D，上海科大的影眸科技提出的Dreamface，以及来自美国的Synthesis AI等。

1. Text to action动画驱动：类似OpenAI在图像领域提出的CLIP模型，通过大量的文本动作数据对进行预训练，形成大模型对于动作表情的理解和生成的能力，例如在虚拟人场景中根据对话文本生成合适的肢体动作和表情。

   在action方面，字节旗下的朝夕光年在今年3月的游戏开发者大会（GDC）上介绍了将文本转化成全身动画的技术，并将应用在即将推出的游戏《星球：重启》；腾讯联合复旦于今年6月在Arxiv上发布了MotionGPT模型的研究；北京大学团队在7月份提出GestureDiffuCLIP用于语音语义到手势的生成；国内初创企业中科深智也基于多年文本动作对数据集的积累推出了CLLAP模型。

   而表情驱动上比较有代表性的是英伟达的Audio2Face和多伦多大学的JALI模型，尝试通过对输入文本的理解生成恰当的口型和表情，目前在嘴型匹配上有比较好的进展，但整体表情生成上仍有待突破。

1. 服装布料生成及驱动：服装布料生成也是3D模型里比较重要的环节，在3D场景下不同布料工艺的服装如何生成、如何适配avatar体型、怎么解算服装的动画都是服装布料生成需要回答的问题。目前这块的相关研究尚处在早期，我们看到有凌迪科技Style3D通过diffusion+图形学仿真来实现生成和动画驱动，也关注到米哈游和伦敦大学等在2019年的Siggraph上联合发布了关于服装动画半自动生成的研究，而在米哈游的虚拟人鹿鸣新近的直播中我们看到其服装动画的实时解算渲染已经达到了较高的水平。

1. 基于大模型的新交互方式降低使用门槛
   1. LUI：基于LLM，融入对话式的交互，实现类似微软office copilot式的软件交互，大幅降低3D建模软件的使用门槛，比如Unity在6月发布的Unity Muse。LUI已经在逐渐成为各类软件的标配，3D软件也不例外。

   

   图：Unity发布的Unity Muse工具
   2. 拖拉拽式交互：3D作为基于视觉的内容，很多时候通过Chat来进行微调不如通过拖拉拽的所见即所得来得高效，5月份的DragGAN模型实现了通过拖拉拽把图片中的大象P转身惊艳了整个行业，紧接着也马上有人基于DragGAN和3D生成模型Get3D缝合出了Drag3D模型，可以通过拖拉拽的方式对3D资产的几何形状和纹理进行编辑，也是有意思的探索方向。

   

   图：DragGAN模型效果图：Drag3D模型效果
2. 3D资产库+LLM：3D资产库可以基于LLM进行3D资产的快速匹配、参数调整，从而在资产库的范围内实现“Text to 3D”。美国老牌的3D资产库Tafi在6月份发布了惊艳的Text to 3D引擎demo，可以帮助用户在极短时间内“生成”想要的3D资产，并可导入到Unity等引擎进行后续的编辑和商用。

二、生成式3D的加速狂奔与“不可能三角”

1. 原生3D派：原生3D 路线主要特点是使用3D数据集进行训练，从训练到推理都基于 3D 数据，通常也是基于diffusion模型和transformer模型的方法进行训练，实现从文字/图片输入直接到3D资产的生成。

   

   图：Get3D（Nvidia）模型原理图
   1. 优势：
      1. 生成速度快：2D升维通常利用 2D 扩散生成模型来指导 3D 表示（如 NeRF）的优化，需要很多步迭代导致非常耗时，而3D原生的生成通常可以在1min以内完成，类似2D的文生图；
      2. 生成质量高：在特定范围内能够生成质量较高的3D资产，比如通过高质量的3D人脸数据可以训练出4k以上高质量的3D人脸，同时避免了2D升维的多面等问题；
      3. 兼容性好：通常有几何和纹理的分别生成，可以直接在标准图形引擎中进行后续编辑。
   2. 劣势：
      1. 丰富性不足：原生3D生成的问题在于缺乏高质量、大规模的3D数据集，目前比较大的3D数据集基本在百万级别，相比于十亿级别的图像数据集有三个数量级的差距，并且数据质量和一致性较差，制约了模型的“想象力”，比如没有见过的物品或者组合，对目前的原生3D模型往往比较挑战。
   3. 典型模型：Get3D（Nvidia）、Shap-E（OpenAI）、Dreamface（影眸科技）
2. 2D升维派：通过 2D 生成模型（如 Imagen、diffusion model）生成多个视角的 3D 视图，然后用 NeRF 重建。背后核心逻辑是3D数据集的匮乏难以满足丰富的3D生成需求，在2D的文生图红红火火的背景下开始越来越多的研究者试图基于海量的2D图像数据来实现3D的生成，并取得了飞速的进展。

   

   图：Dreamfusion（Google）模型原理图
   1. 优势：可以利用大量的2D图像数据进行预训练，数据的丰富性使生成的3D模型复杂度提高，富有“想象力”；
   2. 劣势：
      1. 生成速度慢：NeRF的训练和推理过程都需要大量的计算资源。因为需要对3D空间进行密集的采样，这也导致了生成速度较慢，不过最近的One-2-3-45模型提出了 “2D 多视角预测 + 3D 可泛化重建”将生成时间缩短到了45s，生成速度上在追赶3D原生派；
      2. 生成质量较低：NeRF更擅长合成视角而非精确重建，受限于采样数量、视角数量及计算资源的平衡，目前2D升维生成3D在分辨率、纹理细节都还比较粗糙，以及2D升维3D过程中的一些非理想效应的存在，导致整体的生成质量还有较大提升空间；
      3. 兼容性问题：NeRF格式无法直接在Unity等3D引擎中进行后续的编辑，也可以通过Matching cubes等方法转换成3D网格再到3D引擎中进行编辑，也有一些2D升维3D模型已经可以实现Mesh格式的导出，兼容现有3D管线，整体兼容性有所改善；
   3. 典型模型：Dreamfield、Dreamfusion（Google）、Point-E（OpenAI）、Magic3D（Nvidia）、ProlificDreamer（生数科技）、One-2–3–45