c4d建模图片大场景-无需学习C4D？可秒将2D照片变成3D场景的黑科技正式发布

但这对于人工智能来说并不是一件容易的事。 过去，即使给我们多个角度的图片，人工智能也无法像人脑一样自动计算空白角度的细节，因此无法自动构建完整的3D场景。

这就是为什么现在的3D场景都是从建模开始的——所有的建模细节都是先构建出来，然后才能实现多角度的场景渲染。

资料来源：Artstation-Merve Kaplan

那么Instant NeRF是如何仅依靠几张不同角度的图片在几秒钟内渲染出完整且逼真的3D场景呢？

通过文章的内容，我们可以了解到Instant NeRF技术的实现，主要依赖于2点：

什么是NeRF（神经辐射场）技术

Instant NeRF 技术并不是 NVIDIA 的新开发成果。 其中，NeRF（神经辐射场）技术早在2020年就被提出。

NeRF由加州大学伯克利分校、谷歌研究院和加州大学圣地亚哥分校的研究人员共同开发，旨在利用神经网络组合输入的二维图像并渲染输出逼真的三维场景。

使用NeRF技术将图片转换为3D场景

具体步骤为：首先将连续场景描述为5D向量值函数，包括3D位置(x;y;z)和2D观察方向(θ;Φ)。 将此 5D 函数输入模型后，输出为发射颜色 C = (r; g; b) 和体积密度 (α)。

然后使用体积渲染技术将输出颜色和密度数据合成为 RGB 图像。 渲染函数是可微的，因此可以通过最小化合成图像与真实图像之间的残差来优化场景表示，最终形成完整的3D场景。

通过NeRF技术，可以利用多张不同角度的2D照片构建出逼真完整的3D场景，几乎与现实生活中的拍摄无异。

在此基础上，是否想以固定视角观看不同照明角度的效果：

具有复杂遮挡的场景：

还可以将虚拟对象插入到具有明显遮挡效果的现实世界场景中。

NeRF 甚至可以渲染捕获真实物体 360° 视图的效果c4d建模图片大场景，而无需背景隔离或绿屏等遮蔽。

开发人员正在继续深入开发和扩展 NeRF，以在任何照明条件下从新的角度渲染场景。

NeRF技术的出现无疑令人兴奋。 根据可视化的复杂性和分辨率，使用传统方法创建 3D 场景可能需要几个小时或更长时间。 将人工智能引入图像将加快速度 – 消除前期建模工作并大大提高 3D 捕获的效率和便利性。

我们已经知道NeRF通过5D数据输入-模型运算学习-输出RGBσ数据-体绘制的步骤形成完整的3D场景。

早期的 NeRF 模型可以在几分钟内渲染出没有伪影的清晰场景。 然而，在模型训练和学习步骤中，由于需要处理的数据量很大，可能需要进行剪枝、分裂或合并等结构修改。 模型训练过程非常耗费资源和时间，需要十几个小时甚至一天。

不过，NVIDIA 通过一种称为多分辨率哈希网格编码的技术，将这一步所需的时间缩短了几个数量级——从原来的十几个小时缩短到了几分钟。

多分辨率哈希编码技术

多分辨率哈希编码技术是由 NVIDIA 的 Thomas Müller、Alex Evans、Christoph Schied 和 Alexander Keller 组成的研究团队创建的一种新的输入编码方法。

“我们通过通用的新输入编码降低了成本，该编码允许使用较小的网络而不牺牲质量，从而显着减少浮点和内存访问操作的数量：

一个小型神经网络，由可训练的多分辨率哈希表增强c4d建模图片大场景，通过随机梯度下降优化其值的特征向量。 多分辨率结构允许网络消除哈希冲突的歧义，从而形成一个简单的架构，在现代 GPU 上并行化是微不足道的。

——多分辨率哈希编码技术研究组

多分辨率哈希编码技术的原理涉及到很多计算机术语和知识，但是如果你对哈希算法有所了解，你就知道哈希算法的特点之一：无论数据有多大，都可以通过哈希算法。 是一个固定长度的哈希值。 我们可以对多分辨率哈希编码技术的逻辑有一个大致的了解。

多分辨率哈希编码技术背后的总体思想是通过减少所使用的参数编码技术所需的参数数量并使数据结构本身更易于在 GPU 上处理，从而使神经网络训练速度显着加快。

无论输入Instant NeRF的数据大小如何，数据首先通过哈希编码技术转换为唯一对应的索引值。 在知道检索数据的索引值的前提下，进行训练操作时不需要更新数据结构，模型处理速度可以大大提高。

不同编码的重建质量演示。 可以看到，使用哈希表编码方式的(d)和(e)的训练时间分别为1分40秒和1分45秒，比其他编码的训练速度快了8倍以上方法。 而当可训练参数总数相同时，(e)的质量高于(d)，但训练时间不会增加。

此外，哈希编码技术会自动优先考虑“具有最重要的精细细节的稀疏区域”。 这样就无需在空白空间或细节较少的空间上花费时间和计算资源。

例如，不会以不必要的精细分辨率重复查询具有较粗糙细节的图像区域，从而使训练和渲染更加高效和快速。

多分辨率哈希编码技术允许 Instant NeRF 模型在短短几秒钟内对数十张静态照片进行训练吉祥物，再加上拍摄角度的数据，然后可以在数十毫秒内渲染最终的 3D。 场景。 相比NeRF之前几个小时的训练学习时间，Instant NeRF的提升无疑是惊人的。

全新多分辨率哈希编码算法将时间缩短至5秒卡通形象，不仅训练场景还提供实时渲染

总结

NVIDIA 研究团队将自有的多分辨率哈希编码技术与 NeRF 模型相结合，使 Instant NeRF 成为首批将超快速神经网络训练与快速渲染相结合的模型之一。

它可以在几分钟内处理图像，并在“几十毫秒”内生成完整的3D场景，大大提高了3D捕获和共享的速度、便利性和范围。

并且在多分辨率哈希编码技术优化后，Instant NeRF可以在单个NVIDIA GPU上高速训练和运行，并且渲染结果具有极高的质量。

Nvidia 研究人员表示 Instant NeRF 有多种应用：

以上只是Instant NeRF目前应用的一小部分。

Instant NeRF的3D场景构建逻辑与当今传统的3D软件完全不同，在应用上也有很大不同。 随着元宇宙和人工智能的深入发展，相信Instant NeRF的应用价值会不断提升，技术的迭代升级也会不断扩大。

“参考资料”