学3d建模需要什么基础-《哈利波特魔杖》在家体验幻影！大淘宝科技3D建模只需一拍

他挥舞着小魔杖，口中念念有词：“幻影显形”！

然后，他一闭上眼睛，再睁开眼睛，周围的景色就发生了奇迹般的变化。

虽然很神奇，但是这个咒语并不容易学会。 只有非常强大的魔法师才能掌握它。

最近，有人想在自己家里“幻影移形”。 几分钟之内，它就像一座新房子一样。

听起来有点异想天开，对吧？

感觉到沙发从地上升起来了吗？

当然，如果你现在想要重新设计装修你的家，那你就得下功夫了。

如果你想动动手指，恐怕就得在数字世界里做到了。

幻影移形！在数字世界中免费设计

而这个故事还得从小编前段时间对自己小窝的设计装修说起。

虽然看起来离日常生活有点远，但是做家居装修确实很头疼。

颜色、尺寸、款式，所有组合都取决于您的想象力。

不想烧脑细胞也没关系，只要激活“钱”能力，整个房子就完全定制了。

但现在XR这么流行，AR、VR等可以用在里面做设计吗？

等等，AR、家具、设计，这不就是宜家推出的“IKEA Place”吗！

没错，早在 2017 年，随着苹果 IOS 11 的推出，宜家就利用了当时最新的 ARKit 技术，让用户可以实时看到家里的 2000 多种家具产品。

基本上解决了简单环境下“这个家具能不能放进去”的问题。

然而，当环境变得稍微复杂一点，或者只是同时放置两件家具时，宜家就无法弄清楚位置逻辑。

当然，这可以通过手动反复调整来解决。 但是，你有没有想过，也许这个产品本身就是一种“伪需求”？

例如，如果你要设计一栋新买的房子，你唯一可以参考的就是平面图。

这简直太难了，何不去实地考察一探究竟。

好吧，没什么，为什么不利用AR来放置一波家具呢？

恐怕除了累坏了手之外，想要看清楚最终的效果，还得“穿模”入墙。

那么这个AR有什么用呢？

别担心，是时候敞开心扉了。

既然家具可以建模，那么家居是否也可以建立一个模型，然后将所有家具模型放入家居模型中呢？

这时候就需要一个神秘的工具：“对象抽屉”。

除了对对象进行建模之外，该对象抽屉还可以对房间进行建模，使其成为一站式解决方案。

输入平面图后，Object Drawer会识别结构、符号和文本并计算房间的大小，然后对整个房间进行矢量化，最后生成整个房间的3D模型。

而且你根本不需要自己做这个操作。 淘宝准备了200万种真实房型供您选择。

有了自己家的模型，就可以把淘宝上的地板、壁纸、桌椅等产品的3D模型放进去。

如果您不满意，可以随意更改。 只需点击几下即可完成家居装饰设计，最重要的是：它是免费的。

如果你不想自己动手，或者想看看设计师怎么说，淘宝还准备了800万套全屋设计供参考。

对于商家来说，Object Drawer已经被运用在产品的主形象中。

是不是看起来很新鲜呢？

无独有偶，在12月26日至28日举行的第十一届国际图像图形学术会议上，阿里巴巴淘宝技术部正式发布了Object Drawer。 使NeRF的推理速度提升10000倍，训练速度提升10倍以上。

为此，阿里巴巴高级算法专家、淘宝科技XR团队算法负责人赵斌强（乐天）受邀在大会上发表题为《从物理世界到数字世界：3D技术在数字世界中的应用》的主题演讲。数字产业转型”。

当然，最重要的一点是Object Drawer将向学者和普通用户开放，让开发者和研究人员交流经验。

被装修折磨的小编决定趁机提前尝试一下。

首先是数据准备：

用于Object Drawer建模的视频需要以物体周围360度环绕的方式拍摄，同时标记三个地面分割掩模。

视频拍摄

标记地面

为了方便地面的标记，Object Drawer在Github上提供了相应的标记工具。

项目地址：

接下来是视频的提交：

完成视频和标注数据的准备后，需要登录Object Drawer网站提交视频进行建模。

点击网站右上角的login进行登录，然后点击右上角的图片，在弹出的标签页中选择Video Upload，等待跳转到视频提交页面，填写视频名称，上传视频，标记并同意Object Drawer使用上传的视频服务协议，最后点击提交按钮； 现在视频提交操作已经完成，您需要等待一段时间，系统会自动完成视频建模过程。

试用界面：（请仔细阅读拍摄要求）

最后就可以得到渲染后的模型了。

你可能又会问，Object Drawer的应用范围太窄了。

敞开心扉吧！

俗话说，万物皆可虚拟。

既然都是虚拟的，那我们不是需要先建立一个模型吗？

例如，如果你想在数字世界中销售现实生活中的商品，但最终得到的却是几个马赛克方块，你真的认为你在销售 NFT 吗？

然而，对于成千上万的产品来说，仅仅依靠手工建模并不能永远持续下去。

但如果没有模型，怎么会有数字世界呢？

看看看看！新款SOTA出炉了

说起建模，我们还得回到2020年。3D重建领域出现了一颗后起之秀——NeRF神经渲染技术。

图形和计算机视觉的核心之一是重建和渲染现实世界中的人和物体。

摄影测量等传统3D重建的一般流程为：稀疏点云重建->密集点云重建->网格重建->纹理映射->材质映射。 经验表明，基于摄影测量的建模工具对拍摄环境有很强的依赖性； 弱纹理和光滑区域的表面恢复较差； 他们通常依赖于手动修复模型网格和纹理以及分配材质。

NeRF提出使用神经辐射场来表达场景，跳过显式三维重建，直接通过神经渲染实现场景的自由视图合成。

作为函数，NeRF网络输入5D坐标包括空间中点坐标x=(x,y,z)和相机观察方向d=(θ,φ)，输出为c=(r,g,b)颜色和密度。 σ，写为：

，物体的体素密度仅与空间坐标x有关，输出颜色与空间坐标和视角方向有关。

由于NeRF技术的渲染过程是完全可微的，并且可以进行端到端的训练，因此NeRF可以准确地还原场景各个视角的渲染效果。

从三维重建而不是纯透视生成的角度来看，NeRF 有几个明显的缺点：

训练和推理速度慢。 1080P图片的推理时间超过50秒，物体的建模时间通常需要2天以上。 渲染出来的画面清晰度不够，无法还原细节纹理。 需要大量的多视角图片才能达到更好的效果。 视图插值； 隐式表达不能直接导入图形工具，不支持显式使用，如CAD场景匹配设计； 只能还原拍摄场景的光照，无法支持环境光照变化的场景应用。

这些问题限制了大规模的工业应用，例如下一代VR/AR、3D设计、3D浏览等。

2021年，阿里巴巴淘宝技术部发布了Object Drawer，将NeRF的推理速度提升了10000倍，训练速度提升了10倍以上。

同时，Object Drawer添加了更多高频纹理信息，进一步提升建模还原程度，

提出了光照迁移辅助方案，使得NeRF重建的模型可以明确地应用于日常场景匹配设计，从而使神经渲染技术达到实用标准。

推理速度和训练速度

输出分辨率为1920*1080的图像，NeRF的推理速度为50s/帧，但实际要求是30帧/s以上，差距达1500倍。

Object Drawer从场景表示方法、有效像素、有效体素等多个角度优化冗余计算。 在1920*1080分辨率下，推理速度可达240FPS以上（V100 GPU），比NeRF快10000倍。 推理速度得到提高。

Object Drawer在手机上也能达到30FPS，实现实时高清交互。

同时，模型的训练时间也缩短至4小时，平均模型包小于20M。

查看外推法

在应用神经渲染技术时，透视外推是一个不可忽视的问题。

由于捕获的图片无法覆盖所有视角，因此当输出视角发生变化或者拍摄视角不同时，神经渲染需要具有良好的泛化能力，以支持新视角图像的生成。

Object Drawer采用随机透视增强和平均透视嵌入技术来提高透视外推效果。

NeRF（左）和 Object Drawer（右）在新颖视图外推下的性能

实验表明，随着视角差异的增大，NeRF等模型的PSNR明显下降，而Object Drawer的PSNR基本保持不变。

3D模型表示

3D模型需要能够支持各种3D应用，包括3D布局、渲染、3D交互等。NeRF只能支持渲染功能，这极大地限制了它的应用。

对象抽屉将对象的隐式表示与粗糙的显式网格模型配对。 显式网格模型可以直接从 NeRF 或其他有效的网格重建算法中提取。 如图所示，一方面，3D粗略模型可以直接导入到图形工具中学3d建模需要什么基础，用于3D场景设计等实际应用。

另一方面学3d建模需要什么基础，神经渲染可以从任何视角生成物体的高清渲染。 当然，这种物理和神经渲染相结合的思路目前还不支持重建物体的物理模拟变化，比如网格编辑和变形。

轻迁移

为了渲染反射、阴影等物理现象作用于三维粗糙模型的光照效果，Object Drawer提出了光照迁移技术，可以在神经渲染生成的物体透视图上呈现真实的光照效果。

建模场景图、建模结果图和3D场景光照迁移结果图

实验数据结果表明，该技术能够适应各种复杂光源条件，完成细节阴影效果的迁移。 视觉效果令人惊叹，3D-FRONT测试数据集的平均PSNR达到30.17。

纹理细节还原

对于产品3D模型来说，纹理细节的还原非常重要。

目前的NeRF系列研究虽然可以高精度地还原物体的外观，但无法还原纹理细节，例如布料线条。

Object Drawer优化了模型表达能力，大大加快了模型训练速度，并首次实现了高清精细纹理的还原。 具体效果如下图所示。

一键自动重建

如此强大的技术，使用门槛会不会很高呢？

一点也不！

例如，用户想要对椅子进行 3D 建模。

然后吉祥物设计，无需依赖其他特定设备，只需使用手机包围目标产品并拍摄视频即可。

然后直接交给Object Drawer一键自动重建，生成的三维建模效果已经可以达到很高的精度了。

完成模型重建后，如果要应用模型，Object Drawer会自动将PBR场景光照迁移到模型的神经渲染中，完成重建模型与场景的合成。

于是，一把3D的“小黄椅”诞生了，其形状和质感完美再现。

然而，既然有3ds Max这样的建模工具，为什么我们还需要使用神经网络呢？

这给我们带来了问题的核心：建模成本和自由度。

如果你想使用这些专业工具进行建模，首先需要学习很多东西。 知乎回答朋友“丝路教育”表示，只需要4个月的专业学习就可以掌握核心技能。

等不及怎么办，咱们去淘宝吧。 但质量一般的型号约有200-500个，这期间需要反复沟通和修改。

虽然Apple也有Object Capture，但也需要后期手动修正模型。

直接效果如何？ ​​自己玩玩还可以，但如果想把它作为产品来展示，恐怕最终会是“0月销量”。 毕竟对于产品来说，“真实性”才是最重要的。

我的左手是时间，右手是金钱。 这是一个两难的境地。 两者我都买不起。

这时候你想到了Object Drawer吗？

无需专业知识或工具，只需用手机拍照，几分钟即可量产模型。

那么，现在我们有了高质量的模型，我们可以应对数字世界吗？

不谈便携只是流氓行为

为什么不先回答这个问题，什么是“数字世界”？

或者，换句话说，什么是电话？

通常第一反应是手机吧？ 您可以随时随地使用它。

但如果我告诉你，只有一个永久放置的电话号码，而没有你手里的电话号码，你一定认为这个人病得不重。

现在回到最初的问题，我告诉你，你只有戴上头盔，双手拿着控制器，坐在电脑或游戏机前才能体验“数字世界”。 你怎么认为？

难道这不应该是你无论走到哪里都能体验到的事情吗？

例如，当你去购物时，每件商品的价格都可以直接显示在你的AR眼镜上。 如果这一点能够实现，对于社会恐怖来说将是一个福音。

此前，苹果首席执行官库克表示：“AR是虚拟世界和现实世界的叠加，这种方法不会分散你对物理世界的注意力，反而会加强彼此之间的关系与合作。”

“增强现实技术可以增强我们的对话，增强学习，真正放大技术对人们的价值，而不是封锁现实世界。”

事实上，AR技术作为数字世界的一部分，不仅可以直接在手机上体验，AR眼镜的通信和计算也可以通过手机完成。

作为电商界的老大哥，淘宝尤其看好AR领域。

除了图片、视频、直播等基本的网购方式外，淘宝近年来还推出了AR购物。 可以体验口红试色、墨镜试戴、试鞋等AR导购功能。 数字世界的出现也意味着设备和交互将不断创新。

这将是电商市场的历史性重构。

为此，淘宝科技成立了新的XR Team，即Object Drawer的研发团队。

企业搞技术，最终还是离不开商业化。 XR团队也从最有价值的应用场景出发，比如卖地板和壁纸、大型家具等。

毕竟，用户通常希望体验或感受自己想购买的产品，至少如果不满意可以退货。 但刚才提到的那些，可能就没那么容易了。 可以说，它们是买家最想亲眼看到，却又最难看到实物的产品。

不过，随着Object Drawer的流行，越来越多的产品将拥有自己的模型，基于3D的产品库也逐渐初具规模。

之后，淘宝科技XR团队将突破Object Drawer的限制，打造一系列工具，从自动装饰到服装试穿，几乎覆盖整个购物流程。

最后，就是让这些软件和工具能够跨平台运行吉祥物设计，无论是AR眼镜还是手机。

淘宝科技XR Team理念的最终目标是让用户在虚拟与现实之间无缝交互。

项目地址：

试用界面：（请仔细阅读拍摄要求）

参考：

[1]。 Tewari、Ayush、Justus Thies、Ben Mildenhall、Pratul Srinivasan、Edgar Tretschk、王一凡、Christoph Lassner 等。 “神经渲染的进展。” arXiv 预印本 arXiv:2111.05849 (2021)。

[2]。 付欢、蔡博文、高林、张凌霄、王家明、曹力、曾启勋等。 “3d-front：具有布局和语义的 3d 布置房间。” IEEE/CVF 国际计算机视觉会议论文集，第 10933-10942 页。 2021 年。

[3]。 傅欢、贾荣飞、高林、龚明明、赵斌强、Steve Maybank 和陶大成。 “3D 未来：具有纹理的 3D 家具形状。” 国际计算机视觉杂志 129，no。 12（2021）：3313-3337。

[4]。 Mildenhall、Ben、Pratul P. Srinivasan、Matthew Tancik、Jonathan T. Barron、Ravi Ramamoorthi 和 Ren Ng。 “Nerf：将场景表示为神经辐射场以进行视图合成。” 在欧洲计算机视觉会议中，第 10 页。 405-421。 施普林格，查姆，2020。

[5]。 巴伦 (Jonathan T.)、本·米尔登霍尔 (Ben Mildenhall)、马修·坦西克 (Matthew Tancik)、彼得·赫德曼 (Peter Hedman)、里卡多·马丁-布鲁阿拉 (Ricardo Martin-Brualla) 和普拉图尔·P·斯里尼瓦桑 (Pratul P. Srinivasan)。 “Mip-NeRF：抗锯齿神经辐射场的多尺度表示。” arXiv 预印本 arXiv：2103.13415 (2021)。

[6]。 Yu、Alex、Ruilong Li、Matthew Tancik、Hao Li、Ren Ng 和 Angjoo Kanazawa。 “用于实时渲染神经辐射场的全树。” arXiv 预印本 arXiv:2103.14024 (2021)。

[7]。 加宾、斯蒂芬·J.、马雷克·科瓦尔斯基、马修·约翰逊、杰米·肖顿和朱利安·瓦伦丁。 “Fastnerf：200fps 的高保真神经渲染。” arXiv 预印本 arXiv:2103.10380 (2021)。