IllumiNeRF:无逆渲染的 3D 重新照明
6月11日 消息:近日,来自谷歌研究团队以及伊利诺伊大学厄巴纳 - 香槟分校的学者们发表了题为《无逆渲染的3D 重新照明》的研究成果。该研究针对使用未知光照条件下的一组物体图像,以恢复能够在目标光照下从新视点呈现的3D 表征的可重新光照视图合成方法进行了探讨。
传统方法基于反渲染,试图将解释输入图像的物体几何、材料和光照进行分离。然而,这通常涉及通过可微分蒙特卡洛渲染进行优化,具有脆弱性且计算成本高昂。
因此,研究团队提出了一种更简单的方法IllumiNeRF:首先利用受光条件的图像扩散模型重光每个输入图像,然后利用这些重光图像重建神经辐射场(NeRF),从而在目标光照下呈现新的视角。他们证明了这种策略出人意料地具有竞争力,并在多个重光基准测试中取得了最新成果。
它具体工作原理如下:
给定 (a) 中的一组图像和相机姿势,研究人员运行 NeRF 来提取3D 几何体,如 (b) 所示;
基于此几何形状和(c)中所示的目标光,为每个给定的输入视图创建辐射提示,如(d)所示;
接下来,使用 (e) 中所示的重新照明扩散模型和 (f) 中显示的每个给定图像的样本 S 可能的解决方案独立地重新点亮每个输入图像;
最后,通过潜在NeRF优化将重新编辑的图像集提炼成3D表示,如(g)和(h)所示。
3D 一致重新照明
第一行显示了最终潜在 NeRF 的渲染图;
第二行显示了与顶部每个渲染帧相对应的最近训练视图的扩散样本。
这种产品可应用于计算机图形学、增强现实和虚拟现实领域。例如,在电影制作中,可以利用该产品在不同光照条件下呈现3D 场景,从而节省拍摄成本和时间。在虚拟现实应用中,用户可以在不同光照环境下体验虚拟场景,增强了真实感和沉浸感。此外,该产品还可用于数字艺术创作和建筑设计等领域,为用户提供更灵活的光照表现和渲染效果。
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
【驴子肉的做法】驴肉是一种较为少见但营养丰富的肉类,具有高蛋白、低脂肪的特点,适合多种烹饪方式。以下是...浏览全文>>
-
【驴子的注音】在学习汉语拼音的过程中,很多初学者会遇到一些生僻字或不常见的词语,其中“驴子”就是一个常...浏览全文>>
-
【驴子的读音是什么】在日常生活中,我们经常会遇到一些汉字或词语,虽然看起来简单,但读音却容易让人混淆。...浏览全文>>
-
【驴子的词性%的词性是什么】在汉语中,词语的词性是指该词在句子中所扮演的语法角色,如名词、动词、形容词等...浏览全文>>
-
【驴友指点骑行西藏的流行路线】骑行西藏,是一场身体与心灵的双重挑战。对于热爱户外、追求自由的驴友来说,...浏览全文>>
-
【驴头的功效与作用】在传统中医和民间食疗文化中,驴头被认为具有一定的药用价值和营养价值。虽然现代医学对...浏览全文>>
-
【驴蹄子怎么做又脆又好吃】驴蹄子是一种传统食材,因其口感独特、营养丰富而受到许多人的喜爱。但很多人在制...浏览全文>>
-
【驴肉怎么做最好吃】驴肉是一种营养丰富、口感独特的肉类,因其脂肪含量低、蛋白质高而受到许多食客的喜爱。...浏览全文>>
-
【驴肉怎么做简单好吃】驴肉是一种营养丰富、口感细腻的肉类,但很多人对它的做法不太熟悉。其实,只要掌握一...浏览全文>>
-
【洛阳龙门站偏僻吗】洛阳龙门站是洛阳市重要的交通枢纽之一,位于洛阳市洛龙区,靠近著名的龙门石窟景区。许...浏览全文>>