快捷搜索:

一个名为CompenNet的卷积神经网络来隐含地学习复杂的补偿函数

作为计算机视觉领域里的顶级会议,CVPR 2019 录取论文代表了计算机视觉领域在2019年最新的科技水平以及未来发展潮流。今年有超过 5165 篇大会论文投稿,最终录取 1299 篇。这些录取的最新科研成果,涵盖了计算机视觉领域各项前沿工作。而此次介绍的来自美国天普大学(Temple University)和美图-亮风台联合实验室的黄兵姚和凌海滨提出了端到端的投影广度补偿的策略。据了解,相关论文《End-to-end Projector Photometric Compensation》还入选了CVPR 2019 的 oral presentation,代码已经开源。

论文地址:

https://arxiv.org/abs/1904.04335v1

一个名为CompenNet的卷积神经网络来隐含地学习复杂的补偿函数

黄兵姚1,2,凌海滨1

1 天普大学

2 美图亮风台联合实验室,亮风台信息科技

摘要

投影仪光度补偿旨在修改投影仪输入图像,使得它可以抑制或抵消投影表面上面纹理或图案带来的干扰。

在本文中,我们首次将补偿问题表述为端到端学习问题,并提出一个名为CompenNet的卷积神经网络来隐含地学习复杂的补偿函数。 CompenNet由一个类似UNet的骨干网和一个自动编码器子网组成。这种架构鼓励相机捕获的投影表面图像和输入图像之间的丰富的多级交互,因此捕获投影表面的光度和环境信息。此外,视觉细节和交互信息是在多级跳过卷积层中进行的。该架构对于投影仪补偿任务特别重要,因为在实践中仅允许使用很小的训练数据集来保证模型学习的速度。

我们做出的另一项贡献是一种新颖的评估基准,它独立于系统设置,因此可以进行定量验证。据我们所知,由于传统评估要求硬件系统实际投影最终结果,因此以前无法获得此类基准测试。从我们的端到端问题公式出发,我们的主要思想是使用合理的替代来避免这种投影过程,从而达到独立于系统设置的评估标准。我们的方法在基准测试中得到了仔细的评估,结果表明,我们提出的解决方案在定性和定量指标上都优于现有技术水平。

1. 介绍

一个名为CompenNet的卷积神经网络来隐含地学习复杂的补偿函数

图1. (a) 正常光照下的具有纹理和颜色的投影屏幕。(b) 投影仪投射的图片(也是我们想要看到的效果)。(c) 相机拍摄到的,没有补偿的投影结果,即将(b)直接投影到(a)上。(d) 我们模型计算出的补偿图。(e) 相机拍到的补偿后的效果,即将(d)投影到(a)上。比较(c)和(e),我们看到明显提升的效果和细节。

投影仪广泛用于演示,电影,结构光和投影映射等应用。为了保证用户看到的投影质量,现有的投影仪系统典型地要求投影表面(屏幕)是白色和无纹理的,并且处在在合理的环境光照下。然而这种要求在很大程度上限制了这些系统的适用性。为了解决以上限制,投影仪光度补偿,或简称投影仪补偿,旨在通过修改投影仪输入图像来补偿投影表面以及相关的环境光度。如图1所示,其中补偿的投影结果(e)明显比未补偿的投影结果(c)更令人视觉舒适。

典型的投影仪补偿系统包括相机-投影仪对和放置在固定距离和方向上的投影表面。首先,投影仪将一系列采样图像投射到投影表面,然后投射的采样图像会根据投影表面材料被吸收,被反射或被折射。一旦相机捕获了所有投影的采样图像,我们会根据投射的和捕获的采样图像对来拟合一个从投影仪输入图到相机捕获图的复合辐射传递函数。然后使用该函数(或其反函数)推断新的投影仪输入图像的补偿图像。现有的解决方案通常显式地地对补偿函数进行建模,其中通过各种简化的假设,使得补偿函数的估计变得容易。然而,这些假设往往是违反实际情况的,例如依赖于背景(第2节)。此外,由于投影,反射和捕获这个光学过程的巨大复杂性,对补偿过程显式建模几乎是不可能的。在本文中,我们首次提出了端到端投影仪补偿方案,用以解决上述问题。我们首先将补偿问题重新定义为一种可以在线学习的新颖形式,如同投影仪补偿实际要求的那样。这种问题构造就使得我们开发出一种名为CompenNet的卷积神经网络(CNN),以隐含地学习复杂的补偿函数。特别是,CompenNet由两个子网组成,一个类似UNet的骨干网和一个自动编码器子网。首先,自动编码器子网激励相机捕获的投影表面图像和投影仪输入图像之间的丰富的多层次交互,这样我们可以提取到投影表面的光度和环境信息。其次,类似UNet的骨干网络,我们也使用多级跳过卷积层将视觉细节和交互信息传送到更深层和输出层。这两个子网共同使CompenNet在实践中有效,并使得CompenNet学习从相机捕获到的投影图像到投影仪输入图像的复杂反向映射。此外,我们还设计了一个预训练方案,只需牺牲一点精确度就可以进一步提高网络训练效率。本文讨论的另一个问题是目前这个领域缺乏一个投影仪补偿模型的评价基准,主要是因为传统评价高度依赖于环境设置。具体地说,为了评估补偿算法,理论上,其实验结果是需要实际投影和捕获,然后再定量地与真值进行比较。这个过程使得共享相同的评价基准不切实际的。在我们这项工作中,我们提出一个替代评价协议,该协议不要求实际投影。这样,我们首次构建了一个可共享的独立于环境设置的评价基准。

您可能还会对下面的文章感兴趣: