研究人员仅使用两个摄像机视角即可创建更精确的3D重建

近年来，神经方法在基于相机的重建中已得到广泛应用。然而，在大多数情况下，需要数百个相机视角。同时，存在传统的光度测定方法，即使从无纹理表面的物体也可以计算出高精度的重建。然而，这些方法通常仅在受控的实验室条件下才有效。

丹尼尔·克雷默斯(DanielCremers)是慕尼黑工业大学计算机视觉与人工智能教授，也是慕尼黑机器学习中心(MCML)负责人和慕尼黑数据科学研究所(MDSI)主任，他与他的团队共同开发了一种利用这两种方法的方法。

它将表面神经网络与照明过程的精确模型相结合，该模型考虑了光吸收以及物体与光源之间的距离。图像中的亮度用于确定表面相对于光源的角度和距离。

“这使我们能够以比现有流程更高的精度对物体进行建模。我们可以利用自然环境，并可以重建相对无纹理的物体来进行重建，”Cremers说。

该论文发表在arXiv预印本服务器上，并将在2024年6月17日至6月21日在西雅图举行的计算机视觉与模式识别会议(CVPR2024)上发表。

该方法可用于保存历史古迹或将博物馆展品数字化。如果这些展品随着时间的推移被毁坏或腐烂，则可以使用照片图像重建原件并创建真实的复制品。

Cremers教授的团队还开发了基于神经摄像头的自动驾驶重建方法，其中摄像头拍摄车辆周围环境。自动驾驶汽车可以实时模拟周围环境，开发场景的三维表示，并用它来做出决策。

该过程基于神经网络，可预测单个视频图像的3D点云，然后将其合并为行驶道路的大规模模型。