傅里叶域方法中的解耦样式结构改进了raw到sRGB的映射

中国科学院合肥物质科学研究院(HFIPS)谢成教授和张杰副教授领导的研究团队推出了Fourier-ISP，这是一种基于深度学习的RAW转sRGB框架图像转换。

该方法已被人工智能促进协会(AAAI)2024年会议录接受发表。

将RAW图像转换为sRGB图像可增强智能手机摄影的视觉吸引力和可用性。然而，当前的方法在颜色和空间结构准确性方面存在困难，尤其是在分辨率和图像类型变化方面。由于图像内风格和结构之间复杂的相互作用，将颜色映射和空间结构结合起来会产生次优结果。

为了克服这些挑战，该团队开发了一种名为Fourier-ISP的新颖框架。受图像信号处理管道的启发，这种方法在频域内分离图像的风格和结构。

“它实现了独立优化。”团队成员张杰说。

Fourier-ISP由三个子网络组成：一个用于细化结构细节，另一个用于学习准确的颜色，第三个用于无缝混合这些元素。这种风格和结构的分离可以增强图像转换的性能，产生更清晰、更准确的颜色和结构细节。

对不同数据集的广泛评估证实，Fourier-ISP在定性和定量评估方面实现了最先进的结果，在精度和细节再现方面超越了现有方法。它在处理结构和风格信息方面表现出强大的可转移性和有效性，确保增强的色彩再现和纹理保存。值得注意的是，Fourier-ISP在ZRR数据集中实现了令人印象深刻的0.17dB的PSNR改进。

该团队表示，该框架引入了对图像处理领域的新颖见解，展示了风格结构解耦在实现高保真图像转换方面的潜力，特别是在移动摄影领域。