中国科学院生物物理研究所李东研究员团队基于显微图像噪声模型和零样本学习理论,与清华大学戴琼海教授团队合作,提出了零样本反卷积网络(ZS-DeconvNet),并开发了相应的一键式显微图像处理软件。
ZS-DeconvNet 可以仅使用单张低分辨率/噪声比的图像以无监督的方式进行训练,在比传统超分辨率成像条件低 10 倍的荧光强度下,稳定地将显微图像的分辨率提高到衍射极限的 1.5 倍以上。
研究人员基于光子噪声模型、光学显微镜成像模型和图像的空间连续性,设计了一种受物理启发的自监督损失函数。该函数可以同时学习去噪和超分辨率能力,而无需额外的训练集。并且研究人员从理论上证明了所提出的损失函数的收敛性。
ZS-DeconvNet 可以处理各种成像模式,包括全内反射显微镜、三维宽视野显微镜、晶格光片显微镜和共聚焦显微镜。
具体来说,基于结构化照明显微镜(SIM)图像重建中零噪声期望特性的理论发现,研究人员将提出的 ZS-DeconvNet 解决方案扩展到 SIM 图像,实现了首次对 SIM 图像进行抗噪深度学习超分辨率模型的无监督训练。
ZS-DeconvNet 可以适应不同的生物成像环境,即使生物过程过于动态和对光敏感而无法获得高质量的显微图像。
与传统的基于迭代优化的反卷积方法相比,ZS-DeconvNet 在所有信噪比条件下的定性和定量评估中都表现出了显著的提升,数据吞吐量提高了100倍以上。
研究人员合作开发了用于显微图像处理的一键式通用 Fiji 插件,该插件集成了训练和预测功能,以及相应的教程主页,方便生命科学研究人员,甚至非人工智能专业人士使用。
最后,研究人员进行了大量的活体生物实验,证明了ZS-DeconvNet的普适性。他们发现ZS-DeconvNet在生物实验中可以在各种成像模态中表现出优异的性能,从而为生命科学研究做出贡献。