莱斯大学和马里兰大学的工程师发明了全动态视频技术，该技术可用于制造能够透过雾、烟、倾盆大雨、浑浊的水、皮肤、骨骼和其他反射散射光和模糊物体的介质的摄像机。从视图中。

今天发表在《科学进展》上的一项开放获取研究的共同通讯作者莱斯大学的AshokVeeraraghavan表示：“目前，通过散射介质成像是光学成像中的‘圣杯问题’。”“散射使得光(波长较短，因此具有更好的空间分辨率)在许多情况下无法使用。如果可以消除散射的影响，那么成像就会走得更远。”

Veeraraghavan的实验室与马里兰州共同通讯作者ChristopherMetzler的研究小组合作创建了一项名为NeuWS的技术，这是该技术的核心技术“神经波前整形”的缩写。

“如果你问自动驾驶汽车研究人员面临的最大挑战，他们会说，‘恶劣天气。我们无法在恶劣天气下进行良好的成像。’”Veeraraghavan说。“他们说的是‘恶劣天气’，但从技术角度来说，他们的意思是光散射。”

“如果你问生物学家显微镜技术面临的最大挑战，他们会说，‘我们无法对体内深层组织进行成像。’他们说的是“深层组织”和“体内”，但他们实际上的意思是他们想要透过的皮肤和其他组织层正在散射光。如果你问水下摄影师他们面临的最大挑战，他们会说，“我只能想象离我很近的事物。”他们实际上的意思是光在水中发生散射，因此光的深度不足以让它们聚焦于远处的物体。在所有这些情况以及其他情况下，真正的技术问题是散射。”

Veeraraghavan表示，NeuWS有可能用于克服这些场景和其他场景中的散射。

“这对我们来说是向前迈出的一大步，以一种可能可行的方式解决这个问题，”他说。“在我们真正能够在每个应用程序领域构建原型之前，还有很多工作要做，但我们演示的方法可以遍历它们。”

从概念上讲，NeuWS所基于的原理是：光波是复杂的数学量，具有两个关键属性，可以针对任何给定位置进行计算。第一个是幅度，是波在该位置携带的能量的大小，第二个是相位，是波在该位置的振荡状态。Metzler和Veeraraghavan表示，测量相位对于克服散射至关重要，但由于光学频率较高，直接测量是不切实际的。

因此，他们将入射光测量为“波前”(包含相位和强度信息的单个测量)，并使用后端处理从每秒数百个波前测量中快速破译相位信息。

“技术挑战是找到一种快速测量相位信息的方法，”马里兰州计算机科学助理教授、“三猫头鹰”莱斯大学校友、电气和计算机工程博士、硕士和学士学位的梅茨勒说。分别于2019年、2014年和2013年来自莱斯。Metzler在莱斯大学开发了名为WISH的早期波前处理技术迭代，该技术由Veeraraghavan及其同事于2020年发布。

“WISH解决了同样的问题，但它是在一切都是静态且良好的假设下起作用的，”Veeraraghavan说。“当然，在现实世界中，事情一直在变化。”

他说，NeuWS的想法不仅是消除散射的影响，而且消除得足够快，这样散射介质本身在测量过程中就不会发生变化。

“不是测量振荡状态本身，而是测量它与已知波前的相关性，”Veeraraghavan说。“你采用一个已知的波前，将其与未知的波前进行干涉，然后测量两者产生的干涉图案。这就是这两个波前之间的相关性。”

梅茨勒用夜间透过云雾观察北极星进行类比。“如果我知道北极星应该是什么样子，并且我可以看出它以某种特定方式模糊，那么这就告诉我其他一切都会如何模糊。”

Veerarghavan说：“这不是比较，而是相关性，如果你测量至少三个这样的相关性，你就可以唯一地恢复未知的波前。”

最先进的空间光调制器每分钟可以进行数百次此类测量，Veeraraghavan、Metzler及其同事表明，他们可以使用调制器及其计算方法来捕获因介入散射介质而被遮挡的移动物体的视频。

该研究的主要作者之一、莱斯大学的博士生郭海云说：“这是第一步，证明了该技术可以实时校正光散射的原理。”Veeraraghavan研究小组的学生。

例如，在一组实验中，包含猫头鹰或乌龟打印图像的显微镜载玻片在主轴上旋转，并由高架摄像机拍摄。将光散射介质放置在相机和目标载玻片之间，研究人员测量了NeuWS校正光散射的能力。散射介质的例子包括洋葱皮、涂有指甲油的载玻片、鸡胸肉组织切片和光漫射薄膜。对于其中的每一个，实验表明NeuWS都可以校正光散射并生成旋转人物的清晰视频。

“我们开发了算法，使我们能够连续估计散射和场景，”梅茨勒说。“这就是我们能够做到这一点的原因，我们使用称为神经表示的数学机制来做到这一点，使其既高效又快速。”

NeuWS快速调制来自传入波前的光，以创建几个略有改变的相位测量。然后，改变后的相位被直接输入16,000个参数的神经网络，该网络快速计算必要的相关性，以恢复波前的原始相位信息。

“神经网络允许我们设计需要更少测量的算法，从而使其速度更快，”Veeraraghavan说。

梅茨勒说：“这实际上是最大的卖点。基本上，更少的测量意味着我们需要更少的捕获时间。这使我们能够捕获视频而不是静态帧。”

版权说明：本站所有作品图文均由用户自行上传分享，仅供网友学习交流。若您的权利被侵害，请联系我们

标签：波Veeraraghavan技术