衍射小组利用超材料结合深度学习技术的创新思路实现

声音在空中描绘了一幅无形的画面，人们需要一些手段来表现它。

听起来有点玄乎，能做到吗？

能够！

来自瑞士洛桑联邦理工学院波工程实验室（EPFL）的一个团队利用超材料的创新理念与深度学习技术相结合，实现了这一过程。

2020年8月7日，课题组成果《Far-Field Subwavelength Acoustic Imaging by Deep Learning》发表在国际顶级物理期刊Physical Review X上。

衍射极限带来的挑战

该团队的尝试从物理学中的“衍射极限”开始。

衍射是我们在日常生活中都会遇到的一种物理现象——波在遇到障碍物时会偏离原来的直线。在此基础上，衍射极限是指受衍射现象的限制，物点不能被光学系统成像，不能得到理想的像点。

使用物体的图像，可以对其传播或辐射的光波和声波进行所谓的远场分析，以描述物体本身。

要实现这一目标，一个更关键的因素是成像的分辨率。分辨率受波长限制，波长越短，分辨率越高。

也就是说，正是因为衍射极限，才会影响物体的成像质量。因此，远场观察和识别尺寸远小于光波长的物体是一项具有挑战性的任务。

虽然科学家之前已经设计了几种方法来克服这一限制，但这些方法仍然存在一些问题，例如：

侵入式标注法：需要复杂昂贵的光学设备，图像后处理过程繁琐；共振超材料透镜法：虽然不需要标记，成像分辨率高，但共振金属材料对吸收损耗很敏感，这在很大程度上阻碍了它的实际应用。将超材料与深度学习相结合

任何科学研究，在发现问题后，都需要提出研究课题，并尝试给出解决方案。

研究团队在论文中表示：

机器学习在不断推进，不同领域的科学家开始尝试通过深度学习进行研究，例如工程、生物学、医学、量子物理学等。近年来深度学习成功的例子包括医学图像分析、语音识别，图像分类，逆成像问题，以及各种复杂的分析问题。

事实上，由多个处理层和非线性模块组成的深度神经网络可以通过自我调整每一层的内部参数来发现和学习隐藏在复杂数据中的结构，而无需人工干预。

受此启发，波工程实验室研究团队的想法是将超材料与深度学习技术相结合，将衍射极限从劣势变为优势，为无标记成像技术的新应用开辟新途径.

雷锋网了解到，超材料，或称超材料，是指自然界中不存在的一类人工制造的无生命复合材料或结构。在这项研究中，该团队使用了有损（该团队专门设计的设计）谐振金属。

【亚波长图像重建识别实验装置】

该团队将金属放置在亚波长输入图像附近，并训练神经网络直接重建和分类图像。其中，金属的吸收损失是有效学习的关键。

具体原理如下图所示：

类似于数字“5”的形状是亚波长声源。

如a部分所示，放置在远场的麦克风阵列捕获的信号不包含任何有关声源亚波长细节的信息，换句话说，无论使用何种信号处理策略，都无法成像。

在随机插入一组亚波长亥姆霍兹谐振器后，如 b 部分所示，有关亚波长细节的信息被辐射到远场。

如 c 部分所示，该团队将麦克风阵列捕获的远场幅度和相位输入神经网络。

该团队使用了两种不同类型的神经网络，一种用于图像重建的 U-net 型卷积神经网络和一种用于图像分类的多层并行 CNN。

分辨率和分类精度显着提高

实验结果表明，在没有金属元素的情况下，U-net型卷积神经网络难以重建图像；而多层并行CNN的分类性能比较高，近场和远场分别为67.5%和57.5%。

添加=29个有损谐振器后，远场分类精度从57.5%提高到74%，但图像重建质量仍然较低（底行，第一行）。

加入=302个有损谐振器后，不仅整体分类精度提高到84%，亚波长图像的重建也非常准确，分辨率提高了30倍（下图第二行）。

在初步展示了神经网络从远场记录的幅度相位分布中恢复初始亚波长图像的能力后ai遇到未知的图像结构，该团队有了一个新目标：展示网络在新数据库中快速重新学习的能力。

据了解ai遇到未知的图像结构，研究团队创建了一个包含 600 个训练样本和 200 个测试样本的新数据集，包含四个字母 E、F、L 和 P，然后在这个新的、更小的数据集上重新训练 U-net 类型的卷积神经网络，需要神经网络对数据集中的未知字母进行分类和重建。

如上图所示，重新学习的网络实现了≥0.94的图像保真度（这里是输入字母与重构字母的差异），说明该方法适应性强，是新数据类型可以更有效，并且不受输入数据种类的限制。

该论文的合著者之一 Romain Fleury 强调了这种方法的独特性：

通过使用长度约为一米的声波来生成分辨率只有几厘米的图像，我们已经远远超过了衍射极限。同时，超材料的信号吸收曾经被认为是一个很大的缺点，但与神经网络结合使用时已被证明是一种优势。

事实上，研究团队还认为，该方法可以应用于声学图像分析、特征检测、物体分类，或作为生物医学应用中的一种新的无标记声学传感工具。正如该论文的合著者之一 Romain Fleury 所说：

在医学成像领域，利用长波长观察非常小的物体将是一个重大突破。长波长意味着医生可以使用较低的频率来获得有效的声学成像，即使是密集的骨组织。