神经网络是简化快照压缩成像采样的关键

使用不同的神经网络处理来自编码孔径采样和多尺度流形采样两种采样方式的数据，以生成九个色带的图像集

由图森亚利桑那大学的胡明浩和杭州西湖大学的吴宗亮领导的一个国际研究小组进行了多维计算成像实验，将经典的快照压缩成像系统与他们提出的系统进行了比较，该系统涉及多尺度流形采样和神经减压。他们发现，他们的方法达到了相当的图像质量，并且由于人工神经网络处理能力的预期进步，这种方法具有很强的前景。

摄像头和其他传感器可以用来捕获丰富的数据，但是数据越精确，数据就越难以管理，难以捕获、存储和处理。解决方案是采样，也就是说，对目标进行有策略间隔或屏蔽的快照，并利用数据中计算上可猜测的相关性，将它们组合起来，以获得接近原始的东西。

面临的挑战是做出明智的权衡，以便设置和操作是可管理的，并且结果是高质量的，尽管被压缩。

在快照压缩成像技术的集合中，编码孔径快照光谱成像仪专门用于捕获颜色信息，编码孔径压缩时间成像仪专门用于视频。这些被称为CASSI和CACTI的系统可能会被依赖神经网络进行图像重建的方法所掩盖。

神经网络使系统更紧凑、更容易实现，因为它们以更通用的方式执行优化，允许不太复杂的采样类型，如多尺度流形采样。

CASSI风格的“交错”采样就像在摄影中使用滤色器，而多尺度流形采样更像立体对成像，可以在相机阵列上实现，具有灵活性和可扩展性。这样的相机阵列甚至可以在它们捕获图像时被编程。

研究人员的多尺度流形采样系统使用一种称为“变压器”的神经网络来处理视觉数据。特别是，它是一个物理感知的变压器网络，因此该系统被称为PAT。

研究人员使用模拟数据比较了PAT和CASSI在九种颜色波段上的成像。他们的定量分析表明，两种方法各有优缺点:PAT图像在结构相似性方面得分较高，CASSI图像在峰值信噪比方面得分较高。

他们还使用模拟数据比较了PAT和CACTI的视频。这两个系统取得了类似的结果，但PAT系统更容易和更便宜的设置。

此外，研究人员通过成功重建两个场景来证明PAT。其中一幅以高分辨率灰度和低分辨率彩色拍摄，另一幅用四摄像头阵列拍摄，拍摄了三种颜色和纹理。