计算光学成像与光学计算概论

计算光学成像所涉及研究的内容非常广泛，固然计算光学成像的研究内容是发散的，但目的都是一致的：如何让相机纪录到客观实物更丰富的信息，延伸并扩展人眼的视觉感知。总的来说，计算光学成像现阶段已经取得了很多令人振奋的研究成果，这些成果必将会对光学成像技术未来的发展方向产生深远影响。我们可以将留意力进一步前移，通过探讨计算光学成像的优势、面临的挑衅来大胆预测它的未来发展趋势。
自2010年代初以来，业界和学术界对光学计算的爱好再次高涨。光学计算机至少在某些任务上优于电子计算机的基本物理基础是什么？

究竟上，任何光学计算秘密想在实践中取得优势，都可能需要利用其中一个以上的特性；成功的光学计算机计划必须颠末精心计划，以避免出现瓶颈或开销凌驾光学优势。本文将讨论其中的一些误区以及可以采取的缓解方法。

电子处置惩罚器设定的高尺度导致人们对光学计算的前景一度持悲观态度。鉴于CMOS技术的不断改进，那么，为什么现在人们对光学计算（包括商业发展）又重新燃起了热情？对光学计算的主要批评之一是，光学晶体管无法与电子晶体管竞争。

目前，人们对光学计算的爱好主要集中在光学计算机架构上，而不是基于用光学晶体管复制数字逻辑。业界的主要目标不是试图构建通用数字计算机，而是构建专用模仿计算机。这两种变化——向特殊用途和模仿处置惩罚的变化，都很紧张。试图用光学技术构建性能精良的通用处置惩罚器仍然遥不可及，这主要是因为人们希望通用处置惩罚器不会出错（比方，会计师希望电子表格中的数字完全正确），而人们只知道如何用数字逻辑实现无差错呆板；要构建数字逻辑，就必须利用满意高尺度的光学晶体管。不过，我们也可以制造专门针对特定应用的光学处置惩罚器，这些应用并不需要完全无差错运行。

目前，专用光学计算机正瞄准几个应用领域：包括神经网络、科学计算、组合优化和密码学。所有这四个应用领域都以矩阵-矢量乘法过程为关键算法原型，而这正是当前光学计算研究的主要目标。傅立叶变动和卷积实用于神经网络、科学计算和密码学，因此在目前的研究中占有紧张地位。

在过去几十年中，光学相关器已多次作为商业产品发布，因此，即使在商业上，这也不是一个新方向，而是一个已焕发新活力的方向。别的，在为神经网络进行计算方面也有很大的发展，这些计算并没有明确计划为矩阵-向量乘法或卷积。所有这四个应用领域的一个共同点是，通过光学方法执行的子步伐即使存在一些误差（噪声），仍然非常有效。这一因素至关紧张，因为任何模仿计算机（包括模仿光学计算机）都很难到达大于10比特的有效精度，因此模仿光学计算机的应用应能承受这种程度的噪声。

神经网络是一个特别好的选择，因为至少在推理过程中（而不是训练过程中），神经网络的精度不会大幅下降，即使它们只能进行精度低于8比特的整数运算。任何模仿神经网络处置惩罚器（包括模仿光学处置惩罚器）都会担心在执行深度神经网络时可能会积聚错误。近来，科学家们对这一问题进行了理论分析，得出的结论是，即使在相关噪声的情况下，噪声累积的有害影响也可以得到缓解。在对深度光学神经网络（有60个光学执行层）的模仿中显示，仅导致有效低位精度的非相关噪声产生的精度与利用8比特整数运算执行相同神经网络的数字电子处置惩罚器相同或更好，也就是说，模仿预测与尺度数字电子执行相比，神经网络光学执行中的误差积聚不会对精度产生明显影响。对于模仿光学处置惩罚器、神经网络的所有应用而言，有关抗噪声能力的直觉和模仿最终都需要通过光学实行来验证。

有了这样的背景，我们现在就可以更全面地答复为什么光学计算领域再次掀起高潮。第一个原因是神经网络的崛起：在过去十年中，神经网络已成为呆板学习的主流方法，并变得极其泯灭计算资源。这引起了人们对专门用于神经网络的替代硬件方法的浓重爱好，而神经网络对噪声的内在顺应能力使其非常适合模仿光学实现。

其次，CMOS的改进不足以满意应用需求：只管CMOS硬件已经取得了显著进步，但对于神经网络和其他一些应用（如组合优化）来说，CMOS硬件未来的预期改进也不如用户所愿，并将限制应用能力。比方，神经网络的参数数量——衡量其规模和计算需求的尺度之一，的增长速度远远凌驾了硬件改进的速度，这主要是因为人们发现，规模的扩大往往会带来能力或精度的提高。

第三，光子学硬件有了巨大进步：在消费电子和光通信行业的推动下，光子设备的规模、速度和能效在上一次光神经网络高潮之后的30年里取得了巨大进步。比方，三星公司现在推出了像素达2亿的照相机，功率仅为10 W的每秒400千兆比特光收发器也已投入商用。在这一时期，光子集成电路也得到了发展和商业化，为体形光学器件提供了微型化的替代品；光学质料和器件也有了长足的发展。
电子领域（CMOS和逾越CMOS技术）的一个增补趋势是开辟用于神经网络处置惩罚的专用电子芯片，这为神经网络光学计算机的发展提供了进一步支持。在很多情况下，这些芯片还能进行模仿而非数字矩阵-矢量乘法运算；这一究竟促使人们开辟出了在模仿硬件上训练神经网络的方法，其中很多方法也实用于模仿光学神经网络。模仿和数字电子神经网络芯片通常都采用数据流架构，尤其是紧缩阵列架构。它们还经常采用内存计算的概念，这意味着存储神经网络权重矩阵元素的物理元素同时也是进行权重乘法运算的物理元素；通常情况下，存储的值只能迟钝更新，但这对于神经网络推理或其他需要多次重复利用权重的情况是可以担当的。

在这种架构中，光信号编码的信息流经处置惩罚元件，如空间光调制器像素阵列、马赫-泽恩德干涉仪网、相变存储器单元横杆或微波谐振器网络。模仿电子神经网络处置惩罚器与模仿光学神经网络处置惩罚器的布局相似，这使得光计算机计划师可以鉴戒电子处置惩罚器界的见解。布局上的相似性也使我们更容易预测未来电子和光子实现的性能比力。并不是每台神经网络光计算机都基于与电子神经网络处置惩罚器相似的架构：偏离架构是有充实理由的，但在架构和算法具有可比性的情况下，性能分析就会变得更加简单，因为我们不必区分不同算法和不同架构的影响，而可以专注于基本的物理差异：有多少并行元素，数据通过它们发送的速度有多快等等。同样，很多用于组合优化的专用电子处置惩罚器与同一应用领域的光学方法在架构和算法上也有相似之处。

我们在下文中列出了光学自己或利用光学进行计算的方式的11个特征，这些特征是构建光学计算机的要素；这些特征可以解释光学如何带来更玄妙但正确的优势。

并非所有这些特征对获得光学计算优势都划一紧张，但我们也没有按紧张性排序，部分原因是确定这种排序需要了解未来光学计算机最终最依赖哪些成分。不过，在下一节中，我们将讨论如何利用这些特性，并就哪些特性最有可能成为关键发表见解。

1）带宽

光子学的带宽B比电子学大约100,000倍。光子学的带宽约为500THz，而电子电路的带宽通常约为5GHz（图 1a）。小型模仿电子电路的带宽可以大于5GHz，小型数字电子电路的时钟频率也可以大于5GHz，但用于计算体系的模仿和数字电子设备都会受到耽误的限制，速度往往不能凌驾≪5GHz，而且自2000年代中期以来，还受到功率耗的限制。

光子技术的大带宽带来了两个潜伏优势：

- 大规模频率多路复用并行性

比方，在一个频率梳中可以有>107条梳状线，在一个长光纤环腔中可以有>109个频率模式；每个梳状线（频率模式）所代表的数据都可以并行处置惩罚（图1b）：不仅可以单独处置惩罚（即按元素处置惩罚），还可以对不同频率模式中的数据进行相加或相乘等操作。光频模式的并行性通常在光通信中得到利用，波分复用技术可使单模光纤的通信速率大于每秒1013比特。

这种技术也可用于计算；比方，在相干线性光子处置惩罚器上实现了带宽为B ~ 5THz的水库计算。

- 光学体系的快速动力学

光学体系的动力学可以非常快，这可以转化为非常高的运行速度，进而带来更高的计算吞吐量和更低的耽误：如果利用光学的全部带宽，操作耽误的极限τdelay≳1/B，对于光学来说比电子学小约100,000倍。

不过，从带宽角度看光学的潜伏优势有一些玄妙之处。起首，τ耽误的带脱期制只是一个限制，如果设备的传播长度使得光穿过设备所需的时间长于1/B（也就是说，光速限制开始占据主导地位），耽误可能会更长。需要留意的是，当传播耽误在总耽误中占主导地位时，仍有可能通过流水线技术(pipelining)从带宽受限的快速吞吐量中获益，比方，向体系发送多个光脉冲，其间距大于时间脉冲宽度~1/B，但小于传播耽误。然而，由于电子计算机也可以（而且通常也会）利用流水线技术，因此在进行性能比力时需要再次审慎。

另一个玄妙之处在于，单个现代电子晶体管在典型负载下的耽误时间约为1ps，因此，如果在单个开关的层面上将光子学与电子学进行比力，光学的带宽优势将远远小于 ~100,000倍。在整个芯片层面，电子处置惩罚器的时钟频率比电路耽误所显示的速度慢10-100倍，这主要是由于功率耗散的限制。相比之下，光子处置惩罚器的功耗很低；因此，在体系层面上，光学器件结合了固有带宽和低耗散，可实现约100,000倍的潜伏全体系带宽优势。

图1：未来的光处置惩罚器最有可能在耽误、吞吐量或能效方面实现整体优势的三个关键特性。

2）空间并行性

光子体系可以利用大量(>106)并行空间模式。在约2.5cm−2的面积上利用>108个空间模式的消费电子产品已经实现，这阐明在实践中可以实现大规模并行。学术界也开辟出了控制多种模式的先进集成光子学设备（图1c）。

对于光被限制在单个二维平面内的光子体系，如二维光子集成电路，光子元件的密度可高达~106cm−2，我们可以粗略地认为每个元件都能并行执行一个或多个计算操作（如乘法）。编写一个或多个运算而不但是一个运算有多种原因。比方，如前所述，空间中的单个分量可并行作用于多个频率模式，或多个偏振模式。另一种情况是，根据人们对操作的界说和对单个元件的界说，一个元件可以在光通过它的一次过程中天然地执行多个操作，比方一个50:50耦合器可以执行两次乘法和两次加法。

固然这个元件密度的绝对值很高，但我们应将其与CMOS电子技术中的空间并行性进行比力，后者的晶体管密度约为1010cm−2。作为另一个比力点，举一个未来候选电子技术的例子，IBM制造的基于相变存储器交叉条阵列的模仿矩阵-矢量-乘法器内核，在约0.6平方毫米的芯片面积内拥有65,536个相变存储器单元。这相当于每平方厘米约107个单元的密度，每个单元可以理解为每个时钟周期执行一次标量模仿乘法运算。

在这种二维光子集成电路环境下，光学在可制造元件的纯密度方面与电子学相比处于劣势，因为电子学的晶体管密度比片上光子学的元件密度大104倍。这种比力可以说是最贴切的，因为在大多数情况下，基于晶体管的电子处置惩罚器是最抱负的体系。不过，还可以进行其他比力。即使二维光子学也能比二维微波电子学具有空间并行性优势：比方，光子晶体腔（谐振器）的面积可达~1μm2，而电子微波谐振器通常要大几个数量级。

然而，如果利用第三空间维度，光学可能会在空间并行性方面获得几个数量级的优势，因为电子学实际上仅限于非常有限的三维集成。典型的现代电子芯片很薄，只有1毫米左右，而且只有几十层，而光学处置惩罚器通过体晶体或多模光纤等传播，厚度可达几厘米以致几米。然而，在NAND存储器的具体案例中，电子集成电路已经扩展到 128层：这表明，对于存储器而非计算而言，光子学在三维空间的扩展比电子学的优势要小。

关于空间并行性，还有一个紧张的增补观点：紧张的不仅是可制造元件的密度或数量，还有在实践中可并行利用的元件数量。换句话说，元件密度的提高并不愿定意味着计算性能的相应提高。现代CMOS电子处置惩罚器通常只能在一个时钟周期内切换一小部分（比方3%）晶体管，这主要是由于冷却方面的限制。如果思量到在功率耗散的限制下有多少元件可以实际并行操作，那么二维光子集成电路在空间并行性方面与电子集成电路相比，其劣势可能要小于元件制造密度自己所显示的。

作为光学计算空间并行性的一个例子，自由空间光学处置惩罚器的原型已利用商用空间光调制器实现，这些调制器拥有 ~106-107个可控像素，使其成为构建高度并行体系的有效工具。通过一个具有~5 × 105像素的光学装置，每次通过的光可并行计算~5 × 105的标量乘法。对于不需要空间光调制器可编程性的应用（如神经网络推理），制造元外貌提供了实现更大并行性的途径：根据成像体系空间-带宽乘积与面积的线性比例，我们预计可以利用~10 × 10平方厘米的面积，创建基于元外貌的矩阵乘法或卷积，其预编像素（参数）大于109个。

3）险些无耗散的动力学
光子在自由空间光学装置中传播时险些没有能量损耗，仅靠传播就能进行计算。(在某些芯片上，光子的传播以致险些没有能量损耗：比方，铌酸锂薄膜芯片的波导传播损耗为0.06 dB cm−1。
那么，毕竟需要进行多少计算呢？我们思量线性光学体系和非线性光学体系的情况。

- 线性光学

通过光传播进行计算的一个例子是，单透镜可以有效地对照射到它上面的光进行二维傅立叶变动：光相关器和光神经网络中的卷积层（图1d）都利用了这一现象。更一样平常地说，光在线性光学体系中的传播可以用矩阵-矢量乘法来模仿，因此只需将空间模式中编码矢量（维数为N）的光照射到光学体系上，就能进行矩阵-矢量乘法。

- 非线性光学

在光通过非线性光学体系传播时，也可以看到可用于计算的近乎无耗散的动力学。比方，光在具有非零二阶非线性光学易感性(χ(2))的光学介质中传播时，一样平常会产生和频生成和差频生成过程，其中输出端的光振幅是输入端两个频率的光振幅的乘积。非线性光动力学可以实现非线性数学函数：这在深度神经网络和更广泛的计算中至关紧张。

别的，正如多个空间光束在线性光学体系中的传播可以看作是矩阵-矢量乘积一样，多个空间光束在非线性光学体系中的传播可以实现矩阵-矢量乘积的高维概括，即涉及n + 1阶张量的张量紧缩，其中n黑白线性光学感度χ(n)的阶数。这是一个令人印象深刻的计算特性：在最低阶非线性n = 2的情况下，仅仅通过光在体系中的传播，所进行的计算就是一个包含~N3次乘法运算的张量紧缩，其中N又是空间模式的数量。

光学非线性的阶数越高，光在体系中的单次传播所进行的计算量就越大，因为这涉及到更高阶的张量。

- 具体优势

在光学中险些可以无耗散地进行计算，这是有长处的。起首，我们有可能利用无耗散动力学来执行计算，所泯灭的能量比在有大量耗散的不同平台（如电子平台）上所需的能量更少。

第二个长处是性能更高。耗散不仅会导致计算泯灭更多能量，还会限制处置惩罚器的时钟速度和并行性，最终限制其总计算吞吐量（每秒操作次数）和耽误。现代CMOS电子处置惩罚器的时钟速度和晶体管的三维密度都受限于从中提取散热的能力。通过显著降低每次运算的散热量，就有可能显著提高时钟速度和空间并行性（单元体积内同时执行的运算次数）。

就三维芯片而言，光子学在耗散方面比电子学有另一个潜伏优势：固然芯片中电能的损耗通常是由于能量损耗点产生热量（比方导线的电阻加热），但光子学中的情况可能完全不同，因为光能的损耗通常不是由于吸收和随之产生的热量，而是由于散射。比方，硅光子集成电路中的波导就属于这种情况，这表明如果构建三维硅光子芯片，芯片内波导的损耗主要不会导致发热，而是会导致光子在芯片内散射，直到出现在外貌。总之，光学中近乎无耗散的动力学使三维光子芯片的制造成为可能，而这种芯片不会像三维电子芯片那样面临极度的散热挑衅，即使发生少量的光子耗散，如果是由于散射，也不会在芯片的主体内引起发热，因此，只要避免利用吸收光子的元件，我们以致不必担心残余光子损耗会造成热管理方面的困难。

不过，这些长处也有一个停滞，那就是输入/输出本钱：计算的输入数据如何加载，结果如何读出？如果输入数据来自电子存储器，而计算结果需要存储在电子存储器中，那么即使计算自己险些可以“免费”进行，我们也需要将电子数据转换到光域以进行数据输入，然后再将光答案转换回电子域。这种内存访问和转换通常还涉及数模转换和模数转换，将泯灭大量能源（与太赫兹的光带宽相比，速度有限）。

幸运的是，这种能量本钱只与输入矢量的巨细N成比例，而执行的计算量可能与N2（线性传播）或N3（或更高的幂；非线性传播）成比例，因此，对于足够大的N，输入和输出的能量本钱与电子处置惩罚器计算所需的本钱相比是很小的。同样，对于足够大的N维向量，输入和输出所需的时间与电子处置惩罚器进行N2复杂度或N3复杂度计算所需的时间相比也非常少。一样平常来说，系数的加载（如线性传播中的矩阵元素）也需要泯灭能量和时间，但这可以在多次运行中摊销，如神经网络的分批推理。

4）低损耗传输

光“远距离”传输信息的能量本钱远低于电信号，这主要是因为电线单元长度的信号衰减（能量损耗）远高于光纤或波导。

起首，电子设备之间的光通信需要将信号从电信号转换成光信号，再转换回电信号，而转换设备需要泯灭能源。别的，沿着导线传输电信号所需的能量会随着导线长度的增长而增长，因为导线的电阻会随着长度的增长而增长；但这并不是问题的全部：对于细导线（如CMOS电子处置惩罚器中利用的导线），导线耽误会随着长度的增长而二次增长，为了缓解这一问题，需要利用中继器来恢复耽误与长度的线性比例关系，而中继器也有能量本钱（与驱动晶体管的开关有关）。

对于片上光子处置惩罚器，AIM Photonics等商业代工厂生产的氮化硅波导在波长~1,600-1,640nm时的损耗为~0.06 dB cm−1，在电信C波段（~1,530-1,565nm）时的损耗小于 0.25 dB cm−1。

自由空间和片上光学处置惩罚器的一个紧张留意事项是，只管元件之间的传播损耗可能很低，但当光传播到元件或从元件传播出来时，通常会产生反射或散射损耗（如折射率不匹配导致的菲涅尔反射）。因此，光学处置惩罚器仍需精心计划，以避免总体光损耗过大。

光学的低损耗传输特性已在电子计算机中得到利用：数据中央的光链路、以致芯片之间的直接光链路，都利用光在从几厘米到几米的长度范围内通报信息。未来，预计以致单个芯片内的某些通信最终也可能利用光学技术。

图2：光学体系中的信号传输

光尚未用于单个电子处置惩罚器芯片内的通信，特别是短距离通信的一个主要原因是，在光域和电域之间传输信号的光电元件需要泯灭空间和能源，只有当信号需要传输的距离足够长时，才值得支付这些费用。然而，光学计算机原则上可以利用光学技术，在所有长度范围内实现低能耗、险些无耗散的信息传输，而且无需为信号传输支付空间或能量本钱：因为信号已经是光学的了。但需要留意的是，光学处置惩罚器将不可避免地需要利用一些能量进行转换，比方，加载计算的初始输入数据和/或读出最终答案，这通常需要在电场中进行。但是，在计算过程中发生的能量转换及其本钱是可以避免的。

5）光束和“电线”可以交叉，电线则不能

在很多情况下，光学非线性险些可以忽略不计：不仅在自由空间环境中如此，在光功率较低、传播长度较短的质料中也是如此；非正式地说：我们在平凡光学环境中没有光剑。在这种情况下，光束可以相互穿过而不会产生串扰。同样，芯片上的光导线（波导；图2b）也能以极低的串扰进行交叉；不仅在原理上如此，在实际应用中也会出现制造缺陷。

相比之下，电线需要有自己的隔离物理空间地区，除了不能相互穿过外，即使只是相互靠近，也往往会产生串扰。

这种差异为光子处置惩罚器提供了可能性，使其比电子处置惩罚器更紧凑，因为互联是造成处置惩罚器尺寸的一个紧张因素，只管由于衍射、散射和不须要的反射，利用光束通报信息并非没有自身的串扰问题。

我们可以将光束交叉的能力理解为很多自由空间空间多路复用卷积和矩阵向量乘法光学实现的关键因素。比方，在利用透镜阵列进行扇出的矩阵矢量乘法器的实现中（图3b），输入矢量和扇出副本之间的光线会交叉。这种交叉原则上支持在小体积内实现大卷积和密集矩阵向量乘法。光学开关（图2c）提供了另一个光束交叉可实现更紧凑计划的例子。

图3：光学体系与电力体系的其他不同之处

6）光束可以高速可编程地转向；而电线要么是固定的，要么只能迟钝地重新配置

自由空间光束可以轻易地重新定向（比方，利用声光偏转器，耽误时间为微秒量级）（图2d），从而实现可重新配置的光互连（图 2c）。

相比之下，芯片上的电线在制造时是固定的，连接处置惩罚器、电路板或机架之间互连节点的电线只能迟钝移动（通常为几秒量级）。电子处置惩罚器通常通过利用多跳通信（依赖发送方和吸收方之间有一条涉及一些中心节点的路径）和交换（在固定的网络拓扑布局中实现信号的快速重路由）来缓解固定网络的缺点。这些战略的代价是耽误增长和潜伏的带宽瓶颈。

7）扇入（求和）和扇出（复制）在光学中的作用不同

复制要并行处置惩罚的数据（扇出）和汇总多个并行处置惩罚单元的输出（扇入）是并行处置惩罚的紧张基本原理。两者在光学中的实现方式与电子学不同，也有不同的取舍。在数字处置惩罚器中，扇入和扇出通常保持在低于10的水平，因此每当需要更大的扇入/扇出时，就必须利用多个缓冲级（从而进一步耽误）。

在自由空间中，可以通过将光束引向空间中的一个共同点（比方，通过利用透镜；图3a）来对空间模式编码的信号进行扇入；图3a），在该点可以安装光电探测器（如果下一步处置惩罚需要将光信号转换为电信号）、全息元件（将不同方向的光束归并为一个方向的光束，但会损失光功率）或加强器（可以放大归并后的光束并重新发射单一光信号）。

从概念上讲，将单个空间模式的信号扇出到多个空间模式的过程在自由空间中也很容易实现，基本上不需要任何特殊的工程努力（图 3b）：想象一下一个向多个方向发射信号的光学显示屏（如手机上的发光二极管显示屏）--多个人从不同的有利位置观看显示屏，都能看到相同的图像，我们可以解释为显示屏上的数据被复制了多个副本，并传输给了不同的吸收器。

空间模式的扇入和扇出也可以很容易地在集成光子学平台中实现。然而，在片上环境中，光的传播实际上通常被限制在单个平面内，而在自由空间中，信号天然会在所有三个维度内传播，这就使得扇入和扇出的程度更高。因此，在自由空间环境中利用光学扇入或扇出，比利用片上电子处置惩罚器（也是准平面）更容易获得优势。

到目前为止，我们已经讨论了空间模式下的扇入和扇出。对于利用频率或时间模式的光学计算机，扇入和扇出可通过其他方式实现。比方，可以通过调制光频梳在频域中将作为电子信号输入的数据扇出，也可以利用波分复用技术（包括片上平台）进行加权扇入。

要阐明光扇进或光扇出为何或何时比风扇进或风扇出更有优势，不妨思量光学的带宽和低损耗传输，以及光束可以交叉。然而，光学的扇入/扇出可能性与光学的带宽、低损耗传输和光束交叉的潜伏优势截然不同，因此将光学中的扇入和扇出视为可用于光计算架构的特殊功能是很故意义的，只管它们也可能利用光学的其他功能来精良运行。

究竟上，找出潜伏优势的泉源可能相当玄妙。比方，扇入可以说在实现矢量-矢量或矩阵-矢量乘法引擎方面发挥了紧张作用，这些引擎每次乘法利用的光能极少：在这种情况下，无论矢量巨细如何，实现矢量-矢量点积的特定信噪比所需的光能都是固定的，但光电子扇入也能实现类似的服从，在这种情况下，求和是在电域中进行的。

与数字-电子方法相比，纯模仿电子方法计算矢量-矢量点积的能耗也更低，因此，对于任何利用光扇入的计算方案，我们都可以问：哪一部分潜伏优势来自于以模仿而非数字方式执行求和，哪一部分来自于利用光学而非电子技术？

8）单向传播

我们可以很容易地构建出天然单向传播的光学体系（比方，如果在体系的一部分形成一个光腔，情况就会变得更加复杂）。相比之下，电信号可以反向传播（图3c）。在电子处置惩罚器中，反向传播（从输入到其他输入，或从输出到输入）可能会导致不须要的动态变化以及不须要的功耗。在某些模仿架构中，这种差异使光学比电子更具优势。

只管反向传播是电路的一个广泛特征：如果电路中没有缓冲器或二极管等隔离元件，只要两个连接的电路节点之间存在电压差，它们之间就会有电流流过，即使这两个节点是输入端；但对反向传播的担忧主要出现在模仿交叉阵列处置惩罚器中，与它们的扇入阶段以及潜行路径问题有关。模仿光学矩阵-矢量-乘积引擎通常采用单向传播，避免了模仿电子矩阵-矢量-乘积引擎（即交叉条阵）中出现的一些问题，而且光学提供天然隔离的概念更为宽泛，可在计算中发挥作用。

需要留意的是，固然如果光线不通过任何界面，完全的单向传播是可能的，但任何有效的光学处置惩罚器都至少涉及一些界面（比方，光线从氛围进入玻璃透镜），因此会产生一些不可避免的反射。可以通过得当选择几何外形和质料来减少反射，但永远无法完全消除。在很多情况下，比方光学处置惩罚器的紧凑性和体系中反射的巨细（换句话说，单向性）之间可能存在工程上的衡量。

9）绝热、最小作用和最小功率耗散原理的不同实现方式

一样平常物理学原理：如绝热性、最小作用原理和最小能量耗散原理，可导致物理体系启发式地办理优化问题；这些原理的变体可用于构建优化呆板（如伊辛机）。鉴于优化在呆板学习，尤其是神经网络中的核心作用，计划用于执行优化的计算机通常也非常适合执行呆板学习；因此，优化方面的优势也完全可以转化为呆板学习方面的优势。

同样，我们也可以将偏微分方程的求解问题重塑为变分优化问题，从而将物理学优化原理应用于更广泛的计算领域。

比方，费马光学的最短时间原理指出，光在两点间移动的时间最小的路径（图3d）。费曼用路径积分公式解释了这一原理，即光可以走所有可能的路径，但只有建设性干涉的路径才有实质性贡献，而传播时间与费马解法相差甚远的路径则是粉碎性干涉。这一观点可能有助于思考如何计划利用费马大定理的优化呆板。相比之下，费马原理在电路中并没有直接的类似物；因此，利用费马原理进行优化的计算机更天然地可以实验用光学来创建。

昂萨格的最小能量耗散原理既实用于光学，也实用于电子学，但由于基础物理学的不同，其举动和由此产生的计算性能可能会有所不同。比方，光学中的激光和参量振荡器在增益等于损耗时有一个阈值，它们起首在损耗最小的模式中振荡，这一究竟可用于计划光学伊辛机（图3e）。包括振荡器在内的电路也具有启发式能量耗散最小化的动力学特性，但它们与激光器或光参量振荡器并不完全相同，一样平常来说具有不同的举动。

利用昂萨格原理的光学体系是否或在何种情况下比电子体系更具优势，这还是一个未决问题，但光学计算机的计划者可能希望探索这种可能性。这个问题涉及多个方面：如果光学和电子动力学方程完全相同，那么出于本文所述的其他一些原因（如带宽），光学体系仍有可能比电子体系更具优势。

然而，我们还可以问，除了更高的带宽导致更快的时间尺度，或更大的空间并行性导致更大的体系规模之外，底层方程之间的差异是否会导致不同的举动？换句话说，这些差异超出了迄今为止得出的其他光学与电子学的区别。

10）光的量子特性可在室温下获得

我们可以在室温下存储和处置惩罚用单个光频光子编码的信息，也可以在室温下以低噪声探测单个光子。这与微波频率的情况截然不同，在微波频率中，室温下的热噪声会迅速沉没存储在单光子中的任何信息，因此无法进行低噪声单光子探测（图4a）。微波光子的量子特性可在约10mK的温度下获得，但这种低温通常只能通过稀释制冷机来实现，而稀释制冷机既粗笨又昂贵（金钱和能源）。

对于经典信息处置惩罚而言，由于可以操作和测量少量光子，因此与可靠运行所需的更多光子相比，能量本钱可能更低。在室温下产生和测量光的挤压态也是可能的；挤压态的噪声降低可能会被证明有助于经典信息处置惩罚，比方，在固定的能量预算（光子均匀数量）下实现更高的数字精度。

光学中缺乏猛烈的单光子非线性，这在无串扰的信息交流中是一种优势，但在处置惩罚光子数量较少的信息时可能成为一种劣势，而单光子检测则可以规避这一问题（图4b）。检测过程自己的非线性是一个可以利用的特点，但也可以利用光检测来概率性地诱导多种光学模式的非线性操作。

图4：光的量子本质

在这篇文章中，我们不思量量子信息处置惩罚；在这里，当我们谈到在量子环境中运行时，我们指的是光由光子构成，我们在如此低的功率下运行，以至于光的量子噪声和离散性子与计算机的运行建模相关。利用纠缠等量子现象构建量子计算机的话题令人兴奋，但超出了本文的讨论范围。

11）波物理学

观察单个光子的波性很容易：在马赫-泽恩德干涉仪中观察单个光子的干涉是本科生的实行（图4c），而在片上光子处置惩罚器中光子的相干性得到了很好的保存；但观察单个电子的波性却很困难。即使在先进的片上电子传输实行中，电子相干长度也小于~250μm，1μm至20μm之间的值更为典型，而且仅在低温条件下。

电子的波浪特性之所以难以观测和利用，是因为需要低温：片上电子相干长度比片上光子相干长度更依赖于质料宿主的特性。因此，只管光子和电子的波粒二象性都是量子物理学的一部分，但我们仍将光子的波物理学可及性视为其量子性子可及性的一个单独优势。

与此相对应的是，只管观察单个电子的波性子并不实际，但电子学中微波信号的波现象却可以很容易地被观察到并用于计算。然而，这些并不是单个电子的波现象，而是由很多微波光子构成的信号的波现象。这种区别在工程学上的一个关键后果是，电子微波信号的波长很长（比方，千兆赫信号的波长为厘米级），这就明显限制了可能的空间平行性，而光频光子信号则可能实现平行性：这就导致了光学相对于电子学（尤其是微波）的潜伏优势。需要留意的是，一种完全不同的微波信号也可以产生并用于计算：微波频率的声波。这些波只管频率低，但波长却很短，但传播速度却比光子信号慢得多（声速而非光速）这是用它们进行计算的一个倒霉因素。


我们可以通过三个主要的计算性能指标来取得优势：耽误、吞吐量和能效。在计划光学计算机时，应针对三者中的哪一个（或哪一个组合）取决于用户的目标，但光学技术如何能在所有三个指标上都取得优势，还是有论据可循的。


需要留意的是，计算机还有其他一些紧张指标，如尺寸、稳健性、本钱、安全性（易受黑客攻击）和正确性。比方，我们没有理由信赖光学计算机能比所有可能的电子计算机提供更高的精度，因此精度并不是我们期望的光学优势指标，相反，我们的目标通常是在特定精度下实现耽误、吞吐量和/或能效方面的优势。同样，其他指标也提供了其他约束条件，光学计算机必须满意这些约束条件，才气在某些特定利用情况下具有竞争力。

现在，我们以呆板学习推理（更具体地说，图像中的人脸识别）为例，简要介绍这些指标。耽误（也称延时）是指从计算机获得输入图像开始，计算机对图像中的人名做出预测所需的时间。吞吐量指的是每秒可以进行多少次推理；对于图像中的人脸识别，吞吐量指标是每秒处置惩罚的图像。请留意，一样平常情况下（1/耽误）≠吞吐量；通过流水线，吞吐量可以远远高于耽误的倒数。一个直观的例子是，思量一家利用装配线（流水线）生产汽车的工厂：从开始到竣事，工厂生产一辆汽车可能需要1天时间（耽误），但每天生产的汽车总数可达数百辆（吞吐量）。能效是指计算机在完成一次推理计算并到达指定精度时所消耗的能量；对于图像中的人脸识别，能效指标是每处置惩罚一张图像消耗多少焦耳。

在对这三个指标进行优化时，可能会有所取舍，因此在开始计划计算机之前，必须确定自己的目标是什么。比方，固然最大限度地减少耽误有时是主要目标（如在高频交易中），但提高处置惩罚器的吞吐量或能效往往是更紧张的目标：在很多情况下，目标将涉及所有三个指标，如最大限度地提高吞吐量和能效，但耽误必须满意特定目标（如在神经网络推理中；在很多应用中，如语言翻译，我们可能要求耽误小于1秒）。

只管在优化计算机性能指标时通常会有所取舍（比方，在耽误和吞吐量之间），但以下战略应有助于计划可优化任何耽误、吞吐量和能效组合的计算机。

1）避免或减轻输入和输出瓶颈/开销

光学计算机一样平常不完全依赖光学元件运行：计算机的某些输入通常来自电子设备，和/或计算机的输出最终来自电子设备。比方，如果光学处置惩罚器用于判定自动驾驶汽车前是否有行人行走，其输出需要电子化，以便输入到汽车的控制体系中，后者可以利用这些信息来驱动刹车。如果处置惩罚器利用神经网络，神经网络的训练参数很可能存储在电子存储器中，并需要以某种方式输入处置惩罚器。遗憾的是，光学和电子之间的接口会造成速度上的巨大瓶颈，并成为处置惩罚器能耗的主要泉源。要使光学处置惩罚器在耽误、吞吐量或能效方面比电子处置惩罚器更具优势，就必须在处置惩罚器架构计划上只管减少光信号和电信号之间的传输以及模仿信号和数字信号之间的转换所带来的负面影响。

一个紧张的缓解战略是，输入的数据应尽可能重复利用：一旦支付了将电子数据发送到光处置惩罚器的时间和能源本钱，我们就希望尽可能多地从这些数据中获益。这既实用于转换成光信号的数据，也实用于可能仍然是电信号但输入处置惩罚器需要时间和能源本钱的数据。光信号的重复利用可以通过各种形式的光存储器以及通过扇出复制来实现。因此，光计算机计划人员通常会尽可能提高扇出系数。在光学矩阵-矢量乘法器中，扇出更多份输入矢量是可取的，而且很可能是须要的，这样才气比电子计算机获得更大的优势。

作为重复利用电子控制信号的一个例子，执行神经网络推理（而非训练）的光学处置惩罚器可将神经网络权重加载到静态功耗很小或没有静态功耗的移相器中，然后通过对这些权重进行多次推理计算（比方，通过批处置惩罚单个推理）来多次利用这些权重。这样就可以摊销加载权重的时间和能源本钱。光子神经网络处置惩罚器中数据重复利用的另一个例子是卷积神经网络：相同的卷积核可以应用于输入数据的很多不同子集，因此核权重至少在概念上可以一次加载并多次利用。

一样平常的计划原则是，在其他条件相同的情况下，每比特输入数据的计算次数越多越好。这一原则本质上就是传统计算机架构中最大化算术强度的概念。数据重用是实现这一目标的方法之一，但一个紧张的增补概念方法是选择计算任务，使该任务的光学处置惩罚器执行的计算复杂度随输入数据巨细而快速扩展。

一个关键的实际情况是，就目前CMOS电子设备的速度和能耗而言，光学处置惩罚器似乎需要支持非常大的N值（比方 N > 104），才气到达交叉点，开始在矩阵-矢量乘法的基础上提供吞吐量或能效优势。这一究竟促使人们扩大光学矩阵-矢量乘法处置惩罚器的规模，并计划出计算复杂度大于 O(N2) 的光学处置惩罚器。从这个角度来看，组合优化（如伊兴解）对光学计算来说是一个很有吸引力的问题。

当光学处置惩罚器从电子存储器中加载数据时，不仅需要支付存储器访问的费用（电子处置惩罚器也需要支付该费用），还需要支付将数据从电信号转换为光信号的费用，而且可能还需要支付数模转换的费用。由于光学处置惩罚器加载数据的本钱通常比电子处置惩罚器大，因此有猛烈的动机为光学处置惩罚器选择具有更高内在数据重用性或更高算法复杂性的算法。这种软硬件协同计划能带来相当大的改进，而不是根据目前电子处置惩罚器上运行精良的算法来固定算法，并试图强行将光学处置惩罚器计划成以同样的方式运行。

固然只管减少和补偿输入数据的本钱至关紧张，但避免数据输出的时间或能源本钱过高也同样紧张。同样，在光学处置惩罚器内进行尽可能多的计算和数据缩减，也有利于减少需要输出的数据量。这一计划原则促使我们选择相对于输出巨细需要大量计算的算法。举例来说，呆板学习推理通常就是如此：对于整体计算来说，答案可能只有几十比特，输出的是输入数据的预测类别。

2）不要试图直接与数字电子处置惩罚器较量

可以说，要制造出在吞吐量或能效上逾越电子处置惩罚器的光处置惩罚器，最大的挑衅在于克服电子到光学和光学到电子转换技术的性能限制。如果从电子数据开始（这是最常见的情况），并希望计算出的答案最终能在电子设备中得到（这也是最常见的情况），那么就别无选择，只能采用上述战略，并希望能够摊销输入/输出本钱。

不过，思量到最先进的CMOS电子处置惩罚器体积巨大，而且它们在处置惩罚已经存在于电子设备中的数据方面具有先天优势，因此现代光学处置惩罚器很可能不会起首在传统电子处置惩罚工作流程中获得取代加快器的优势；相反，我们可以瞄准那些输入和/或输出天然是光学的应用，这样就可以消除转换本钱。

比方，在自动驾驶汽车、显微镜或光谱学等应用中，输入通常是来自相机的图像的呆板学习应用：我们可以用光学神经网络取代相机和随后的电子神经网络，直接处置惩罚眼前的场景。如果最终输出将是电子数据，也不必用光学取代所有电子图像处置惩罚计算：可以采用光学预处置惩罚光学图像数据的战略，对其进行智能编码；这样从光学到电子的输出转换带宽就比一开始就将图像数字化要低得多，从而在延时、吞吐量和能效方面带来长处。

固然图像处置惩罚可以省去输入转换阶段，因为输入可以直接是光学的，但输入和输出都是光学的应用可能更有希望立即攻克。光通信的输入和输出都是光信号，但目前的方法需要颠末多个阶段，将光信号转换为电信号进行电子处置惩罚，然后再转换回光域。这使得光通信信号处置惩罚天然成为全光信号处置惩罚的目标，全光信号处置惩罚可减少耽误、提高吞吐量并改善能效。

很多神经网络模型已经大到无法在单个电子处置惩罚器上运行的程度，这促使人们计划专门用于神经网络处置惩罚的光互连。这一趋势为神经网络处置惩罚作为光学处置惩罚器的应用提供了另一个动力：如果电子处置惩罚器竞争也需要支付光学和电子之间转换所产生的相对较高的能源本钱，那么这些转换本钱至少不是利用光学处置惩罚器的唯一劣势。我们可以将光学互联数据中央中用于执行神经网络处置惩罚的单个处置惩罚器视为一个输入和输出均为光学的体系，因此从这个角度来看，实验用光学处置惩罚器取代它是一个很有前景的候选方案。

3）结合多种光学特性，实验获得优势

这一点听起来可能很老套，但却很紧张：任何光学处置惩罚器要想比最好的同类电子处置惩罚器更具优势，最有可能需要利用的不仅是光学的一种特性，而且还需要精心组合其中的几种特性。

比方，仅仅利用光学在单一空间模式下的大带宽（即使我们暂时忽略输入/输出瓶颈），可能也不足以带来吞吐量上的优势，因为电子处置惩罚器通过巨大的空间并行性（在现代芯片中拥有1011个晶体管）来增补较低的带宽。同样，仅仅依赖空间并行性可能也是不够的：只管光学的空间并行性相当可观，尤其是在三维体系中，但晶体管的空间并行性通常更加惊人。

不过，如果能在单个体系中结合光学的带宽和空间并行特性，就有可能逾越电子技术。比方，想象一下能以10太赫兹的时钟频率并行处置惩罚107个空间模式的数据，大概并行处置惩罚107个空间模式的数据，每个空间模式有107个频率模式；换句话说，有1014个并行的空间-频率模式。不过，我们还可以有更多的空间和频率模式，这只是一个例子，而不是约束。固然如何充实利用光学所提供的带宽和空间并行性的组合还远未办理，但结合光学中险些可以无耗散地执行操作这一究竟，光学在逾越电子学方面大有可为。

正确预测技术的未来是很困难的，但我们可以公道地假设，在这篇文章探讨的11项特性中，带宽、空间并行性和险些无耗散的动态特性最有可能在未来的光学处置惩罚器中发挥关键作用，从而在耽误、吞吐量或能效方面带来整体优势。然而，很多其他功能最终也可能发挥紧张作用，因此不应被忽视。

迄今为止，很多光学处置惩罚器的演示都展示了利用光学的某些特性进行计算的原理验证，这种方式可能会带来优势，但体系并没有得本地利用其他一些可用的特性，最终导致原型机不如当前的电子处置惩罚器。


末了，下面罗列了一些巨大挑衅，如果这些挑衅得到办理，我们将大大接近实实际际有效的光学计算机：

- 光处置惩罚器架构计划。要计划出能最有效地利用光学特性获得优势的光处置惩罚器架构，是一项巨大挑衅。现有的光处置惩罚器架构（利用自由空间或集成光子学）其中一些已有几十年的历史，显然并非最佳架构，因此我们有机会发明颠末改进或全新的计划来应对这一挑衅。

- 应用。我们需要找到光学处置惩罚器的抱负应用领域。利用光计算取得优势的主要停滞之一是与输入/输出相关的问题，因此我们希望找到有价值的应用，从而避免或减轻输入/输出瓶颈和本钱。

- 非线性。非线性在很多计算中都至关紧张，而低能、快速、小尺寸、可可靠制造的非线性将是一个有效的构件。这种非线性不愿定是全光非线性：光电子非线性也可能有效，不过一样平常来说，人们可以希望从全光非线性的更高带宽和可能更低的能耗中获益。

- 级联性。在很多计算中，比方在深度神经网络中，输入数据不是通过一个函数而是通过一系列函数输入的。因此，计算的光学实现通常需要将光信号多次通过同一光学装置或多个不同的光学装置（或两者兼而有之）。这就要求能够在时间或空间上级联光学过程。

- 三维计划与制造。空间并行性可通过利用三维空间得到大幅提升，如果耗散保持在较低水平，这将为电子技术提供优势。别的，利用三维空间实现模式间的长程耦合（以及与光学传输原理相关的优势）也能带来长处；这里的关键问题是如何计划和制造可编程、大规模、高密度的三维处置惩罚器。

- 电子和光电元件的能源本钱。光学处置惩罚器的能耗本钱通常由计算机电子部件的能耗本钱主导。很多光学计算方案都能从大量高速、低功耗、低本钱的探测器、模数转换器、调制器和数模转换器阵列中获益，以致需要它们来提供优势。提高这些组件的能效是一项紧张挑衅。

- 规模。大多数光计算方案都依赖于并行性：无论是频率或时间多路复用，还是空间多路复用或两者的结合，这也是它们实现优于电子技术的部分原因。然而，吞吐量和能效优势通常只有在体系规模（即并行操作数量）非常大时才气体现。大多数光学计算方案都面临着巨大的扩展挑衅，无法实实际际优势；在某些情况下，我们以致还没有关于如何扩展的切实可行的门路图。

- 稳健性、可靠性和制造变化。只管很多光学元件（如手机等消费电子设备和光纤通信体系中出现的光学元件）通常都非常可靠，但很多正在思量用于光学计算机的光学技术在鲁棒性（比方，在温度变化或机械振动等环境扰动下的性能）、可靠性（比方，在正常运行条件下保持正常工作的可能性）和制造差异（比方，制造出来的器件在规格上与计划值的差异有多大）方面都面临挑衅。一样平常来说，对于可能用于光学计算机的每种光子技术平台，都存在如何稳定（被动或自动）它的问题。

- 存储。为了避免电子和光学之间的转换本钱，以及避免电子存储器访问本钱（即使在电子计算机中也是主要本钱），我们通常希望能够存储数据，以便在光学处置惩罚中利用。

- 突破量子极限。实现光能耗最小化的途径之一，是在光的量子特性不容忽视的情况下运行光学计算机。比方，通过利用超低光功率，信号由少量光子构成，并由单光子探测器测量。需要留意的是，光学计算机将不可避免地涉及一些电子设备，即使只是用于控制或读出，而电子设备的能耗本钱往往是最主要的，因此，只有在某些情况下，最大限度地降低光功率才会带来巨大的长处。只管如此，在这些情况下，无论是计划架构还是实实际用设备，都有很多工作要做，这些设备都能从量子机制中获益。



1、优势

 “物理域”和“计算域”的协同
计算光学成像的最大优势在于它代表了一种崭新的光学体系计划方式。其在建立光的几何光学，颠簸光学，以致光量子模型的基础上，采用照明与光学体系调制等方式，建态度景与观测之间的变动或调制模型，然后利用逆问题求解等数学手段，通过计算反演来进行成像。这种计算成像方法实质上就是在场景和图像之间建立了某种特定的接洽，这种接洽可以是线性的也可以黑白线性的，可以突破一一对应的直接采样形式 ，实现非直接的采样形式，使得采样形式更加灵活，更能充实发挥不同传感器的特点与性能。这种灵活的计划模式可以改变光学测量的性子以获得所需的结果并平衡物理域和计算域之间对图像生成和信息提取所依赖的资源。利用信息论的概念，不仅可以借助于传统光学计划的优势，还可以充实利用对于光信息处置惩罚的潜力来计划成像体系。

潜伏的“通用理论框架”
计算光学成像技术的另一大显著优势在于其能够有望形成一个更高维度的框架体系来分析处置惩罚与看待光学成像的具体个案问题。传统光学成像技术的发展大多依赖于 case-by-case 的研究方式，极易造成大量重复性研究，难以揭示那些看似独立的成像方法之间的内在关联。别的特定方法针对核心成像指标提升的本质原因仍不明确，从而难以定量优化或进一步提升其成像潜能。而计算光学成像实则提供了一个“包罗万象”的通用理论框架：一个典型的计算光学成像体系由照明、样品、成像体系、探测器四部分构成。照明光与样品发生作用后成为其本质信息 (如吸收，相位，折射率等) 的载体，通过对照明与成像体系进行光学调控使物体的本质信息转化为光强信号由探测器离散采集，末了通过相应的计算方法对样品本质信息进行反演，获得样品高维高分辨率定量数据。若能基于物理成像模型构建计算光学成像理论体系，突破“如何表现”、“如何求解”、“如何计划”三大关键科学问题，并在此体系下发展求解相应逆问题的尺度可重用算法，发挥可见光波段光学调控手段的灵活优势，有助于实现有限资源的最大效用，使最优核心成像指标实现质的突破，进而促使面向各类复杂实际成像应用的新理论、新机制、新技术更快，更体系地形成。

2、挑衅
本钱与代价
俗话说“天下没有免费的午餐”，任何事物的存在都具有两面性，计算成像技术亦是如此。当计划计算光学成像体系时，必须衡量计算成像和传统成像技术相关的本钱代价与预期的功效改善。思量的本钱代价包括：进行非传统点对点强度测量的物理元件的本钱、对观测目标多次测量产生的时间本钱、数据量以及物理模型和校准与标定对处置惩罚性能的影响等。只管计算成像技术的某些案例能够 (在肯定意义上) 简化成像体系，但从整体来看往往并非能够那么轻易下结论。比方：单像素成像技术固然能够简化探测端，降低了采用大规模阵列探测器的本钱，但是却令照明大概光学体系变得复杂化。空间光调制器的引入往往使体系本钱不降反升，多次采样所导致时间本钱与数据量的增长，重建运算所导致的复杂度往往远高于传统面阵成像技术。另一方面，采用昂贵的专用光学器件取代代价低廉且易于大批量生产的光学透镜实在并非一个明智的选择。

定制化 vs 尺度化
光学体系与处置惩罚算法的联合计划是计算光学成像体系的标记性特点，这与传统光学成像设备与仪器的模块化、开放式体系计划理念背道而驰。模块化开放式体系计划模式是现代成像技术与体系的一大发展趋势，比方：具有尺度化接口的模块化计划可以使佳能单反相机兼容尼康公司所生产的镜头，或在各种硬件平台上，如照相机、手机以致平板电脑上移植高动态范围成像算法的应用步伐。这种接口模块化和尺度化计划使光学成像设备的低本钱、大规模生产成为可能，促进了包含光学传感器的复杂消费电子设备的普及。计算光学成像的前端与后端联合计划思绪恰好与模块化开放式体系计划思绪相悖，因此计算光学成像体系必须在功能、性能、实用性或人机界面方面提供压倒性的优势，才有希望未来能够克服这种尺度化模块化为主导的计划范式。

技术优势 vs 市场需求
功能与技术的先进性和简单易用便携到底孰更紧张？对于科研应用来说，大概前者是最紧张的。但是对于商业体系，特别是消费电子类产品来说，后者才是关键。当计算成像技术从学术界走向财产界时，就必须认清实际——商业产品必须具备市场优势，而不仅仅是技术优势。比方：相比力更清楚的图像与更高的分辨率，减少医疗成像中人体对 X 光辐射袒露的时间或减少进站安检 X 光机所需的期待时间往往是消费者更为在意的地方。关于这方面一个众所周知的反例就是光场相机，其所带来的功能优势并不能很好地增补其在成像质量与易用性上的缺失，导致平凡消费人群并没有因为其一系列创新功能而动容买单。

3、发展机会
大概对于研究人员而言，计算光学成像最大的吸引力来自通过计算机与微处置惩罚器性能的不断提升使光学成像也能够搭上“摩尔定律”的顺风车，利用强大的“算力”突破物理定律 (如麦克斯韦方程、光学衍射极限、采样定律、不确定性原理等) 的限制与制约。但是对于平凡大众而言，更令他们感爱好的还是计算光学成像所带来的功能与性能方面的提升。为了预测计算光学成像技术对未来成像体系的发展走向的影响，将侧重思量计算光学成像潜伏的广泛应用领域：科学仪器、商业工业、国防安全。

科学仪器
科学仪器是科学研究与高端制造业发展所不可或缺的紧张工具，是现代工业研发与生产的紧张物质支撑，也是物理、化学、质料、生命科学等实行科学数据的根本源头。正如之前所提及的，计算光学成像技术尤其实用于拥有广泛消费基础的昂贵科学仪器设备，而科学与医学领域则是这类高端科学仪器设备的主要集散地。比方，2014 年诺贝尔化学奖被授予具有亚波长成像能力的超分辨率荧光显微成像技术，现阶段已经有众多商业化的科学仪器与产品。对该项技术而言，科研应用对功能和性能提升上的需求远凌驾计算光学成像所需的数据处置惩罚所泯灭的代价，这点已经从 X-ray CT 和 MRI 等技术的广泛推广与应用得到证明。在此背景下，计算光学成像技术 (如单像素成像、无透镜成像) 具有非常可观的应用空间。

商业工业
在商业应用方面，手机摄像头与微处置惩罚器等高度集成体系为计算光学成像提供了新的机会。比方，在iPhone X 上集成的用于三维人脸识别的布局光传感器。它包括精密的照明、图像捕捉和微型化的处置惩罚芯片。目前智能手机中存在的传感、处置惩罚、存储、显示和通信体系紧凑集成，这即将为计算光学成像在移动消费终端的技术落地提供沃土。另一方面，随着触摸屏、手势控制、体感控制的发明，人机界面经历了一场革命。体感控制本质上需要三维成像技术来感知人体或身体部位的位置和姿势，从而实现计算机的远程控制大概游戏交互娱乐。别的，当今概念大热的“元宇宙”作为假造天下和实际天下融合的载体，也需要具备“沉醉感、开放性”等特征，计算光学成像 (特别是三维成像技术)、假造和加强实际 (VR/AR) 等成为其底层支撑技术。现阶段的三维感知、VR/AR 在财产链成熟度、生态构建等方面，还无法支撑元宇宙的愿景。不过可以预见的是，未来计算光学成像传感技术、显示技术、实时交互等技术将与计算机网络、大数据云计算、操作体系等底层技术更紧密结归并进一步共同发展，从而才气使“元宇宙”为用户提供完美沉醉式体验，助推实现科技与人文的结合，推动游戏、工业、教育及交际等多场景在元宇宙的渐进式发展。

工业应用方面，其目标是工业生产全线的自动化控制，包括计划、生产、加工、装调、检测等。计算光学成像技术在其中也有望充实发挥其优势。比方，基于高精度三维测量技术对流水线上的工件与产品进行合规检测，通过自动三维传感技术提取环境信息，颠末计算机处置惩罚后进行后续分析并反馈呆板人执行装配命令等，从而保证工业自动化生产全链路闭环控制。

国防安全
未来的国家安全与民生保障要求光电成像与探测体系能同时实现高像素分辨率，多模态成像，高灵敏度，大景深，快帧频，而传统光电成像技术对于办理新的未来的反恐维稳、监控安防、国防安全等领域成像探测应用需求所带来的问题已显得力不从心，其具体表现在：光电成像体系在信息获取能力、功能、性能指标等方面的提高过分依赖于探测器技术水平的提高。单一成像体系难以同时实现高灵敏度，大景深，高分辨，快帧频。别的对于传统小视场的成像体系而言，成像分辨率往往最终由光学体系口径所决定。然而传统光学体系计划受限于光学衍射极限，为了实现高分辨率，必须增长光学体系的孔径，而光学体系孔径的不断加大会导致体积、质量不断增长；更紧张的是，孔径尺寸的增长往往导致景深与视场尺寸的对应缩减。因此，发展基于计算光学的新概念光电成像与探测机理与方法，指导高精尖光电成像体系的计划，已经成为国防安全领域新一代光电成像技术与体系的紧张发展方向。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。