舟馨科技 ShipX Technology
大靶面背照 CMOS 真全局快门
科研成像

大靶面背照 CMOS 真全局快门

Achieving a True Global Shutter with Large Format, Back-Illuminated CMOS

COSMOS 实现大画幅背照 sCMOS 真全局快门,消除运动伪影。

  • COSMOS

概述

CMOS 传感器技术在过去十年稳步改进,现已成为安防、机器视觉和手持成像系统等众多应用的标准。

引言

CMOS 传感器技术在过去十年稳步改进,现已成为安防、机器视觉和手持成像系统等众多应用的标准。与 CCD 和 EMCCD 等长期建立的传感器技术相比,CMOS 提供速度、噪声性能、低功耗和紧凑尺寸的最佳组合。此外,这些传感器的大规模生产使视觉技术扩展到许多新兴和不断扩大的市场。

然而,两个因素限制了 CMOS 传感器在更苛刻应用中的采用。首先是 CMOS 设备的“rolling shutter”架构可能对动态对象成像引入 CCD 和 EMCCD 传感器“global shutter”架构所不存在的伪影。其次是所谓“front-illuminated”CMOS 相对于 CCD 和 EMCCD 常见的更敏感“back-illuminated”传感器的量子效率(对光子的灵敏度)降低。

Scientific CMOS 传感器先前已能够改进其中一个因素,但从未同时改进两者。但得益于 LACera™ Technology 传感器设计的创新,global shutter、back-illuminated 传感器现已在科学成像中成为可能,使 CMOS 技术在更多成像应用中引领方向。

What is Global Shutter?

相机完成图像曝光后,必须读出采集的信号。像素将被复位,以收集的光电子形式存在的信号被清除,传感器准备好曝光下一帧。理想情况下,这一过程应像全帧 CCD 一样在整个传感器上同时发生。然而,对于大多数 CMOS 相机,该过程逐行进行,沿传感器“滚动”向下,称为 rolling shutter。这意味着传感器对光的曝光在不同时间发生。这在下文图 1A 中示出。

在主体与相机之间无相对运动的应用中,rolling shutter 不是问题。然而,在动态场景中,由于运动或变化的光/信号强度,rolling shutter 模式将引入图像畸变。这些“rolling shutter artifacts”在下一页进一步讨论。对于许多成像应用,更理想的传感器模式是 Global Shutter,它同时曝光和复位相机的每一行,如图 1B 所示。

Achieving a True Global Shutter with Large Format, Back-Illuminated CMOS 配图 1
图 1 · rolling shutter 与 global shutter 操作的采集时序图。在 rolling shutter 中,采集从传感器顶部开始,逐行“滚动”向下直至底行开始曝光。该时间称为“Frame Time”。顶行完成曝光后,采集的信号被读出,读出随后沿传感器滚动向下。在 global shutter 采集中,整个传感器同时开始和结束曝光。

Limitations of current CMOS cameras

Rolling Shutter Artifacts

在对运动对象成像,或在采集期间移动相机视场时,所有相机都可能出现某些成像伪影,例如当曝光时间相对于对象运动较长时的运动模糊。但对于 rolling shutter 相机,若任何运动与 rolling shutter 序列的时间尺度相似,可能引入额外的伪影。

对于大规模运动,例如视场中的大对象,或整个视场同时运动,"frame time"是相关时间尺度,即如图 1 所示顶行与底行曝光开始之间的时间。对于 CMOS 相机,frame time 各异但通常约为 20 ms。若对象在 20 ms 内明显移动,将出现如图 2 所示的 rolling shutter 伪影。

对于小规模运动,例如仅覆盖视场数像素的对象,更快的运动仍可被捕获,因为此时"line time"(rolling shutter 从一行移动到下一行的时间)是相关的。这是 frame time 除以行数,通常约为 10 微秒。

使用 global shutter 采集,这些伪影被避免,这对许多应用可能至关重要。Global shutter CMOS 相机比 rolling shutter CMOS 相机更少见,生产高灵敏度 global shutter CMOS 相机是更大的挑战。CMOS 相机允许比 CCD 或 EMCCD(先前主导技术)更高的速度采集。得益于 Teledyne 传感器技术的创新,甚至更高的灵敏度成为可能,这对实现短曝光时间和高速采集至关重要。

High Speed Events

Rolling shutter 不仅引入伪影的可能性,还决定整个传感器的有效最小曝光时间。某些高速事件发生在远短于典型 CMOS 约 20 ms frame time 的时间尺度上,然而 rolling shutter 意味着无论选择何种曝光时间,整个帧都将在 20 ms 内被捕获。这可能比 global shutter 相机的真实最小曝光时间长 3 个或更多数量级。

Increasing Sensitivity: Front vs Back-Illuminated CMOS Sensors

对于成像的几乎所有方面,尤其是高速成像,相机灵敏度是相机适用性的关键方面。决定灵敏度的关键因素之一是 Quantum Efficiency(QE),即相机在测量前将入射光(光子)转化为电子电荷(电子)的有效性。QE 定义为转化为电子的光子百分比。

主要决定因素是传感器使用 front 或 back-side illumination。当 sCMOS 技术首次出现时,所有 CMOS 传感器均为 front-illuminated,意味着每个像素表面的一定比例被用于电荷收集和传输的金属布线和电路覆盖。这是更简单的传感器制造方式,但缺点是使这些区域对光不敏感,物理阻挡光(如图 3 所示)被检测。

通过在传感器表面添加 microlenses(见图 3)可实现更高的 QE,microlenses 可将入射光聚焦到硅衬底上。然而,即使 优化设计的 microlenses,至少 20% 的入射光子将丢失,若光以角度接近传感器则更多丢失,如图 4 所示。对于天文学等具有挑战性的应用,这一灵敏度代价通常过高。

为改善 quantum efficiency,CCD 和 EMCCD 多年来使用称为 Back Illumination 的替代传感器设计。Back-illuminated 传感器本质上翻转,使光直接进入硅衬底,硅被减薄至仅光敏感区域。

结果是峰值处近完美 90+% QE 的传感器。然而,由于制造 back-illuminated CMOS 设备的更大挑战,back-illumination 直到 2016 年才进入 scientific-grade CMOS 相机。与 front-illumination 相比,back-illumination 在标准 400-1100 nm 范围内带来 10-15% QE 提升,甚至解锁 400 nm 以下额外波长。此外,back-illumination 还消除了 QE 对入射角的依赖。

Achieving a True Global Shutter with Large Format, Back-Illuminated CMOS 配图 2
图 1 · 对象在 rolling shutter 相机自上而下滚动期间从左向右快速移动时,可能显得“倾斜”,因为不同行的采集在对象运动期间的不同时间发生。
Achieving a True Global Shutter with Large Format, Back-Illuminated CMOS 配图 3
图 2 · front 与 back-illuminated CMOS 传感器像素布局对比。对于 front-illuminated 相机,电路位于光敏感区域上方,microlenses 试图改善收集效率。在 back-illuminated 传感器中,光敏感表面直接暴露于光。
Achieving a True Global Shutter with Large Format, Back-Illuminated CMOS 配图 4
图 3 · Back 与 Front Illuminated CMOS 传感器的 Quantum Efficiency vs Wavelength,取决于入射角。Front-illuminated 设备的灵敏度强烈取决于入射光角度,并在约 400 nm 处急剧截止(未测量/示出)。

The Challenge of Back-Illuminated Global Shutter CMOS

CMOS 上如何实现 Global Shutter?

无论 CMOS 相机具有 rolling shutter 还是 global shutter,信号读出过程都是逐行进行的,因为每行被传递到该列的 Analogue to Digital Converter(ADC)进行测量。对于 rolling shutter 相机,一行的读出在该行曝光结束后立即发生,读出完成后移至下一行。要实现 global shutter,曝光必须同时开始和结束,所有像素曝光后进行读出。此时通过同时将每个像素采集的光电子移入像素内的存储区来结束曝光。曝光和读出序列如下:

Parasitic Light Sensitivity

电荷在读出前存储的 Floating Diffusion(FD)实际上对光敏感,意味着若在曝光结束与该像素读出过程发生之前光子到达此区域,可能记录异常信号。这称为“parasitic”light sensitivity(PLS)。定义为:

对于 front-illuminated 设备,FD 隐藏在阻挡入射光子的布线下方。此时 FD 暴露于极少光子,仅少数被相机 microlenses 偏转入 FD。

然而,对于 back-illuminated 设备,科学相机先前不可能在显著 PLS 下进行 global shutter 采集,因为允许更高灵敏度的像素重排也使 FD 暴露于光。PLS 实际上可能在 global shutter 图像中引入 rolling shutter 伪影,并导致帧内不均匀的光曝光。对于精确的科学成像应用,尽管 back-illumination 在灵敏度方面的优势,PLS 先前排除了 global shutter 传感器架构的使用。

  • 通过复位像素(photodiode)和存储(称为 floating diffusion,FD)中存储的电荷,同时开始所有行的曝光。
  • 然后在指定曝光时间内收集光子
  • 通过将采集的光电子移入每个像素内的存储区来结束所形成图像的曝光,等待读出。
  • 逐行,从 floating diffusion 读取每个像素对应的电压。
  • 将 floating diffusion 的电压复位为默认“bias”值,并再次测量以给出信号的更准确基线。对下一行重复。
  • 对每一帧重复此序列

LACera Technology: Achieving Back-Illuminated Global Shutter CMOS

要将 back-illuminated CMOS 的无与伦比的灵敏度与 Global Shutter 的无畸变图像结合,需要对传感器组件进行根本性重新设计。在 Teledyne,我们能够利用对 LACera technology 传感器生产过程的影响力来优化像素几何并显著降低 parasitic 光捕获的可能性。

通过这一创新,灵敏度和最佳传感器行为首次统一于单一 scientific-grade 传感器技术中。对于需要高速、低光或无畸变图像的应用,LACera technology 为 CMOS 技术及其为科学成像带来的所有改进打开了大门。

LACera 代表先进成像解决方案的关键要素,只有 Teledyne 的性质和规模才使其成为可能。从像素、传感器和 ROIC 设计,到低噪声电子学、深度冷却和系统接口,Teledyne 是唯一能够交付这一完全自主解决方案的大画幅 CMOS 公司。

Conclusions

借助 LACera technology,通过光收集最大化灵敏度与捕获无 rolling shutter 伪影的高速图像的能力之间不再有任何妥协,这对许多应用至关重要。

Download Article as PDF

Contact An Expert