舟馨科技 ShipX Technology
Kinetix 多 ROI 高速成像
高速成像

Kinetix 多 ROI 高速成像

Kinetix Advanced Features: Multi-ROI

多感兴趣区并行采集,在局部区域获得更高帧率。

  • Kinetix
  • 高速成像

概述

Kinetix 高级功能:multi-ROI 是一种允许用户选择传感器上的多个区域并以更高速率成像的实现方式

引言

现代科学相机在日益增大的传感器上采集数据。例如,Kinetix sCMOS 相机拥有 29.4 mm 传感器,能够捕获广阔的细胞网络、完整组织或夜空中的星座。

然而,在许多实验中,研究人员只对传感器上的特定区域感兴趣,例如成像离散的细胞簇或细长样本。这在成像中很常见,被称为感兴趣区域(ROI),即可由用户选择、决定读取哪些像素的部分传感器。相机不再从整个传感器采集,而是只读取并输出所定义的区域。

建立 ROI 可减小生成图像文件的大小,并允许在软件中进行更精细的实验控制。此外,使用 sCMOS 相机的一个固有优势是,建立 ROI 时可提高成像速度:图像行数越少,相机采集越快。例如,Kinetix 在 Dynamic Range 模式下以全帧(3200 x 3200 像素)可达 82 帧每秒(fps),若定义横跨半个传感器(1600 x 3200)的 ROI,速度可翻倍至 164 fps。这一趋势可持续到相机在仅几行高的极小阵列尺寸下以 1000s fps 成像。

虽然单个 ROI 是有用的实验工具,但如果科学应用需要在传感器上任意位置的多个独立区域呢?本文介绍 multi-ROI,这是 Kinetix 系列相机上的一项功能。

Multi-ROI

Multi-ROI(下文简称 mROI)可通过多种方式实现,但某些典型的 mROI 实现会遇到“边界框”问题,如图 1 所示。本质上,若 ROI 相隔多行,典型的 mROI 会捕获 ROI 之间的所有行,从而抵消文件大小和速度方面的优势。

然而,Kinetix 拥有强大的板载 FPGA 处理器,可原生运行其自身更智能的 mROI 版本,从而解决边界框问题。

Kinetix Advanced Features: Multi-ROI 配图 1
图 1 · 典型的 mROI 与边界框问题。左图中,同一行上选择了三个 ROI(A、B、C),相机将从红色区域读取,即一个较小的边界框,带来显著的速度和文件大小优势。然而,若 ROI 相隔多行,如右图所示,ROI C 会导致一个较大的边界框,相机几乎读取整个传感器,抵消了建立这些 ROI 的任何优势。

Kinetix Multi-ROI

Kinetix 系列相机在前端固件中直接实现 mROI,决定如何读取 ROI 并优化性能。Kinetix mROI 的实现如图 2 所示。

在 Kinetix 上建立多个 ROI 时,它将根据曝光时间以及 ROI 的大小/位置智能读取区域以实现最佳性能:

这种混合方法确保无论 ROI 放置如何都能获得最佳成像性能。

例如(如图 3 所示),Kinetix 在 Dynamic Range 模式下以 82 fps 读取全帧。若建立两个各 512 行的 ROI,一个位于传感器顶部、一个位于底部,典型的 mROI 会读取两个 ROI 及其间的所有行,相当于读取全帧,仍只能达到 82 fps:没有速度优势。

然而,使用 Kinetix mROI 时,仅捕获顶部 512 行和底部 512 行,速度可达 250 fps,相比原生 82 fps 有显著提升。

Kinetix mROI 即使在多个分离的 ROI 下也能实现显著更高的帧率。这减少了数据负载,降低存储和处理需求,并为更灵活、多样的实验设计提供可能。用户可同时监测多个通道或生物体。

  • 若 ROI 彼此接近、相邻或重叠,Kinetix 将使用标准单帧读取以提高效率,与旧版 mROI 实现相同
  • 若 ROI 相距较远且可获得速度优势,Kinetix 不会读取大边界框,而是在多帧中捕获 ROI 并向成像软件呈现单个合并帧
Kinetix Advanced Features: Multi-ROI 配图 2
图 1 · Kinetix mROI 通过在独立帧中捕获区域并将其合并为单帧来解决边界框问题。左图必须读取整个传感器,右图显示 Kinetix mROI 如何仅读取所选 ROI,从而显著减小文件大小并加快采集速度。
Kinetix Advanced Features: Multi-ROI 配图 3
图 2 · 典型的 mROI 以 82 fps 读取两个 ROI,与原生帧时间相同。Kinetix mROI 通过跳过中间行以 250 fps 读取两个 ROI,同时减小文件大小。

Applications

Kinetix mROI 开启新的实验可能性,包括:

许多应用会导致样本在传感器上呈离散分布,例如光场成像或单分子成像。对于这些应用,任何局限于传感器特定区域的样本都可受益于 Kinetix mROI。

  • 并行监测空间上分离的过程
  • 多个脑区/神经网络的功能成像
  • 从特定光谱波段采集
  • 从微流控设备的多个通道记录
Kinetix Advanced Features: Multi-ROI 配图 4
图 1 · 可受益于 Kinetix mROI 的应用。上图是完整线虫脑,借助 mROI 可同时以更高速率成像多条线虫,因为样本细长,在 Kinetix 上仅需几行即可容纳。中图显示肌动蛋白纤维,借助 mROI 可选择纤维以更高速率采集数据,而无需捕获背景或其他元素。下三图均显示带通道的样本,通常为带流动的微流控设备,此处 mROI 可用于仅从样本流动的通道采集数据,忽略中间空白区域。

Limitations

当前版本的 Kinetix mROI 受以下限制约束:

在牢记这些限制的情况下进行成像,将获得最佳性能和最佳成像体验。

  • 目前仅适用于 Kinetix 系列相机
  • 目前仅在 16 位 Dynamic Range 模式下可用
  • 目前仅适用于内部触发模式,外部触发方式受帧分割逻辑影响
  • 必须启用元数据

小结

借助 Kinetix mROI,研究人员不再被迫在帧率与空间覆盖之间做出选择。通过在固件层面智能处理 ROI 读取,Kinetix sCMOS 相机为要求严苛的科学成像应用提供同类最佳的速度、灵活性和效率。

这一突破性功能使生命科学、物理科学和天文学领域的用户能够看得更多、更快、更智能。