1.    引言

早在幾十年前就有了3D圖像技術的概念，但產(chǎn)品商業(yè)化是在2000年后，許多大型電影制片廠宣布使用最新的高清攝像機獲得3D效果。此后，不僅僅在消費市場，在工業(yè)機器視覺領域，3d圖像技術從速度，誤差精準度以及分辨率上得到了飛躍性的發(fā)展。

隨著工業(yè)4.0的崛起，傳統(tǒng)2D技術在誤差精準度和距離測量方面非常受限，尤其是在復雜物體識別和尺寸測量以及互動應用例如人機互動，3D視覺的需求越來越多。

在工廠自動化領域，3D視覺能夠提高機器人/機器系統(tǒng)的自主性和有效性。 實際上，3D視覺對于更高精度的質(zhì)量檢查，逆向工程或2D視覺受限的物體尺寸檢測是必不可少的。 此外，使用視覺系統(tǒng)引導的機器人技術正在增長，需要3D視覺更好的遠程指導，障礙物識別和準確移動。

廣告

3D視覺還保護工廠里的工人在密集的人機交互系統(tǒng)中免受阻礙并解決危險情況， 還可通過監(jiān)控系統(tǒng)進行計數(shù)并識別自然人和機器人。

3D視覺通過各方面滲透影響著社會，并為最終用戶提供更安全，更高性能和更有效的援助系統(tǒng)。 例如，3D視覺應用于先進的汽車自動輔助駕駛系統(tǒng)，自主車輛，協(xié)作機器人...

本文旨在探討3D成像技術，以及工業(yè)3D應用中先進的嵌入式CMOS傳感器技術。

2.    3D 圖像概論

當前，用戶可通過好幾種技術和方案獲得3D，以下部分旨在簡要概述每種技術及其優(yōu)缺點。

2.1 Stereo vision technique立體視覺技術

類似人類大腦控制目測距離，兩只相機，拍相同位置，不同角度安裝，利用視覺差和校準技術提取物體深度信息。

圖 1 – Stereoscopic system principle – source Techbriefs

2.2 Structured light technique結(jié)構光技術

由相機和投影儀組成。投影儀投射條紋光帶到物體上，相機拍攝條紋光，根據(jù)物體上光的條紋扭曲計算位深信息。

圖2 – 結(jié)構光系統(tǒng)原理圖– source University of Kentucky, Laser Focus World*

2.3 Laser triangulation激光三角測量

激光三角測量系統(tǒng)由2D相機，鏡頭，激光器組成，通過測量從被測物表面反射的光來確定被測物的位置。 激光器將光斑投射到被測物，反射光通過成像相機聚焦在光敏裝置上。 根據(jù)激光相對被測物表面的距離，激光點出現(xiàn)在相機視野中的不同位置。 這種技術稱為三角測量，由激光點，照相機和激光發(fā)射器形成三角形。

高分辨率激光器通常用于需高精度，穩(wěn)定和低溫度漂移的位移和位置監(jiān)測應用中。

圖3 –激光三角測量原理圖

2.4 Time-of-Flight TOF原理

TOF原理是利用光源與圖像傳感器同步，利用發(fā)射光脈沖和光返回到圖像傳感器上的時間差來計算距離。

圖 4 – Time-of-flight 系統(tǒng)原理圖

2.5 3D 圖像技術對比

如上所述，每種技術都有優(yōu)缺點，因此，根據(jù)應用特別是距離范圍和深度精度要求，選擇更合適的方案。 在表1中進行相對比較。

表1.  3D Imaging techniques ‘top-level’ comparison

目前，3D系統(tǒng)主要靠立體視覺，結(jié)構光和激光三角方案，這些系統(tǒng)主要用在固定工作距離，同時在特定檢測領域中需要較高水準的校準。
Time-of-Flight 系統(tǒng)可以克服這些困難，從應用角度更加靈活，但是目前更多的是受限于分辨率。

3.    Teledyne e2v在工業(yè)市場獨特的3D方案

基于機器視覺領域，Teledyne e2v提供的線掃描相機和面陣傳感器的成功積累，Teledyne e2v正在構建一個專用于3D成像的獨特平臺，以支持最新的工業(yè)應用，如視覺引導機器人，物流自動導引車輛（AGV），工廠監(jiān)控和 安全或手持掃描儀，以及戶外應用。Teledyne e2v旨在提供多種3D技術和解決方案，以滿足客戶的應用需求。

Teledyne e2v主要提供以下三種3D方案

?    Laser triangulation 激光三角測量

?    Stereo vision and structured light 立體視覺和結(jié)構光

?    Time of Flight  TOF技術

3.1    激光三角測量方案

Teledyne e2v可提供標準品，同時也可以特殊定制高速sensor :

?    廣泛的可選分辨率：每條輪廓線2k到8k個點

?    高幀率sensor: 可達20kfps

?    高靈敏度，低噪: QE>60%, SNR of 43dB

?    多種高動態(tài)范圍性能

?    獨一無二地芯上處理技術: 讀出通道上的數(shù)字處理，芯上子像素峰值計算

?    快速記錄中最大化信道容量: 可達32Gbps LVDS 接口

3.2    立體視覺和結(jié)構光系統(tǒng)

Teledyne e2v提供標準CMOS sensor， 有如下關鍵性能：

高級別SWAP-C (size, weight, power and cost): 小光學尺寸, 多封裝方法以優(yōu)化尺寸和成本，低功耗 200mW @ 全幅面；

o    Sapphire/Ruby 系列: WVGA, 1.3 & 2MP , 1/1.8”

o    Emerald 系列: 130萬像素到1600萬像素, 像素尺寸2.8μm (其中16MP芯片是1” 光學尺寸,8MP是 2/3” – 全世界獨特性)

?    可見光& 近紅外，高靈敏度版本: 每個芯片系列公用同一個platform– pin-to-pin 兼容

?    可從快速移動物體獲取 3D圖像: 高達125fps, 高全局快門效率，高速雙快門；

?    Sensors圖像傳感器一致性: 每個sensor系列共享一個平臺– pixel-to-pixel兼容；

?    3D 處理: multi-ROI (多ROI功能，4個窗口), binning, 圖像數(shù)據(jù)的直方圖由傳感器芯片直接生成

高全局快門效率應用于快速移動物體

Teledyne e2v一直致力于高效率全局快門的圖像傳感器的創(chuàng)新和開發(fā)中，這種性能可以避免快速運動物體拍攝中的偽影現(xiàn)象。在拍攝運動物體時，當積分時間遠小于讀出時間時容易發(fā)生該現(xiàn)象，因為圖像的上部分將在底部部分之前開始積分; 并且在這些間隔之間，物體已經(jīng)移動。

這就需要像素內(nèi)存儲元件在積分發(fā)生之后存儲電荷直到其被讀出。 該技術基于5T結(jié)構。 缺點是填充因子減少，CDS類型時間域噪聲降低方法有限。 由于這兩點，與4T ERS相比，對于給定像素尺寸，現(xiàn)今全局快門（G / S）下的SNR要稍微差些。

然而，在像素的存儲寄存器中使用pinned junctions減小了時間域噪聲，同時暗電流和固定噪聲以及SNR之間不再存在差距。 考慮到填充因子方面，像素上micro-lens的進步和優(yōu)化（例如零間隙）可以在對波長響應的靈敏度方面取得顯著進步。

近紅外高靈敏度芯片應用于高精度檢測

Teledyne e2v標準CMOS 芯片有較高的量子效率（QE ）。

例如下圖，Teledyne e2v 的Sapphire 系列和Ruby系列的QE；Sapphire主要用于可見光，Ruby在可見光和近紅外部分都有提升和優(yōu)化。5T技術下，像素尺寸5.3μm x 5.3μm，高達80% 的QE 可稱殿堂級CMOS芯片。

圖 5 – QE versus wavelength response of new global-shutter CMOS imagers

綜合以上革新性的技術板塊，Teledyne e2v標準CMOS芯片可廣泛應用于可見光和近紅外光下日夜和戶外高速物體的高精度3D檢測中。

3.3    Time-of-flight 3D 技術方案

Teledyne e2v推出第一個3D TOF 方案， 基于130萬像素，1英寸光學尺寸，高靈敏度和高動態(tài)范圍CMOS芯片。

?    130萬像素: 全幅面下的深度圖，全幅面下精度< 3cm, 高速雙快門

?    拍攝高速運動物體的3D圖像：高達 120 fps, 全幅面下 30fps 深度圖, 高全局快門效率

?    大范圍3D 檢測: 高近紅外靈敏度，高動態(tài)范圍60DB， 可檢測范圍 [0.5米 to 5米]

?    可見光和近紅外高靈敏度芯片: 50% QE at 850 nm, 高動態(tài)范圍模式: 暗光/ 日夜

?    嵌入式3D處理: Multi-ROI (2個窗口), Binning, 嵌入式芯上圖像處理

如下Teledyne e2v開發(fā)的演示TOF系統(tǒng)，包含實時130萬像素芯片扳機相機，1英寸鏡頭，可見光/近紅外光源，[0.5m to 5m]檢測范圍，輸出位深圖或者點云數(shù)據(jù)，主要用于給用戶演示TOF原理，供用戶用來評估此TOF芯片性能；

表2 – Teledyne e2v’s Time-of-Flight 演示系統(tǒng)功能

基于5T CMOS傳感器的ToF技術

主動成像是基于同步控制光源實現(xiàn)的成像方法。比如我們使用的手機上會使用紅外信號來判斷在低光條件下的距離進行輔助自動聚焦。主動成像主要應用于在惡劣天氣條件（霧）下拍攝圖像或三維圖像。距離選通成像（Range Gating）以及飛行時間（ToF）為兩種主要的主動成像技術。距離選通技術有兩點需要：脈沖波前和高速快門相機。當反射從反射平面返回時，光朝向目標發(fā)送，相機的高速電子快門在恰好的瞬間打開。光脈沖飛行一定距離后到達物體然后，會部分被物體反射并被相機接收。這對相機高速快門精準控制，以便相機傳感器能剛好在脈沖返回一顆快門打開，接收到測量信號。通過對光源以及相機的同步設置可以選擇想要獲取圖像的距離。在比較惡劣的測試條件下，比如雨天，霧天或者強散射介質(zhì)，只有很少一部分光子可以穿過介質(zhì)并返回到照相機。距離選通成像是克服惡劣測試條件，提高系統(tǒng)信噪比的有效方法。ToF直接測量光的飛行時間以推斷反射平面所在的距離。與距離選通技術不同，ToF不選擇圖像平面，它允許直接距離成像。

如圖6所示，距離選通圖像捕獲的實現(xiàn)基于同步的相機源光系統(tǒng)。相機具有非常快的全局快門，微秒量級。在T0處，相機發(fā)送的觸發(fā)給同步光源使其發(fā)射脈沖。一段時間后T1，光脈沖到達預設測量距離范圍，若有物體存在于該范圍內(nèi)則被反射，反之則不會有反射信號。在反射的情況下，光經(jīng)過T2返回相機。在T3 = T0 +2?時刻相機的快門打開并捕獲反射光。如此重復循環(huán)過程，以便累積足夠的信號。生成的圖像僅對應于該范圍中存在的對象。如果需要生成深度圖像，需要在幾個深度處掃描一系列距離選通模式的圖像，或者通過調(diào)整延遲?。然后從該組圖像計算距離。

圖 6 – 距離選通技術原理示意圖

圖7為在全局快門圖像傳感器相元的工作示意圖。信號積分不是一次性實現(xiàn)，而是通過連續(xù)多次微曝光（micro-integration）積累足夠多探測到的光子來實現(xiàn)距離選通成像或者ToF成像。

圖 7 –  全局快門圖像傳感器相元

Teledyne e2v專利技術，基于T5 像素，在交替線上的定時生成以實現(xiàn)低至約10納秒的Δt。 這意味著時間分辨率的巨大改進。Teledyne e2v的130萬像素CMOS圖像傳感器具有高靈敏度/低噪聲，包括多積分或“堆積”模式。 此外，還需要pinned光電二極管和存儲寄存器具有高寄生光靈敏度比（PLS），也稱作消光比，來降低場景產(chǎn)生的背景噪聲以生成銳利的圖像。這是通過降低相機快門“關”期間產(chǎn)生的寄生光或者叫砸光來實現(xiàn)的。

圖8 – 具有時序和同步電路的5T像素CMOS傳感器需要足夠的消光比來降低背景噪聲

Teledyne e2v BORA 圖像傳感器 – --引領藝術級130萬像素Time-of-Flight （簡稱TOF）

Teledyne e2v 新一代TOF130萬像素圖像傳感器，取名BORA，電子全局快門，在多積分模式進行優(yōu)化，所以在短距離和范圍內(nèi)低光環(huán)境下檢測性能優(yōu)越；

此TOF CMOS芯片，3D位深130萬像素，1英寸光學尺寸，與第一代TOF 一樣致力于工業(yè)應用中取得更多信息和更高精度。

表3 – Teledyne e2v ToF演示系統(tǒng)對比表

4.    結(jié)論

為提高工業(yè)系統(tǒng)的有效性和自主性，用于引導機器人和機器的視覺系統(tǒng)需求正在增長; 一些應用需要3D視覺（物體識別，精度）。這些技術也很苛刻，需要具有復雜特征的高性能傳感器。

Teledyne e2v為工業(yè)市場提供廣泛的獨特3D視覺解決方案，，如工廠自動化，物流，計量應用程序等。 我們在高性能CMOS圖像傳感器方面的獨特專長， 不僅提供標準3D方案，也提供定制服務，能夠在日/夜操作條件下從快速移動的物體獲得3D精確檢測，從而克服當前3D視覺的挑戰(zhàn)。