3D成像方法匯總介紹：

這里要介紹的是真正的3D成像，得到物體三維的圖形，是立體的圖像。

而不是利用人眼視覺差異的特點(diǎn)，錯(cuò)誤感知到的假三維信息。

原理上分類：主要常用有：

1、雙目立體視覺法(Stereo Vision)

2、激光三角法(Laser triangulation)

3、結(jié)構(gòu)光3D成像(Structured light 3D imaging)

4、飛行時(shí)間法ToF（Time of flight）

5、光場成像法（Light field of imaging）

6、全息投影技術(shù)(Front-projected holographic display)

7、補(bǔ)充：戳穿假全息

上面原理之間可能會有交叉。

而激光雷達(dá)不是3D成像原理上的一個(gè)分類，而是一種具體方法。

激光雷達(dá)的3D成像原理有：三角測距法、飛行時(shí)間ToF法等。

激光雷達(dá)按照實(shí)現(xiàn)方式分類有：機(jī)械式、混合固態(tài)、基于光學(xué)相控陣固態(tài) 、基于MEMS式混合固態(tài)、基于FLASH式固態(tài)等。

1、雙目立體視覺法：

就和人的兩個(gè)眼睛一樣，各種兩個(gè)攝像頭的手機(jī)大都會用這種方法來獲得深度信息，從而得到三維圖像。但深度受到兩個(gè)攝像頭之間距離的限制。

視差圖：雙目立體視覺融合兩只眼睛獲得的圖像并觀察它們之間的差別，使我們可以獲得明顯的深度感，建立特征間的對應(yīng)關(guān)系，將同一空間物理點(diǎn)在不同圖像中的映像點(diǎn)對應(yīng)起來，這個(gè)差別，我們稱作視差(Disparity)圖像。對于視差的理解可以自己體驗(yàn)一下：將手指頭放在離眼睛不同距離的位置，并輪換睜、閉左右眼，可以發(fā)現(xiàn)手指在不同距離的位置，視覺差也不同，且距離越近，視差越大。

提到視差圖，就有深度圖，深度圖像也叫距離影像，是指將從圖像采集器到場景中各點(diǎn)的距離（深度）值作為像素值的圖像。

深度圖與點(diǎn)云的區(qū)別，點(diǎn)云：當(dāng)一束激光照射到物體表面時(shí)，所反射的激光會攜帶方位、距離等信息。若將激光束按照某種軌跡進(jìn)行掃描，便會邊掃描邊記錄到反射的激光點(diǎn)信息，由于掃描極為精細(xì)，則能夠得到大量的激光點(diǎn)，因而就可形成激光點(diǎn)云。深度圖像經(jīng)過坐標(biāo)轉(zhuǎn)換可以計(jì)算為點(diǎn)云數(shù)據(jù)；有規(guī)則及必要信息的點(diǎn)云數(shù)據(jù)可以反算為深度圖像。兩者在一定條件下是可以相互轉(zhuǎn)化的。

雙目立體視覺由三角法原理進(jìn)行三維信息的獲取，即由兩個(gè)攝像機(jī)的圖像平面和被測物體之間構(gòu)成一個(gè)三角形。已知兩個(gè)攝像機(jī)之間的位置關(guān)系和物體在左右圖像中的坐標(biāo)，便可以獲得兩攝像機(jī)公共視場內(nèi)物體的三維尺寸及空間物體特征點(diǎn)的三維坐標(biāo)。所以，雙目視覺系統(tǒng)一般由兩個(gè)攝像機(jī)構(gòu)成。

深度和視差成反比。

2、激光三角法

單點(diǎn)激光測距原理：（同屬于下面結(jié)構(gòu)光原理）

單點(diǎn)激光測距原理圖如下圖。

激光頭Laser與攝像頭在同一水平線（稱為基準(zhǔn)線）上，其距離為s，攝像頭焦距為f，激光頭與基準(zhǔn)線的夾角為β。激光頭Laser與攝像頭在同一水平線（稱為基準(zhǔn)線）上，其距離為s，攝像頭焦距為f，激光頭與基準(zhǔn)線的夾角為β。假設(shè)目標(biāo)物體Object在點(diǎn)狀激光器的照射下，反射回?cái)z像頭成像平面的位置為點(diǎn)P。假設(shè)目標(biāo)物體Object在點(diǎn)狀激光器的照射下，反射回?cái)z像頭成像平面的位置為點(diǎn)P。 

由幾何知識可作相似三角形，激光頭、攝像頭與目標(biāo)物體組成的三角形，相似于攝像頭、成像點(diǎn)P與輔助點(diǎn)P′。P與輔助點(diǎn)P′。 

設(shè) PP′=x，q、d如圖所示，則由相似三角形可得：PP′=x，q、d如圖所示，則 由相似三角形可得：f/x=q/s  ==>  q=fs/x    

 X可分為兩部分計(jì)算：X=x1+x2= f/tanβ + pixelSize* position

其中pixelSize是像素單位大小， position是成像的像素坐標(biāo)相對于成像中心的位置。

最后，可求得距離d:   d=q/sinβ

線狀激光三角測距原理：（同屬于下面結(jié)構(gòu)光原理）

將激光光條的中心點(diǎn)P1、成像點(diǎn)P1′、攝像頭、激光頭作為基準(zhǔn)面，中心點(diǎn)P1就符合單點(diǎn)結(jié)構(gòu)光測距。對于任一點(diǎn)（該點(diǎn)不在基準(zhǔn)面上），也可由三角測距得出。將激光光條的中心點(diǎn)P1、成像點(diǎn)P1′、攝像頭、激光頭作為基準(zhǔn)面，中心點(diǎn)P1就符合單點(diǎn)結(jié)構(gòu)光測距。對于任一點(diǎn)（該點(diǎn)不在基準(zhǔn)面上），也可由三角測距得出。

如上圖所示，將成像平面鏡像到另一側(cè)。其中P1′，P2′和分別是P1和P2的成像位置，對于點(diǎn)P2、成像點(diǎn)P2′、攝像頭、激光頭所形成的平面，與基準(zhǔn)面存在夾角θ，也符合單點(diǎn)結(jié)構(gòu)光測距。此時(shí)的焦距為f′，x的幾何意義同單點(diǎn)激光測距原理。如上圖所示，將成像平面鏡像到另一側(cè)。其中P1′，P2′和分別是P1和P2的成像位置，對于點(diǎn)P2、成像點(diǎn)P2′、攝像頭、激光頭所形成的平面，與基準(zhǔn)面存在夾角θ，也符合單點(diǎn)結(jié)構(gòu)光測距。此時(shí)的焦距為f′，x的幾何意義同單點(diǎn)激光測距原理。

   d'/baseline=f'/x

d′是P2與baseline所成平面上P2到底邊的高（類比于單點(diǎn)激光測距原理中的q）。同樣x可分為兩部分計(jì)算d′是P2與baseline所成平面上P2到底邊的高（類比于單點(diǎn)激光測距原理中的q）。同樣x可分為兩部分計(jì)算：

  x=f'/tanβ + pixelSize* position

上述中的平面與基準(zhǔn)面的夾角為θ上述中的平面與基準(zhǔn)面的夾角為θ：

     f'/f=cosθ        tanθ=(|P2'.y-P1'.y|)/f

可求得f′：可求得f′：f'=f/cos(arctan((P2'.y-P1'.y)/f))   

3、結(jié)構(gòu)光3D成像法

OPPO Find X和IphoneX等手機(jī)的前置攝像頭紛紛搭載。

單從光源本身理解什么是結(jié)構(gòu)光：就是帶有一定結(jié)構(gòu)的，而且我們自己是知道光源的這種結(jié)構(gòu)的。

結(jié)構(gòu)光三維視覺是基于光學(xué)三角測量原理。光學(xué)投射器將一定模式的結(jié)構(gòu)光透射于物體表面，在表面上形成由被測物體表面形狀所調(diào)制的光條三維圖像。該三維圖像由處于另一位置的攝像機(jī)探測，從而獲得光條二維畸變圖像。光條的畸變程度取決于光學(xué)投射器與攝像機(jī)之間的相對位置和物體表面形狀輪廓（高度）。直觀上，沿著光條顯示出的位移（或者偏移）與物體表面高度成比例，扭結(jié)表示了平面的變化，不連續(xù)顯示了表面的物理間隙。當(dāng)光學(xué)投射器與攝像機(jī)之間的相對位置一定時(shí)，由畸變的二維光條圖像坐標(biāo)便可重現(xiàn)物體表面三維形狀輪廓。由光學(xué)投射器、攝像機(jī)、計(jì)算機(jī)系統(tǒng)即構(gòu)成了結(jié)構(gòu)光三維視覺系統(tǒng)。

根據(jù)光學(xué)投射器所投射的光束模式的不同，結(jié)構(gòu)光模式又可分為點(diǎn)結(jié)構(gòu)光模式、線結(jié)構(gòu)光模式、多線結(jié)構(gòu)光模式、面結(jié)構(gòu)光模式、相位法等。

點(diǎn)結(jié)構(gòu)光模式：（和上面介紹的三角測距一樣）如圖所示，激光器發(fā)出的光束投射到物體上產(chǎn)生一個(gè)光點(diǎn)，光點(diǎn)經(jīng)攝像機(jī)的鏡頭成像在攝像機(jī)的像平面上，形成一個(gè)二維點(diǎn)。攝像機(jī)的視線和光束在空間中于光點(diǎn)處相交，形成一種簡單的三角幾何關(guān)系。通過一定的標(biāo)定可以得到這種三角幾何約束關(guān)系，并由其可以唯一確定光點(diǎn)在某一已知世界坐標(biāo)系中的空間位置。

 線結(jié)構(gòu)光模式：（和上面介紹的三角測距一樣）線結(jié)構(gòu)光模式是向物體投射一條光束，光條由于物體表面深度的變化以及可能的間隙而受到調(diào)制，表現(xiàn)在圖像中則是光條發(fā)生了畸變和不連續(xù)，畸變的程度與深度成正比，不連續(xù)則顯示出了物體表面的物理間隙。任務(wù)就是從畸變的光條圖像信息中獲取物體表面的三維信息；實(shí)際上，線結(jié)構(gòu)光模式也可以說是點(diǎn)結(jié)構(gòu)模式的擴(kuò)展。過相機(jī)光心的視線束在空間中與激光平面相交產(chǎn)生很多交點(diǎn)，在物體表面處的交點(diǎn)則是光條上眾多的光點(diǎn)，因而便形成了點(diǎn)結(jié)構(gòu)光模式中類似的眾多的三角幾何約束。很明顯，與點(diǎn)結(jié)構(gòu)光模式相比較，線結(jié)構(gòu)光模式的測量信息量大大增加，而其實(shí)現(xiàn)的復(fù)雜性并沒有增加，因而得到廣泛應(yīng)用。

多線結(jié)構(gòu)光模式：多線結(jié)構(gòu)光模式是光帶模式的擴(kuò)展。如圖，由光學(xué)投射器向物體表面投射了多條光條，其目的的一方面是為了在一幅圖像中可以處理多條光條，提高圖像的處理效率，另一方面是為了實(shí)現(xiàn)物體表面的多光條覆蓋從而增加測量的信息量，以獲得物體表面更大范圍的深度信息。也就是所謂的“光柵結(jié)構(gòu)模式”，多光條可以采用投影儀投影產(chǎn)生一光柵圖樣，也可以利用激光掃描器來實(shí)現(xiàn)。

面結(jié)構(gòu)光模式：當(dāng)采用面結(jié)構(gòu)光時(shí)，將二維的結(jié)構(gòu)光圖案投射到物體表面上，這樣不需要進(jìn)行掃描就可以實(shí)現(xiàn)三維輪廓測量，測量速度很快，光面結(jié)構(gòu)光中最常用的方法是投影光柵條紋到物體表面。當(dāng)投影的結(jié)構(gòu)光圖案比較復(fù)雜時(shí)，為了確定物體表面點(diǎn)與其圖像像素點(diǎn)之間的對應(yīng)關(guān)系，需要對投射的圖案進(jìn)行編碼，因而這類方法又稱為編碼結(jié)構(gòu)光測量法。圖案編碼分為空域編碼和時(shí)域編碼。空域編碼方法只需要一次投射就可獲得物體深度圖，適合于動(dòng)態(tài)測量，但是目前分辨率和處理速度還無法滿足實(shí)時(shí)三維測量要求，而且對譯碼要求很高。時(shí)域編碼需要將多個(gè)不同的投射編碼圖案組合起來解碼，這樣比較容易實(shí)現(xiàn)解碼。主要的編碼方法有二進(jìn)制編碼、二維網(wǎng)格圖案編碼、隨機(jī)圖案編碼、彩色編碼、灰度編碼、鄰域編碼、相位編碼以及混合編碼。

相位法：近年來基于相位的光柵投影三維輪廓測童技術(shù)有了很大的發(fā)展，將光柵圖案投射到被測物表面，受物體高度的調(diào)制，光柵條紋發(fā)生形變，這種變形條紋可解釋為相位和振幅均被調(diào)制的空間載波信號。采集變形條紋并且對其進(jìn)行解調(diào)可以得到包含高度信息的相位變化，最后根據(jù)三角法原理計(jì)算出高度，這類方法又稱為相位法。基于相位測量的三維輪廓測量技術(shù)的理論依據(jù)也是光學(xué)三角法，但與光學(xué)三角法的輪廓術(shù)有所不同，它不直接去尋找和判斷由于物體高度變動(dòng)后的像點(diǎn)，而是通過相位測量間接地實(shí)現(xiàn)，由于相位信息的參與，使得這類方法與單純光學(xué)三角法有很大區(qū)別。

4、飛行時(shí)間法ToF

飛行時(shí)間是從Time of Flight直譯過來的，簡稱TOF。其基本原理是通過連續(xù)發(fā)射光脈沖（一般為不可見光）到被觀測物體上，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時(shí)間來得到目標(biāo)物距離。

TOF法根據(jù)調(diào)制方法的不同，一般可以分為兩種：脈沖調(diào)制（Pulsed Modulation）和連續(xù)波調(diào)制（Continuous Wave Modulation）。

脈沖調(diào)制：脈沖調(diào)制方案的原理比較簡單，如下圖所示。它直接根據(jù)脈沖發(fā)射和接收的時(shí)間差來測算距離。

連續(xù)波調(diào)制：實(shí)際應(yīng)用中，通常采用的是正弦波調(diào)制。由于接收端和發(fā)射端正弦波的相位偏移和物體距離攝像頭的距離成正比，因此可以利用相位偏移來測量距離。

目前的消費(fèi)級TOF深度相機(jī)主要有：微軟的Kinect 2、MESA的SR4000 、Google Project Tango 中使用的PMD Tech 的TOF深度相機(jī)等。這些產(chǎn)品已經(jīng)在體感識別、手勢識別、環(huán)境建模等方面取得了較多的應(yīng)用，最典型的就是微軟的Kinect 2。

TOF深度相機(jī)對時(shí)間測量的精度要求較高，即使采用最高精度的電子元器件，也很難達(dá)到毫米級的精度。因此，在近距離測量領(lǐng)域，尤其是1m范圍內(nèi)，TOF深度相機(jī)的精度與其他深度相機(jī)相比還具有較大的差距，這限制它在近距離高精度領(lǐng)域的應(yīng)用。

但是，TOF深度相機(jī)可以通過調(diào)節(jié)發(fā)射脈沖的頻率改變相機(jī)測量距離；TOF深度相機(jī)與基于特征匹配原理的深度相機(jī)不同，其測量精度不會隨著測量距離的增大而降低，其測量誤差在整個(gè)測量范圍內(nèi)基本上是固定的；TOF深度相機(jī)抗干擾能力也較強(qiáng)。因此，在測量距離要求比較遠(yuǎn)的場合（如無人駕駛），TOF深度相機(jī)具有非常明顯的優(yōu)勢。

5、光場成像法（Light field of imaging）

光場就是光輻射在空間各個(gè)位置各個(gè)方向的傳播。

全光函數(shù)：全光函數(shù)包含7個(gè)變量。

空間位置(3D)、特定方向(2D)、特定時(shí)刻(1D)、特定波長(1D)

L=p(x, y, z, θ, φ ,t, λ)

如圖所示：

若一條光線通過兩個(gè)平面UV和ST所產(chǎn)生的交點(diǎn)坐標(biāo)分別為(u,v)和(s,t)，此時(shí)就可以通過光場函數(shù)L(u,v,s,t)來表示這條光線的分布。L代表光線的強(qiáng)度，而(u,v)和(s,t)共同確定了光線在空間中分布的位置和方向。在四維(u,v,s,t)空間中：一條光線對應(yīng)光場的一個(gè)采樣點(diǎn)。

為什么要用這種雙平面的方式來確定光場的分布呢？這是因?yàn)槌Ｒ?guī)的相機(jī)一般都可以簡化成兩個(gè)互相平行的平面——鏡頭的光瞳面和圖像傳感器所在的像平面。對于常規(guī)的相機(jī)來說，每個(gè)像素記錄了整個(gè)鏡頭所出射光線會聚在一個(gè)位置上的強(qiáng)度。

所以，傳統(tǒng)的相機(jī)只能獲取一個(gè)像平面的圖像。而如果能夠獲取到整個(gè)相機(jī)內(nèi)的光場分布情況，我們就可以將光線重新投影到一個(gè)虛擬的像平面上，計(jì)算出這個(gè)新的像平面上所產(chǎn)生的圖像。光場相機(jī)的目的就在于對相機(jī)的光場分布進(jìn)行記錄。

光場相機(jī)工作原理：光場相機(jī)由鏡頭、微透鏡陣列和圖像傳感器組成，其中微透鏡陣列是多個(gè)微透鏡單元所組成的二維陣列。鏡頭的光瞳面（UV面）和圖像傳感器的光敏面（XY面）關(guān)于微透鏡陣列（ST）成共軛關(guān)系，也就是說，鏡頭經(jīng)過每個(gè)微透鏡單元都會投影到圖像傳感器上形成一個(gè)小的微透鏡子圖像。每個(gè)微透鏡子圖像包含了若干個(gè)像素，此時(shí)各像素所記錄的光線強(qiáng)度就來自于一個(gè)微透鏡和鏡頭的一個(gè)子孔徑區(qū)域之間所限制的細(xì)光束，如下圖。

這里的細(xì)光束也就是光場的離散采樣形式，通過微透鏡單元的坐標(biāo)ST和鏡頭子孔徑的坐標(biāo)UV即能夠確定每個(gè)細(xì)光束的位置和方向，獲得L(u,v,s,t)的分布。

如下圖：每個(gè)宏像素對應(yīng)于光場的一個(gè)位置采樣。宏像素內(nèi)的每一點(diǎn)對應(yīng)于光場在該位置的一個(gè)方向采樣。光場的位置分辨率由采樣問隔決定。光場的方向分辨率由每個(gè)宏像素內(nèi)所包含的像元數(shù)所決定的。

怎么實(shí)現(xiàn)數(shù)字對焦：正如前面所說，獲得相機(jī)內(nèi)的光場分布后，就可以重新選擇一個(gè)虛擬的像平面，如上圖。

可以選擇更遠(yuǎn)或更近的像面位置，計(jì)算出所有的光線在這個(gè)平面上的交點(diǎn)位置和能量分布，從而就得到了一幅新像面上的圖像。這個(gè)過程等價(jià)于傳統(tǒng)相機(jī)的調(diào)焦過程，只不過是通過數(shù)字計(jì)算來實(shí)現(xiàn)，因而被稱為數(shù)字調(diào)焦。

利用光場相機(jī)的數(shù)字調(diào)焦能力，只需要一次曝光就可以計(jì)算出不同像平面位置的圖像，能夠?qū)崿F(xiàn)大光圈條件下的快速對焦。更進(jìn)一步，利用不同深度平面的圖像序列，可以完成全景深圖像合成、三維深度估計(jì)等功能。

6、全息投影技術(shù)

全息投影技術(shù)是利用干涉和衍射原理記錄并再現(xiàn)物體真實(shí)的三維圖像的記錄和再現(xiàn)的技術(shù)。

其第一步是利用干涉原理記錄物體光波信息，此即拍攝過程：被攝物體在激光輻照下形成漫射式的物光束；另一部分激光作為參考光束射到全息底片上，和物光束疊加產(chǎn)生干涉，把物體光波上各點(diǎn)的位相和振幅轉(zhuǎn)換成在空間上變化的強(qiáng)度，從而利用干涉條紋間的反差和間隔將物體光波的全部信息記錄下來。記錄著干涉條紋的底片經(jīng)過顯影、定影等處理程序后，便成為一張諾利德全息圖，或稱全息照片。

其第二步是利用衍射原理再現(xiàn)物體光波信息，這是成象過程：全息圖猶如一個(gè)復(fù)雜的光柵，在相干激光照射下，一張線性記錄的正弦型全息圖的衍射光波一般可給出兩個(gè)象，即原始象（又稱初始象）和共軛象。再現(xiàn)的圖像立體感強(qiáng)，具有真實(shí)的視覺效應(yīng)。全息圖的每一部分都記錄了物體上各點(diǎn)的光信息，故原則上它的每一部分都能再現(xiàn)原物的整個(gè)圖像，通過多次曝光還可以在同一張底片上記錄多個(gè)不同的圖像，而且能互不干擾地分別顯示出來。

如下圖。離軸全息和同軸全息。

7、其他補(bǔ)充

這里要解釋一下，人們看到的舞臺上的立體的效果，不是真正的全息，一般來說，只是一層介質(zhì)膜，被商家炒概念為全息，只是偽全息。

電影院的3D眼鏡和全息更是半毛錢關(guān)系也沒有，原理是利用了人眼的視差。3D眼鏡有:互補(bǔ)色、偏振光、時(shí)分式。

AR、VR技術(shù)和全息關(guān)系也不大。

VR虛擬現(xiàn)實(shí)就不說了，只是前期把各個(gè)位置各個(gè)角度的內(nèi)容錄制合成，后期通過傳感器探測人的動(dòng)作來對應(yīng)的切換內(nèi)容。

AR增強(qiáng)現(xiàn)實(shí)，如下圖分兩步，先獲取周圍世界的三維信息，

AR增強(qiáng)現(xiàn)實(shí)，如下圖分兩步，先獲取周圍世界的三維信息，再把虛擬的物體添加到上面，獲取三維世界的方法一般是：雙目、TOF、結(jié)構(gòu)光。

各種3D眼鏡也沒有真全息成像技術(shù)。

Google Glass：核心器件是：偏振分光棱鏡PBS ，和舞臺上的效果類似。一層偏振膜來給人三維的感覺。

靈犀科技AR、magic leap 、lumus等核心器件使用：陣列波導(dǎo)，一種光波導(dǎo)，把和偏振分光棱鏡類似，增大了視角。

微軟HoloLens的核心器件是：全息波導(dǎo)。注意這里的全息波導(dǎo)只是一種導(dǎo)波器件，不是全息技術(shù)。光柵是在波導(dǎo)的表面：光柵衍射導(dǎo)光。

好，就到這里。

上面都是本人學(xué)習(xí)了解過重中整理記錄的，水平有限，難免有些不足疏漏錯(cuò)誤，還望大佬多多指正。