原標(biāo)題：iPhone 11 Pro 一秒生成3D全息圖 MIT是如何做到的？ 來(lái)源：雷鋒網(wǎng)
幾個(gè)月前，顯示屏霸主三星聯(lián)合首爾大學(xué)，設(shè)計(jì)出了一款超薄交互式全息顯示屏。只要按方向鍵，屏幕上的海龜立即就朝特定方向游起來(lái)了。三星表示，這款顯示屏可以從多個(gè)角度提供高分辨率的、真實(shí)度極高的 3D 視頻，有朝一日還會(huì)集成到手機(jī)。
本以為這已經(jīng)夠硬核了，沒想到的是，在索尼爸爸的支（資）持下，MIT 的一組研究人員宣稱已經(jīng)用手機(jī)生成了 3D 全息圖！
想要對(duì)一張圖片上的任意物體進(jìn)行對(duì)焦，只需短短幾毫秒。
2021 年 3 月 10 日，相關(guān)研究成果發(fā)表于 Nature，題為 Towards real-time photorealistic 3D holography with deep neural networks（利用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)逼真的實(shí)時(shí)三維全息）。
何謂“全息”？
首先來(lái)了解一下所謂的“全息”。
本質(zhì)上，全息投影是一種 3D 技術(shù)，英文名稱為 Holographic Projection，其中 holo 源于希臘語(yǔ)，意為“完全的信息”。
“完全的信息”要傳遞，需要下面這兩步：
其原理可以這樣簡(jiǎn)單理解：全息圖的每個(gè)像素上散射了光波，這些光波相互作用，就能產(chǎn)生一種深度上的錯(cuò)覺，呈現(xiàn)出一種立體感。
基于此，全息投影又稱虛擬成像。
正如 IEEE Spectrum 所說：
值得一提的是，人們?cè)谟^看 3D 全息圖像時(shí)不會(huì)覺得眼睛疲勞，這與傳統(tǒng)的 3D 顯示（使用 2D 圖像產(chǎn)生深度錯(cuò)覺）不同。
彩色 3D 全息圖實(shí)時(shí)生成
即便三星已經(jīng)設(shè)計(jì)出了全息顯示屏，使得全息投影技術(shù)在硬件上有了重要突破，但不可否認(rèn)，要在電子設(shè)備上顯示全息數(shù)據(jù)，仍是一項(xiàng)重大挑戰(zhàn)。
IEEE Spectrum 表示，每個(gè)全息圖都意味著編碼大量的數(shù)據(jù)，只有這樣才能打造出深度錯(cuò)覺。因此，生成全息視頻通常需要一臺(tái)超算的算力。
此前就有科研團(tuán)隊(duì)嘗試過一些解決策略，希望減少所需的計(jì)算量，例如用簡(jiǎn)單的查找表取代復(fù)雜的物理模擬——然而，這往往以犧牲圖像質(zhì)量為代價(jià)。
而 MIT 的思路則是設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)。
具體來(lái)講，他們打造了一種基于深度學(xué)習(xí)的 CGH（computer-generated holography，計(jì)算機(jī)生成全息術(shù)，可通過對(duì)衍射和干涉的數(shù)值模擬實(shí)現(xiàn)高空間角度分辨率的三維投影）管道，該管道能夠從單一 RGB（注：工業(yè)界的一種顏色標(biāo)準(zhǔn)，通過對(duì)紅（R）、綠（G）、藍(lán)（B）三色通道的變化及其相互間的疊加來(lái)得到各式各樣的顏色）深度圖像實(shí)時(shí)合成逼真的彩色 3D 全息圖。
研究團(tuán)隊(duì)使用了一系列可訓(xùn)練的張量來(lái)模擬人類處理視覺信息的過程，建立了一個(gè)包含著 4000 對(duì)（每一對(duì)都是一張 RGB 深度照片及其對(duì)應(yīng)的 3D 全息圖，如下圖所示）計(jì)算機(jī)生成圖像的數(shù)據(jù)庫(kù)。
最終，研究團(tuán)隊(duì)做到了在短短幾毫秒內(nèi)就能創(chuàng)建出無(wú)斑點(diǎn)、自然、高分辨率的 3D 全息圖。
據(jù)了解，卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)存不到 620 KB，能保證單個(gè)消費(fèi)級(jí)圖形處理單元平均每秒生成 60 幅分辨率 1920 × 1080 的全息圖。
利用低功耗的人工智能加速芯片，該卷積神經(jīng)網(wǎng)絡(luò)能在移動(dòng)設(shè)備和邊界設(shè)備（在谷歌 edge TPU 上每秒生成 2 張全息圖）上交互運(yùn)行。
MIT 的方法究竟有何重要意義，其實(shí)可以通過下面這個(gè)比喻來(lái)理解：
計(jì)算機(jī)生成全息圖的過程就像是在切蛋糕。
使用查找表生成全息圖，就像是在切蛋糕之前標(biāo)記每塊蛋糕的邊界一樣。使用物理模擬來(lái)計(jì)算空間中每個(gè)點(diǎn)的外觀，類似于用 8 次精確切割切出 8 塊蛋糕。盡管通過省掉計(jì)算切割位置的步驟可以省一些時(shí)間，但這依然是個(gè)耗時(shí)的大工程。而 MIT 利用深度學(xué)習(xí)，本質(zhì)上實(shí)現(xiàn)了用 3 次精確切割就將蛋糕切成 8 塊。
未來(lái)，研究團(tuán)隊(duì)或許還將增添眼動(dòng)追蹤技術(shù)加快系統(tǒng)運(yùn)行速度，這項(xiàng)成果后續(xù)也將在 VR、AR 耳機(jī)等領(lǐng)域中得到應(yīng)用。
關(guān)于作者
該論文來(lái)自 MIT 計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）& 電子工程與計(jì)算機(jī)科學(xué)系，通訊作者為 Liang Shi 和 Wojciech Matusik。
雷鋒網(wǎng)注意到，Wojciech Matusik 為 MIT CSAIL & 電子工程與計(jì)算機(jī)科學(xué)系教授。
Wojciech Matusik 教授主要研究領(lǐng)域?yàn)橛?jì)算機(jī)圖形學(xué)、計(jì)算設(shè)計(jì)和制造。他于 1997 年獲加州大學(xué)伯克利分校 EECS（電子工程與計(jì)算機(jī)科學(xué)）學(xué)士學(xué)位，于 2001 年獲 MIT EECS 碩士學(xué)位，于 2013 年獲 MIT 計(jì)算機(jī)圖形學(xué)博士學(xué)位。
對(duì)于上述研究，Wojciech Matusik 教授表示：
另外論文一作為 Liang Shi（史亮）。
他是由 Wojciech Matusik 教授指導(dǎo)的一名在讀博士生，2014 年于北京航空航天大學(xué)獲得光電子工程學(xué)士學(xué)位，2016 年于斯坦福大學(xué)獲得電子工程碩士學(xué)位，主要研究領(lǐng)域包括 VR/AR、計(jì)算攝影/顯示/制作、機(jī)器學(xué)習(xí)和計(jì)算機(jī)圖形學(xué)。
