亞皮秒3D成像框架。（a）準(zhǔn)直脈沖激光在單個點上照亮場景。使用2軸反射鏡檢流計對激光進(jìn)行橫向掃描。定時和控制電子設(shè)備為每個檢測到的光子相對于上一個發(fā)射脈沖的時間戳記時間戳，并將這些事件累積在時空光子計數(shù)的直方圖中（b）。處理該直方圖以估計反射率和深度信息（c）。高亮顯示了兩個點，一個對應(yīng)于高通量（d），另一個對應(yīng)于低通量（e）測量。后者比較吵雜，而高通量測量則受到堆積失真的影響，這會給傳統(tǒng)算法的深度估計帶來很大的偏差。提出的估算方法可以對這兩種情況進(jìn)行準(zhǔn)確建模，允許根據(jù)嚴(yán)重失真的測量結(jié)果以亞皮秒級的精度估算反射率信息和傳播時間。

單光子雪崩二極管（SPAD）是有前途的探測器技術(shù)，可用于實現(xiàn)具有快速采集，高定時精度和高探測靈敏度的有源3D成像系統(tǒng)。這樣的系統(tǒng)在生物成像，遙感和機(jī)器人技術(shù)領(lǐng)域具有廣泛的應(yīng)用。但是，檢測器面臨著稱為堆積的技術(shù)缺陷，這些缺陷會導(dǎo)致測量失真，從而限制其精度。在斯坦福大學(xué)電氣工程系進(jìn)行的一項最新研究中，科學(xué)家費(fèi)利克斯·海德（Felix Heide）及其同事開發(fā)了一種概率圖像形成模型，該模型可以準(zhǔn)確地對堆積進(jìn)行建模。利用提出的模型，科學(xué)家們設(shè)計了逆方法來從記錄的光子計數(shù)中有效，可靠地估計場景深度和反射率。有了算法，與現(xiàn)有技術(shù)相比，他們能夠證明計時精度的提高。更重要的是，該模型在實際場景中首次允許在光子有效的3D成像中達(dá)到亞皮秒的精度，而以前只觀察到變化很大的光子計數(shù)。結(jié)果現(xiàn)已發(fā)布在科學(xué)報告。

主動成像在從自動駕駛到生物樣品的顯微成像等各個學(xué)科的廣泛應(yīng)用。這些應(yīng)用的關(guān)鍵要求包括高精度，定時，快速采集速率，動態(tài)工作范圍以及對從攝像機(jī)視線隱藏的圖像對象的高檢測靈敏度。遙感和自動化應(yīng)用的需求采集范圍從<1米到千米。

非視距成像依賴于除了直接反射光之外，還通過多個散射的間接光返回的幾個光子來獲得編碼信息。為了實現(xiàn)這些應(yīng)用，開發(fā)了超靈敏檢測器來記錄從脈沖照明源返回的單個光子。單光子雪崩二極管（SPAD）是最靈敏的時間分辨檢測器技術(shù)之一，可以使用互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）制造工藝來生產(chǎn)。SPADs已迅速建立為3D成像的核心檢測器技術(shù)。

按照其功能原理，SPAD是反向偏置的光電二極管，工作在蓋革模式，即高于其擊穿電壓。當(dāng)光子入射到SPAD的有源表面上時，會觸發(fā)帶有時間戳的電子雪崩。從通常以MHz速率運(yùn)行的同步脈沖照明源返回的光子的重復(fù)時間戳可累積光子計數(shù)的直方圖。所得的直方圖記錄了返回光脈沖的大致強(qiáng)度，以恢復(fù)并表征隱藏在視野之外的物體的距離，反射率和3D幾何形狀。

實驗重建。記錄的光子計數(shù)的時空分布。對（a，e）進(jìn)行處理以估計包含深度和反照率信息的3D點云（b，c，f，g），此處針對兩個不同場景進(jìn)行了顯示（（d，h）中所示的照片）。用顏色編碼的誤差圖（d，h）直接比較幾種深度估計技術(shù)的結(jié)果，包括對數(shù)匹配濾波，Coates方法和高斯擬合（在高通量測量中），以及所提出的方法。圖片來源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

根據(jù)預(yù)期的應(yīng)用，SPAD可以在自由運(yùn)行模式（允許在所有到達(dá)時間同時檢測所有光子事件）或門控模式（僅在脈沖之間的特定時間窗口內(nèi)檢測到光子）下運(yùn)行。所有應(yīng)用程序都會受到稱為堆積變形的基本現(xiàn)象的影響嚴(yán)重限制了準(zhǔn)確性。堆積會固有地限制SPAD檢測器的工作原理。例如，在每次觸發(fā)電子雪崩之后，探測器需要先淬火，然后再探測光子到達(dá)事件。在這段“死時間”（十到幾百納秒）內(nèi)，檢測器處于非活動狀態(tài)。這可能會導(dǎo)致單個激光脈沖的較早光子觸發(fā)雪崩，而在死區(qū)時間內(nèi)可能會忽略較晚的脈沖；創(chuàng)建不準(zhǔn)確的偏斜測量值，稱為堆積�？梢酝ㄟ^在低通量狀態(tài)下運(yùn)行有源成像系統(tǒng)來避免這種現(xiàn)象，就像以前用于第一光子成像的最新技術(shù)所看到的那樣。

但是，在機(jī)器人，生物成像或汽車傳感中的3D成像應(yīng)用條件會有所不同，因為它們在反射高數(shù)量和低數(shù)量的光子的對象對于決策至關(guān)重要的環(huán)境中運(yùn)行。由不同深度或不同對象反射率的變化導(dǎo)致的獲取光子計數(shù)的大變化對于3D成像至關(guān)重要。在這項工作中，Heide等人。引入了一種新的估算算法，該算法克服了使用自由運(yùn)行的SPAD的主動3D成像系統(tǒng)的現(xiàn)有限制。

從低通量到高通量測量，該方法提高了現(xiàn)有深度和反照率估計的準(zhǔn)確性�？茖W(xué)家介紹了一個概率圖像形成模型，該模型包括堆積，并使用有效的反演方法得出深度和反照率估計值。重建框架共同估算了所有未知參數(shù)，以克服以前限制時序精度的算法限制。所提出的方法允許高精度和快速的3D成像打開適用于光子計數(shù)急劇變化的條件的光子有效3D成像的新操作方案。

用于3D成像的實驗硬件。示意圖顯示了“大衛(wèi)雕像”的場景，照明源以及圖像重建的時間戳記過程。圖片來源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

在兩個反射率和深度剖面變化很大的場景（包括戴維雕像和淺浮雕場景）上評估了該方法的性能。兩個實例都包含具有復(fù)雜幾何形狀和變化的反射特性的對象，包括“大衛(wèi)雕像”的鏡面行為和“淺浮雕”場景中具有空間變化反照率的朗伯反射率。對于這兩個場景，科學(xué)家都捕獲了地面真實參考測量值（信息（由經(jīng)驗證據(jù)提供）具有5％的中性密度濾鏡，該濾鏡通過抑制光源強(qiáng)度消除了堆積失真。

該系統(tǒng)的硬件包括一個時間分辨?zhèn)鞲衅�，脈沖激光，照明和采集光學(xué)器件。該設(shè)置還具有一組掃描鏡，以實現(xiàn)光柵掃描照明圖案。利用PicoHarp 300時間相關(guān)的單光子計數(shù)模塊捕獲光子到達(dá)的時間。照明源是450 nm或670 nm皮秒激光（產(chǎn)生半高全寬的全寬，脈沖寬度為90 ps和50 ps）。收集光學(xué)系統(tǒng)由一個75 m的物鏡，30 mm的中繼鏡和一個顯微鏡物鏡組成，旨在將SPAD的視場擴(kuò)展到照明源掃描的整個區(qū)域。

實驗測量值用作所提出方法的輸入，并且獲得的測量值在光路上沒有任何濾光片。在研究過程中獲得了深度和反照率重建以及相應(yīng)的誤差圖。結(jié)果證明，該方法實現(xiàn)了不受場景依賴的堆積或散粒噪聲（與光的粒子性質(zhì)相關(guān)的電子噪聲）影響的高質(zhì)量重建。將結(jié)果與常規(guī)方法進(jìn)行了比較，例如對數(shù)匹配濾波器估計和Coates的堆積校正方法，這些方法不能有效地抑制堆積，并且具有取決于場景的深度精度。相反，Heide等人介紹的方法。達(dá)到亞皮秒級精度。

最佳光子計數(shù)方案。450 nm Alphalas LD-450-50激光器（FWHM為90 ps）的變化光子數(shù)的深度重建精度。比較了傳統(tǒng)的對數(shù)匹配濾波器，Coates方法和提出的方法。最佳的光子數(shù)量平均位于每個脈沖平均檢測到1個光子的非常規(guī)區(qū)域附近，與脈沖響應(yīng)無關(guān)，并且直方圖bin寬度范圍很廣。圖片來源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

Heide等人使用的代碼和數(shù)據(jù)。生成研究結(jié)果的方法將在GitHub上提供。總體而言，所提出的概率圖像形成模型和相應(yīng)的逆方法達(dá)到了亞皮秒的精度用于主動3D成像，盡管激光脈沖寬度大于50 ps。與傳統(tǒng)技術(shù)相比，該新方法在從低通量到高通量的動態(tài)范圍內(nèi)實現(xiàn)了高精度。將來，所提出的方法可以通過復(fù)用多個堆積影響的響應(yīng)來促進(jìn)遠(yuǎn)程獲取。所提出的創(chuàng)新為快速，精確的光子效率高的3D成像系統(tǒng)鋪平了道路，在該系統(tǒng)中，實際觀察到的光子數(shù)量變化很大。應(yīng)用范圍涵蓋廣泛的學(xué)科，包括3D映射和導(dǎo)航，藝術(shù)品重建和保護(hù)，自動駕駛，機(jī)器人和機(jī)器的視覺，地理信息，工業(yè)和顯微成像。