在“無鏡頭”成像的重大發(fā)展中，東京工業(yè)大學(東京工業(yè)大學)工程學院的一個研究小組設計了一種新的圖像重建方法，可以在很短的計算時間內實現(xiàn)高質量的成像。新方法基于稱為 Vision Transformer 的前沿機器學習技術，極大地促進了“無鏡頭”相機的實際應用。

相機通常需要鏡頭系統(tǒng)來捕捉聚焦圖像，而鏡頭相機幾個世紀以來一直是主要的成像解決方案。鏡頭相機需要復雜的鏡頭系統(tǒng)來實現(xiàn)高質量、明亮和無像差的成像。近幾十年來，人們對更小、更輕、更便宜的相機的需求激增。顯然需要具有強大功能的下一代相機，這些相機足夠緊湊，可以安裝在任何地方。然而，鏡頭相機的小型化受到鏡頭系統(tǒng)和折射鏡頭所需的聚焦距離的限制。

計算技術的最新進展可以通過用計算代替光學系統(tǒng)的某些部分來簡化鏡頭系統(tǒng)。由于使用了圖像重建計算，可以放棄整個鏡頭，從而實現(xiàn)超薄、輕量、低成本的無鏡頭相機。無鏡頭相機最近越來越受歡迎。但迄今為止，圖像重建技術尚未建立，導致無鏡頭相機的成像質量不足和計算時間冗長。

最近，研究人員開發(fā)了一種新的圖像重建方法，可以縮短計算時間并提供高質量的圖像。研究團隊的核心成員、東京工業(yè)大學的 Masahiro Yamaguchi 教授在描述這項研究背后的最初動機時說：“沒有鏡頭的限制，無鏡頭相機可以是超微型的，可以實現(xiàn)新的應用。這超出了我們的想象。” 他們的工作已發(fā)表在Optics Letters上。

無鏡頭相機的典型光學硬件僅由薄掩模和圖像傳感器組成。然后使用數學算法重建圖像，如圖 1 所示。掩模和傳感器可以在已建立的半導體制造工藝中一起制造，以供將來生產。掩模對入射光進行光學編碼并在傳感器上投射圖案。盡管鑄造的圖案對人眼來說是完全不可解釋的，但它們可以通過光學系統(tǒng)的明確知識進行解碼。

然而，基于圖像重建技術的解碼過程仍然具有挑戰(zhàn)性。傳統(tǒng)的基于模型的解碼方法近似于無透鏡光學器件的物理過程，并通過解決“凸”優(yōu)化問題來重建圖像。

這意味著重建結果容易受到物理模型不完美近似的影響。此外，解決優(yōu)化問題所需的計算非常耗時，因為它需要迭代計算。

深度學習可以幫助避免基于模型的解碼的局限性，因為它可以學習模型并通過非迭代的直接過程來解碼圖像。然而，現(xiàn)有的使用卷積神經網絡 (CNN) 的無鏡頭成像深度學習方法無法生成高質量的圖像。它們效率低下，因為 CNN 基于相鄰“局部”像素的關系處理圖像，而無透鏡光學系統(tǒng)通過屬性將場景中的局部信息轉換為圖像傳感器所有像素上重疊的“全局”信息稱為“多路復用”。

TokyoTech 研究團隊正在研究這種多路復用特性，現(xiàn)在已經提出了一種用于圖像重建的新型專用機器學習算法。所提出的算法，如圖 2 所示，基于一種稱為 Vision Transformer (ViT) 的前沿機器學習技術，該技術在全局特征推理方面表現(xiàn)更好。

該算法的新穎之處在于具有重疊“補丁”模塊的多級變壓器塊的結構。這允許它有效地學習分層表示中的圖像特征。因此，所提出的方法可以很好地解決復用特性，避免傳統(tǒng)基于 CNN 的深度學習的局限性，從而實現(xiàn)更好的圖像重建。

雖然傳統(tǒng)的基于模型的方法需要較長的計算時間來進行迭代處理，但所提出的方法更快，因為直接重建可以通過機器學習設計的無迭代處理算法進行。

由于機器學習系統(tǒng)學習物理模型，模型逼近誤差的影響也顯著降低。此外，所提出的基于 ViT 的方法使用圖像中的全局特征，適用于在圖像傳感器上處理大面積的投射模式，而傳統(tǒng)的基于機器學習的解碼方法主要通過 CNN 學習局部關系。

總之，所提出的方法解決了傳統(tǒng)方法的局限性，例如基于迭代圖像重建的處理和基于 CNN 的機器學習與 ViT 架構，能夠在較短的計算時間內獲取高質量的圖像。

研究小組進一步進行了光學實驗——正如他們在最新出版物中所報道的——這表明采用所提出的重建方法的無鏡頭相機可以產生高質量和視覺上吸引人的圖像，而后處理計算的速度足夠高實時捕捉。組裝好的無鏡頭相機和實驗結果分別如圖3和圖4所示。

“我們意識到小型化不應該是無鏡頭相機的唯一優(yōu)勢。無鏡頭相機可以應用于不可見光成像，其中使用鏡頭是不切實際甚至不可能的。此外，無鏡頭相機捕獲的光學信息的潛在維度大于 2，這使得一次性 3D 成像和捕獲后重新聚焦成為可能。我們正在探索無鏡頭相機的更多功能。無鏡頭相機的最終目標是微型而強大。我們很高興能夠引領下一代成像和傳感解決方案的新方向，”該研究的主要作者、東京科技大學的 Xiuxi Pan 先生在談到他們未來的工作時說。