圖像處理仍然是高級駕駛員監(jiān)控系統(tǒng)的主要障礙。為了應(yīng)對這一挑戰(zhàn)，Arm 最新的圖像信號處理器簡化了 ADAS 和自動化技術(shù)的采用。

今天的車輛與十年前的車輛之間最顯著的區(qū)別之一是ADAS的突然普及。 

不同 ADAS 技術(shù)的概述。圖片由大陸工程服務(wù)公司提供

今天幾乎所有的新車都配備了傳感器和攝像頭，以確保駕駛對用戶來說盡可能簡單和安全。

為了支持這些 ADAS 系統(tǒng)，需要大量的計算資源。ADAS 系統(tǒng)中最流行的計算資源之一是ISP。

今天，Arm 宣布了一款專為 ADAS 和自動化應(yīng)用設(shè)計的新 ISP，我們將對此進(jìn)行討論，以及 ISP 在 ADAS 系統(tǒng)中的作用。

ADAS 中對 ISP 的需求

駕駛是一項視覺任務(wù)，因此，攝像頭可以說是啟用 ADAS 的最關(guān)鍵的傳感器。

在當(dāng)今的 ADAS 系統(tǒng)中，可以找到用于各種用途的攝像頭，例如： 

• 環(huán)視系統(tǒng)
  

• 駕駛員監(jiān)控系統(tǒng)

• 物體檢測/碰撞避免系統(tǒng)

在這個硬件的背后，ADAS 依靠一系列圖像處理和機器學(xué)習(xí)技術(shù)，例如計算機視覺和物體檢測來解釋這些圖像中發(fā)生了什么以及如何做出響應(yīng)。 

ADAS 概述，通常依賴于視覺輸入。圖片由Synopsys提供

在硬件中實現(xiàn)這一點并非易事。ADAS 系統(tǒng)需要極低的延遲計算，特別是因為駕駛需要實時決策，而且通常是生死攸關(guān)的場景。 

這一要求意味著 ADAS 系統(tǒng)必須在幾毫秒內(nèi)根據(jù)攝像頭輸入進(jìn)行獲取、預(yù)處理、處理并做出決策。實現(xiàn)這一目標(biāo)是一項具有挑戰(zhàn)性的任務(wù)，因為相機具有非常高的吞吐量，會產(chǎn)生大量數(shù)據(jù)。

為了解決這個問題，設(shè)計人員必須使用專門的計算硬件，例如 ISP。 

一般來說，ISP 旨在加速基于圖像的系統(tǒng)所需的數(shù)據(jù)處理和計算，從而實現(xiàn)低功耗和更快的性能處理。

為了應(yīng)對這些 ADAS 設(shè)計挑戰(zhàn)，Arm 推出了用于 ADAS 的最新 ISP：Mali-C78AE。

新的 ISP 采用與 Mali-C71AE 相同的技術(shù)，專為數(shù)據(jù)處理而設(shè)計。 

Arm 聲稱它可以同時接受來自 16 個虛擬攝像頭的多達(dá)四個實時攝像頭的輸入，該設(shè)備支持高達(dá) 1.2 千兆像素/秒的吞吐量。它希望這種高吞吐量、多輸入能力將顯著降低系統(tǒng)設(shè)計的復(fù)雜性，從而使系統(tǒng)整體更高效。

在內(nèi)部，ISP 集成了多個圖像處理模塊，包括降噪和缺陷像素校正，其中包括： 

• 色度降噪
  

• 紫邊校正

• 空間降噪

• 局部色調(diào)映射函數(shù) 

ISP 還提供動態(tài)范圍管理，具有 24 位動態(tài)范圍處理單元。 

Arm 表示，新的 ISP 總共內(nèi)置了 280 多個故障檢測電路。

Mali-C78AE 的功能圖。圖片由 Arm提供

從系統(tǒng)層面來看，該設(shè)備旨在與其他 Arm 產(chǎn)品相結(jié)合，例如 Cortex-A78AE 和 Mali-G78AE。 

據(jù) Arm 稱，這三個單元的組合可以提供針對性能和安全性進(jìn)行優(yōu)化的完整 ADAS 視覺管道。到目前為止，該設(shè)備本身已獲得 ASIL-B 汽車安全等級。

總而言之，Arm 希望為其 ADAS 產(chǎn)品創(chuàng)造進(jìn)化的下一步。 

ADAS 的下一步

隨著 ADAS 繼續(xù)集成到當(dāng)今幾乎所有的新車中，ISP 將繼續(xù)成為必需品。 

借助 Mali-C78AE，Arm 希望為行業(yè)提供改進(jìn)的解決方案，提高整體系統(tǒng)的安全性和性能。