如今，智能化程度越來越能夠決定一臺車的價格和熱銷程度，智能化已經(jīng)是汽車行業(yè)的核心趨勢。相關(guān)數(shù)據(jù)顯示，2022年L2級智能駕駛滲透率已提升至38%，預(yù)計到2025年滲透率會超過60%，且隨著利好政策的相繼出臺，以及主流車企的陸續(xù)發(fā)力，智能駕駛正由L2向L3甚至更高階的L4跨越。

2022年11月2日，工信部會同公安部公開《關(guān)于開展智能網(wǎng)聯(lián)汽車準入和上路通行試點工作的通知》征求意見稿，《通知》特別提到智能網(wǎng)聯(lián)汽車搭載的自動駕駛功能是指國家標準《汽車駕駛自動化分級》（GB/T40429-2-21）定義的３級駕駛自動化（有條件自動駕駛）和４級駕駛自動化（高度自動駕駛）功能（也就是我們常說的L3與L4），《通知》將加速我國L3/L4自動駕駛的落地速度。

與此同時，國際車企也在爭先恐后推進相關(guān)進程，德國奔馳今年２月在美國加州開了一場110分鐘的發(fā)布會，主題便是“L4自動駕駛，2024年見！”

可以預(yù)見的是，自動駕駛即將加速向更高級別邁進。而聚焦當下，車企以及技術(shù)供應(yīng)商們面臨的更關(guān)鍵問題是，如何邁過L3/L4的相關(guān)技術(shù)門檻？

感知系統(tǒng)是關(guān)鍵一環(huán)，4D毫米波雷達備受青睞

在汽車智能化發(fā)展過程中，感知系統(tǒng)是至關(guān)重要的一環(huán)，自動駕駛系統(tǒng)需要全天候、全覆蓋、全目標、全工況的感知。尤其L2及以上的智能駕駛，必須構(gòu)建多個感知維度的目標及環(huán)境探測系統(tǒng)，有效融合各種傳感器的優(yōu)勢，為車輛的規(guī)劃控制提供準確有效的信息。

而在多傳感器的感知維度里，視覺與毫米波雷達通常被認為是不可或缺的兩種傳感器，它們之間的感知優(yōu)勢互補性非常強，合理搭配“1+1>2”的效果非常明顯。

要知道，即便是此前一直堅持純視覺路線的特斯拉，也被爆在其最新的自動駕駛硬件HW4.0中加回了毫米波雷達，而且是高分辨率的4D毫米波雷達。

事實上，在此之前，4D毫米波雷達市場關(guān)注度便已不斷上升。

究其原因，4D毫米波成像雷達，可檢測物體的方位、距離、速度、高度等數(shù)據(jù)。同時，4D成像毫米波雷達具有像素級的角分辨率，可以分辨目標物體的輪廓，經(jīng)過深度學(xué)習，4D雷達還可以區(qū)分行人、自行車、汽車、卡車等不同目標。4D成像雷達可以實現(xiàn)多傳感器的前融合和點云融合，從而降低漏檢率、誤報率等。

而值得注意的是，隨著毫米波雷達系統(tǒng)射頻收發(fā)通道數(shù)的增多，傳統(tǒng)的處理器無法滿足毫米波雷達系統(tǒng)大吞吐量數(shù)據(jù)的計算需求，因此迫切需要設(shè)計符合大陣列大吞吐量的雷達專用處理器芯片，近年來海外多家公司都在設(shè)計相關(guān)的雷達專用處理器。

作為一家在上海張江“中國硅谷”成立的提供智能感知芯片及系統(tǒng)解決方案的半導(dǎo)體設(shè)計公司，上海昱感微電子科技有限公司（以下簡稱“昱感微”）也是該領(lǐng)域的重要玩家之一。

資料顯示，昱感微的核心員工全部來自全球頂尖的半導(dǎo)體企業(yè)，公司成立不久就獲得張江人才港“最具潛力的海歸創(chuàng)業(yè)團隊”大獎。該公司定位在“感知智能”領(lǐng)域，產(chǎn)品目標是幫助客戶“多維度高效獲取物理世界信息”，為客戶提供全球領(lǐng)先的感知技術(shù)。

據(jù)悉，昱感微電子目前正在研發(fā)的4D成像毫米波雷達處理器芯片支持多片射頻前端MMIC（四片級聯(lián): 16發(fā)16收信號通道）高性能4D毫米波感知，或分布式集總架構(gòu)；其中完全自主知識產(chǎn)權(quán)雷達信號處理單元（硬件加速器）信號處理能力強，能耗比高，簡化客戶開發(fā)。

具體來看，其產(chǎn)品特點包括：模塊化高度可擴展架構(gòu)，高效L1/L2/DDR 數(shù)據(jù)流，兼容CPLX/REAL計算引擎；通用DDMA以及超分辨硬加速，支持檢測/DOA交互式先進算法，32bit 高SNR FFT算子，軟件定義LRR/MRR/SRR；獨創(chuàng)的BIG.little多線程架構(gòu)，支持實時低延遲感知?！?/p>

按照昱感微的說法，其4D成像毫米波雷達處理器芯片，可以協(xié)助客戶降低成本，降低功耗，同時產(chǎn)品的４D雷達點云密度更高，反應(yīng)更快，探測距離更遠。

還有非常重要的一點是：由于４D毫米波成像雷達目前發(fā)展非?？欤鞣N先進的算法都正在引入４D成像雷達產(chǎn)品中，對于雷達處理器芯片而言，芯片的架構(gòu)就必須要能夠支持到客戶軟件差異化實現(xiàn)的需求。針對此，昱感微在其4D成像毫米波雷達處理器芯片的架構(gòu)設(shè)計與實現(xiàn)上也是下足功夫，其雷達處理器芯片在硬件優(yōu)化（硬件加速器／硬件算子）實現(xiàn)的同時還可保持軟件與算法的高度可擴展性，能夠支持客戶各種先進的雷達算法在芯片內(nèi)的高效實現(xiàn)。

傳感器融合方式升級，智能感知芯片再進化

4D毫米波雷達的火熱，也帶出了“視覺＋毫米波雷達＂數(shù)據(jù)融合方式的新變化。正如前文所說，4D成像雷達可以實現(xiàn)多傳感器的前融合。

據(jù)悉，特斯拉新發(fā)布的HW4.0，并非簡單地把雷達傳感器加了回來，特斯拉也同時改進了攝像頭與毫米波雷達的數(shù)據(jù)融合方式，由以前發(fā)生問題的“傳感器后融合”方式進化到“傳感器混合式融合”架構(gòu)。這個系統(tǒng)架構(gòu)的改進也是特斯拉把毫米波雷達重新加回到系統(tǒng)的另一個原因。

而即便拋開特斯拉的方案不談，此前業(yè)界對于多傳感器融合的方式也已有預(yù)測：隨著各種傳感器感知性能的提升，多傳感器融合的方式會從簡單的結(jié)果比對“傳感器后融合”方式向“傳感器混合式融合”以及“傳感器前融合”演進，最終都會進化到“傳感器前融合”架構(gòu)。

只不過，要實現(xiàn)這樣的演進并不簡單。據(jù)了解，“傳感器前融合”的感知系統(tǒng)，系統(tǒng)不光要對不同傳感器感知信號處理過程做交叉互動來提高有效信息的獲取量以及提取質(zhì)量，系統(tǒng)還要在各傳感器捕獲目標原始數(shù)據(jù)的過程就開始互動，系統(tǒng)需要準確地針對感知目標來獲取對應(yīng)的有效信息，這也是AI系統(tǒng)里常常提到的“智能感知“。

昱感微第一代芯片的第二款產(chǎn)品-多傳感器多維像素融合感知芯片，就是針對多傳感器前融合的客戶需求而設(shè)計的，其芯片及系統(tǒng)的架構(gòu)示意圖如下：

據(jù)企業(yè)官方資料，這一多傳感器多維像素融合感知芯片在4D成像毫米波雷達處理器芯片基礎(chǔ)上又增加了以下部分：１）對來自攝像頭的圖像數(shù)據(jù)做處理的視覺處理子系統(tǒng)（包含支持攝像頭傳感器的特定曝光控制等功能）；２）對多種傳感器的目標捕獲信息做交互數(shù)據(jù)挖掘以提高目標探測精準度的交互數(shù)據(jù)處理系統(tǒng)；３）對多傳感器感知數(shù)據(jù)做高效數(shù)據(jù)組合并輸出的多維像素生成系統(tǒng)。

據(jù)稱，昱感微的多傳感器多維像素融合感知芯片可以幫助客戶實現(xiàn)多傳感器原始數(shù)據(jù)的融合（傳感器前融合），對目標和環(huán)境的感知可以在傳感器系統(tǒng)的邊緣側(cè)就能挖掘出更多的信息，數(shù)據(jù)維度更多，目標探測更精準。

目前行業(yè)通用的認知是，多種傳感器做感知融合時至少包含有攝像頭與毫米波雷達。而當其中一種或多種傳感器探測到潛在目標時，昱感微的多傳感器多維像素融合感知芯片可以實時地對部分或全部其余傳感器的探測參數(shù)進行互動實時調(diào)整。

具體來看，其可對攝像頭的像素級的探測參數(shù)進行互動實時調(diào)整，互動實時調(diào)整中的探測參數(shù)包括：曝光區(qū)域、曝光時間、對焦距離、圖像傳感器的信號增益、圖像傳感器的靈敏度、圖像傳感器的信噪比、色彩濾波陣列中的任意一種或多種；對雷達的發(fā)射和/或接收信號的探測參數(shù)或探測數(shù)據(jù)的篩選進行互動實時調(diào)整，互動實時調(diào)整中的探測參數(shù)包括：捕獲視角、目標信號的檢測提取參數(shù)、信號波形及調(diào)制方式、信號頻率、信號強度、信號幀率、信號帶寬、速度譜中的任意一種或多種，等等；然后芯片再將多種傳感器探測到的數(shù)據(jù)處理好后同步實時輸出。

舉例來說，當雷達子系統(tǒng)探測到潛在目標時，芯片內(nèi)運行的軟件立刻實時地對攝像頭的曝光控制區(qū)域進行調(diào)整，使其針對目標檢測子區(qū)域（有運動目標的子區(qū)域）進行快速局部曝光，然后對同一時間段內(nèi)采集的多幅目標檢測子區(qū)域圖像做圖像疊加的寬動態(tài)處理，融合產(chǎn)生完整的超寬動態(tài)圖像實時輸出。這樣，即使在車輛夜間行駛的過程中遇到對面相向而行的車輛開著遠光燈干擾本車攝像頭系統(tǒng)的挑戰(zhàn)場景下，昱感微的多傳感器多維像素融合感知芯片仍然可以引導(dǎo)本車的攝像頭針對運動目標(可能是在當前圖像嚴重欠曝區(qū)域內(nèi)正在橫穿馬路的騎車人－非常危險的情況)做快速局部曝光來實時獲取運動目標的分辨細節(jié)特征，這樣的處理就可以防止自動駕駛控制系統(tǒng)出現(xiàn)漏檢而撞擊目標的情況發(fā)生。

昱感微的多傳感器多維像素融合感知芯片將多傳感器感知數(shù)據(jù)做高效數(shù)據(jù)組合并輸出的多維像素的數(shù)據(jù)格式。

對傳感器融合系統(tǒng)而言，各傳感器感知數(shù)據(jù)的“坐標統(tǒng)一，時序?qū)R”是必須的，同時系統(tǒng)還要做到“數(shù)據(jù)同質(zhì)”，并且能夠突出“事件感知”（做好針對目標的探測而非籠統(tǒng)的背景探測，同時需要具備對事件是否會發(fā)生的預(yù)測數(shù)據(jù) - 車輛自駕系統(tǒng)對道路上妨礙行駛的障礙物之相對距離與速度的精準探測）。

多傳感器組合的探測域空間映射關(guān)系示意圖

昱感微的多傳感器融合處理器芯片把多傳感器的目標探測數(shù)據(jù)用“多維度測量參數(shù)”矩陣數(shù)組（簡稱為“多維像素”）的形式組合在一起，建立以攝像頭像素為顆粒度的立體多維深度感知；像素除了其原本包含的亮度與顏色信息，還增加了多個維度，如相對距離、相對運動速度、目標的雷達散射截面RCS數(shù)據(jù)以及目標的熱輻射溫度分布等數(shù)據(jù)，目標檢測算法基于多維像素矩陣結(jié)構(gòu)，可充分利用信息的融合做深度環(huán)境感知。

“多維度測量參數(shù)”矩陣數(shù)組結(jié)構(gòu)示意圖

多維像素這樣的數(shù)據(jù)結(jié)構(gòu)是非常高效的感知信息數(shù)據(jù)組合方式，不僅直接體現(xiàn)了：坐標統(tǒng)一，時序?qū)R，數(shù)據(jù)同質(zhì)，由于多維像素包含了目標及環(huán)境的多個物理維度探測的實時信息（目標的距離、相對速度等信息）,它也能夠很好地突出：“事件感知”的能力，包含能夠預(yù)測事件發(fā)生的能力；同時，多維像素數(shù)據(jù)來自多種（不同種類的）傳感器的感知數(shù)據(jù)組合，多維像素數(shù)據(jù)本身就包含了：異構(gòu)冗余、多重校驗，交互感知，超維耦合，感存一體。這些是都是我們對高效可靠的傳感器感知系統(tǒng)的必須要求（滿足高質(zhì)量自動駕駛的必要條件）。

多傳感器多維像素組合可以包含的目標與環(huán)境感知信息量非常大。舉例來說，把視覺圖像與毫米波無線檢測信號直接對接組合，由于毫米波無線探測在毫米波（77Ghz對應(yīng)４mm的無線電波波長），無線電波是有繞射及多徑穿透能力的，這樣的“圖像＋毫米波”組合的多維像素，在前面有一輛車的探測場景下，在前車這個“多維像素宏塊”上可以再包含前前車（被前面這輛車擋住攝像頭視野的再前面的一輛車）的存在（有距離、相對速度、RCS）信息，以及可以感知前前一輛車的突發(fā)急剎車事件，系統(tǒng)可以預(yù)防這樣的事故發(fā)生！

昱感微指出，多傳感器多維像素的組合，就像是我們?nèi)藢δ繕伺c環(huán)境的感知，我們以人眼視覺為主體，同時我們每個人都有天然的“腦機接口”，我們會在視覺的基礎(chǔ)上把其它感覺（聽覺，嗅覺…）都組合在視覺圖像里，然后希望具備第六感（預(yù)感事件的發(fā)生）。昱感微電子的多傳感器多維像素融合感知芯片也希望可以助力到AI感知系統(tǒng)相同的功能。

多維像素是在以圖像像素為基礎(chǔ)的模型上再增加了其它維度（目標的距離、速度等）感知信息，多維像素使得目前的AI處理器都可以復(fù)用已有的圖像數(shù)據(jù)集，免除新產(chǎn)品的訓(xùn)練數(shù)據(jù)需要全部重新采集的困擾，對于目前流行的神經(jīng)網(wǎng)絡(luò)框架只需要做很小的修改就可直接適配昱感微電子的芯片輸出的“多維像素”，而且神經(jīng)網(wǎng)絡(luò)的訓(xùn)練收斂效率以及目標識別準確率都會因為使用了多維像素而有效提升。多維像素的產(chǎn)品落地非常直接簡單，不會是因為新的數(shù)據(jù)結(jié)構(gòu)而給應(yīng)用推廣產(chǎn)品化帶來困擾。

特斯拉目前在感知方面的一個重點技術(shù)是Occupancy Network (占據(jù)網(wǎng)絡(luò))。研究機器人技術(shù)的同學(xué)肯定對occupancy grid不會陌生，occupancy grid表示空間中每個3D體素（voxel）是否被占據(jù)，可以是0/1二元表示，也可以是[0, 1]之間的一個概率值。

為什么估計occupancy對自動駕駛感知很重要呢？因為在行駛中，除了常見障礙物如車輛、行人，我們可以通過3D物體檢測的方式來估計他們的位置和大小，還有更多長尾的障礙物也會對行駛產(chǎn)生重要影響。例如：1.可變形的障礙物，如兩節(jié)的掛車，不適合用3D bounding box來表示；2.異形障礙物，如翻倒的車輛，3D姿態(tài)估計會失效；3.不在已知類別中的障礙物，如路上的石子、垃圾等，無法進行分類。大家都希望能找到更好的表達來描述這些長尾障礙物，完整估計3D空間中每一個位置的占據(jù)情況（occupancy），還要包含語義（semantics）和運動狀態(tài)（flow）信息。特斯拉希望利用基于“視覺”的占用網(wǎng)絡(luò)算法, 將感知空間劃分為一個個立體網(wǎng)格，通過檢測網(wǎng)格是否被占用，實現(xiàn)對物體體積的測算-包括探測到讓全世界智能駕駛團隊頭疼的各類異形物體。

在昱感微看來，真正的自動駕駛面臨的道路狀況千變?nèi)f化，自動駕駛要求開發(fā)者回到智能的“第一性原理”——從感知和決策的角度先感知周圍環(huán)境，再根據(jù)感知預(yù)測其他車輛的運行軌跡，作出自動駕駛車輛的行為規(guī)劃和決策，完成系統(tǒng)級開發(fā)。

“如果自動駕駛系統(tǒng)的算法完全基于深度學(xué)習（Deep Learning），就無法解決這種深度神經(jīng)網(wǎng)絡(luò)可能帶來的‘黑盒’問題：即無法確定系統(tǒng)是根據(jù)什么作出決策的－它自己也不知道，因此就無法實現(xiàn)人為預(yù)先干預(yù)；這樣的自動駕駛系統(tǒng)是無法支撐L3及以上的自動駕駛要求的，一臺車在地球上可能遭遇的駕駛場景永遠會比一個系統(tǒng)接受訓(xùn)練時的數(shù)據(jù)更豐富，以深度學(xué)習為底層算法的系統(tǒng)如何應(yīng)對復(fù)雜長尾場景是讓人擔心的?！?/p>

而昱感微的多傳感器多維像素融合感知芯片的“多維像素”數(shù)據(jù)輸出直接具備了目標與環(huán)境在３維立體空間所處的物理維度探測信息－感知周圍環(huán)境與目標的各維度所需物理量，直接提供給系統(tǒng)做高效和精準的決策與執(zhí)行，避免系統(tǒng)仍需借助大算力“推演”出目標感知數(shù)據(jù)再做決策執(zhí)行的潛在問題。

總而言之，昱感微所研發(fā)的全新一代智能感知芯片將助力車企跨越L3/L4級智能駕駛感知技術(shù)門檻。

返回第一電動網(wǎng)首頁 >