前座駕駛員
降低相關復雜性的一個好方法是,考慮執(zhí)行NGC內核需要的工作量。兩個數字圖像的相關可以定義為:
f(x,y)是一個函數,用于描述(x,y )中的8位像素的灰度水平(0-255),模板t(x-u, y-v)被來自原點的(u,v)像素所取代。模板和圖像在等式中能夠改變位置,因為結果對代數符號不敏感。這個模板的尺寸是按照p像素 x q像素計算的??梢钥闯霰磉_式一個像素一個像素地比較f和t,并且假定縮放比例,使模板和圖像尺寸相同。
通過擴展,我們考慮模板項的平方是一個常量,圖像項的平方是一個大致的常量。我們發(fā)現,C(u,v)這個相關的近似值仍需要在有用的邊界中定義,使其更加不依賴可見光。
最后,如果我們把測試中的模板和圖像區(qū)域轉到原點:
要減少可見光的影響,標簽f和標簽t是圖像和模板灰度密度的算術平均,這些圖像和灰度密度取代對比窗口中的所有的N = p x q像素。用這兩個函數的幾何平均值除以這個分子將得到更好的獨立結果和一個界限。
通過Navi2V的加速器GSEU(灰度搜索引擎單元)重新安排處理:
通過檢查可以發(fā)現上式有五個不同的計算,其中兩個可以預先計算。一個歸一化相關可以分配給SH-Navi2V的圖像識別加速器(見圖3)中的16個區(qū)域處理器。這16個區(qū)域處理器中的每一個處理器被設置為一個四處理器MISD(多指令單數據)引擎。每一個四處理器GSEU能夠處理正在被收縮的圖像中整個的指定區(qū)域里歸一化相關內核。如圖3所示,預備項用作計算歸一化相關需要八次運算。提供一組已計算出的項,SH-4A內核接收和生成歸一化相關結果。它用軟件流水線模式(組裝線)執(zhí)行最后的計算。其輸入操作數是圖像識別引擎早些時候在一個積累期計算的項。SH-4A雙精度協處理器提供平方根開方和除法運算。
這個標記可能和鏡頭視點(Camera view)中目標體上的臨時標簽一起工作,鏡頭視點至少有一個匹配的模版。
以300MHz的速度運行,這個圖像識別引擎每個循環(huán)周期能夠完成16個歸一化相關步驟。每個周期8次運算和16個引擎并行工作,加速器每秒中可進行38.4GOPS計算,不包括SH-4A執(zhí)行的運算,以及預處理、標簽、矩形圖調整和其他后處理單元(圖3b)以及2D圖像所需要的狀態(tài)機。除非預先把匹配的模板安排在計劃中,否則,搜索只能通過每一個像素的一次一次的全面計算實現。
前景光明
由于SH-Navi2V芯片能夠發(fā)揮許多作用,有必要解釋一下它到目前為止做了哪些事情。SH-Navi2V已經可以接受來自兩個攝像機的輸入信號;它已經可以為一些重要模板搜索了視頻幀,并且在液晶顯示屏上顯示結果。
瑞薩科技把這一過程中分為四個階段,所有的圖像引擎任務和相關控制都是由SH-4A處理的:
來自兩臺攝像機的視頻幀(NTSC/PAL制式)通過VIN模塊(如圖2所示)接收,并且存儲到DDR SDRAM外部內存。
圖像識別引擎從DDR SDRAM內存載入下一個需要處理的視頻幀,并且把這個結果傳回內存。
SH-4A訪問DDR SDRAM外部內存,從已經完成圖像識別的堆??蚣苌厦嫣崛祿?,執(zhí)行高質量圖像處理,并且把處理后的圖像傳輸回內存。
內存里SH-4A已經處理過的圖像將通過顯示單元(DU)傳輸到駕駛員可以看到的WVGA或者XGA液晶顯示屏。
正如瑞薩科技描述的那樣,使用SH-Navi2V的系統能夠向汽車駕駛員提供視頻影像,通過圖像識別功能突出與交通有關的物體。這個視頻影像還包含一個語音提示,讀出交通標志的內容,如限速公里數等。因此,采用這種芯片的系統能夠向駕駛員提供比GPS和地圖更準確的位置信息。它能夠說明主汽車周圍的環(huán)境狀況,向駕駛員提供有關行車狀況的信息,如新的或者臨時的道路標志。
該系統是提高汽車和駕駛員安全的一個良好開端,但是還有一些障礙需要克服?;叶葰w一化相關自從90年代初就開始應用在機器人視覺中,也許是80年代末。在大多數情況下,這個技術是在處理一些動作緩慢,或者應用在對色彩不太敏感,并且與車輛移動時拍攝視頻所不同的環(huán)境下。圖像縮放和旋轉以及透視變形需要高出2到3個數量級的性能。每秒搜索的幀數必須要提高:汽車在以每小時50公里的速度行駛時每秒中前進大約73英尺,系統需要處理解決攝像機抖動以及汽車的顛簸搖晃。有些攝像機的光學系統已經提供了單軸幫助功能(像佳能的IS鏡頭和尼康的VR),或者通過壓電致動器(美能達)實現的CCD/CMOS傳感器位置控制。
此外,圖像穩(wěn)定軟件或者對前幀中已經識別出的物體的移動進行預見性的搜索也能提供幫助。(譯自In-stat微處理器報告)
評論