許多令人心動(dòng)的技術(shù)創(chuàng)新(如HDTV和數(shù)字影院)都是和視頻與影像處理技術(shù)以及這種技術(shù)的快速發(fā)展分不開的。影像捕獲和顯示分辨率的跳躍式發(fā)展、先進(jìn)的壓縮技術(shù)和視頻智能正是這種技術(shù)創(chuàng)新背后源源不斷的驅(qū)動(dòng)力。特別是分辨率在過(guò)去幾年里有了顯著的提高。表1顯示了不同的終端設(shè)備類型中當(dāng)前采用的最高分辨率。

表1：終端設(shè)備類型的分辨率

從標(biāo)準(zhǔn)清晰度(SD)發(fā)展到高清晰度(HD)，需要處理的數(shù)據(jù)量增加了6倍。視頻監(jiān)測(cè)也從通用中間格式(CIF)(352x288)發(fā)展到了標(biāo)準(zhǔn)要求的D1格式(704x576)，一些工業(yè)攝像機(jī)甚至發(fā)展到了1,280x720的高清晰度格式。軍事監(jiān)測(cè)、醫(yī)療成像和機(jī)器視覺應(yīng)用也正在向非常高分辨率的影像轉(zhuǎn)移。

先進(jìn)的壓縮技術(shù)正在取代前一代技術(shù)，它能提供更好的數(shù)據(jù)流性能、給定品質(zhì)下更高的壓縮率以及更低的延遲。JPEG2000作為數(shù)字影院的標(biāo)準(zhǔn)在軍事、醫(yī)療成像和監(jiān)測(cè)領(lǐng)域得到了廣泛采納。H.264有望取代廣播電視領(lǐng)域中的MPEG-2、視頻監(jiān)測(cè)系統(tǒng)中的MPEG-4第2部分和視頻會(huì)議中的H.263。甚至在這些新的壓縮解決方案部署的同時(shí)，正在進(jìn)行中的標(biāo)準(zhǔn)化工作仍在不斷增強(qiáng)H.264和JPEG2000標(biāo)準(zhǔn)。

DICOM醫(yī)療成像標(biāo)準(zhǔn)已經(jīng)完成了附件105，其中包括了三維醫(yī)療成像壓縮采用的JPEG2000第2部分中的多組件轉(zhuǎn)換。附件106將包含遠(yuǎn)程瀏覽JPEG2000壓縮的醫(yī)療影像所需的JPIP協(xié)議。

MPEG-4第10部分(H.264AVC)的下一個(gè)延伸就是可伸縮視頻編碼(SVC)。SVC編碼方案可以滿足在異質(zhì)網(wǎng)絡(luò)上使用現(xiàn)有的系統(tǒng)資源向不同用戶可靠傳送視頻的需要，特別是在下行客戶性能、系統(tǒng)資源和網(wǎng)絡(luò)條件無(wú)法提前獲知的情況下。例如，客戶機(jī)可能有不同的顯示分辨率，系統(tǒng)可能有不同的緩存或中間存儲(chǔ)資源，網(wǎng)絡(luò)可能有不同的帶寬、丟包率和盡力而為或服務(wù)質(zhì)量(QoS)性能。聯(lián)合視頻工作組(JVT)正在開發(fā)AVC/H.264的延伸，以提供具有更好壓縮效率的位流級(jí)伸縮性，同時(shí)允許自由組合各種伸縮模式(如空間、時(shí)間和SNR/保真度伸縮能力)。應(yīng)用領(lǐng)域包括視頻監(jiān)測(cè)系統(tǒng)、移動(dòng)流視頻、無(wú)線多通道視頻制作與傳送以及多方視頻電話/會(huì)議。

另外一個(gè)正在快速發(fā)展的領(lǐng)域是視頻智能。攝像機(jī)已經(jīng)能夠移動(dòng)拍攝、傾斜拍攝、可變焦拍攝和全景拍攝，但這些功能今后將完全由系統(tǒng)智能代替手工干預(yù)。運(yùn)動(dòng)檢測(cè)功能只存儲(chǔ)那些超過(guò)運(yùn)動(dòng)門限的視頻幀，從而能更高效地實(shí)現(xiàn)硬盤存儲(chǔ)。視頻對(duì)象識(shí)別功能將需要使用自動(dòng)監(jiān)測(cè)，其效率要比人工監(jiān)測(cè)高得多。

隨著分辨率的提高和壓縮算法的進(jìn)步，對(duì)系統(tǒng)性能和架構(gòu)靈活性提出了更高的要求，以實(shí)現(xiàn)系統(tǒng)的快速更新。隨著技術(shù)的成熟和產(chǎn)量的增加，成本需要得到進(jìn)一步降低。

可選擇的系統(tǒng)架構(gòu)包括標(biāo)準(zhǔn)單元ASIC、ASSP以及各種可編程解決方案，如數(shù)字信號(hào)處理(DSP)或媒體處理器和FPGA。每種架構(gòu)都有各自的優(yōu)缺點(diǎn)，最終選擇取決于終端設(shè)備要求和解決方案的可用性。根據(jù)上面討論的發(fā)展趨勢(shì)，理想架構(gòu)應(yīng)具有以下特點(diǎn)：高性能、靈活性、易升級(jí)性、低開發(fā)成本以及隨著應(yīng)用成熟和產(chǎn)量增加向更低成本遷移的能力。

FPGA方案的優(yōu)勢(shì)

不僅壓縮要求高性能，預(yù)處理和后處理功能也要求高性能。事實(shí)上，在許多情況下這些功能所需的性能超過(guò)壓縮算法本身。這些功能的例子包括縮放調(diào)整、去交錯(cuò)、濾波和色彩空間轉(zhuǎn)換。

上述市場(chǎng)所需的高性能是無(wú)法用單獨(dú)處理器的架構(gòu)實(shí)現(xiàn)的。這種架構(gòu)中的單個(gè)器件不能滿足性能需求。最新的工作于1GHz的DSP也無(wú)法單獨(dú)完成H.264HD解碼，而H.264HD編碼的復(fù)雜度還要比解碼高出10倍左右。FPGA是唯一能夠解決這個(gè)問(wèn)題的可編程解決方案。在某些情況下，F(xiàn)PGA和外部DSP處理器的組合可能是最佳的解決方案。

隨著技術(shù)的快速發(fā)展，架構(gòu)必須更加靈活和更易于升級(jí)。這就排除了標(biāo)準(zhǔn)單元ASIC和ASSP。ASSP是專門針對(duì)很大批量的消費(fèi)類市場(chǎng)設(shè)計(jì)的，通常很快就會(huì)過(guò)時(shí)，因此對(duì)大多數(shù)應(yīng)用來(lái)說(shuō)選用ASSP要冒很大風(fēng)險(xiǎn)。

而開發(fā)ASIC的成本非常高昂。如果加上掩模和晶圓、軟件、設(shè)計(jì)驗(yàn)證和版圖的成本，一個(gè)典型的90nm標(biāo)準(zhǔn)單元ASIC的開發(fā)成本可能高達(dá)3,000萬(wàn)美元。只有最大批量的消費(fèi)類市場(chǎng)才能接受如此之高的開發(fā)成本。

隨著標(biāo)準(zhǔn)的日趨穩(wěn)定和產(chǎn)品數(shù)量的增加，解決方案具有低成本遷移路徑會(huì)非常重要。通常這意味著針對(duì)專門市場(chǎng)開發(fā)的ASSP或標(biāo)準(zhǔn)單元定制ASIC器件。然而，定制硅片成本的上升使得這些解決方案只有在最大批量的消費(fèi)類應(yīng)用中才具有經(jīng)濟(jì)上的可行性。大多數(shù)芯片公司專注于視頻和成像領(lǐng)域的目標(biāo)應(yīng)用，例如攝像機(jī)、機(jī)頂盒、數(shù)碼相機(jī)、蜂窩電話和其它便攜產(chǎn)品或液晶電視和顯示器。因此在設(shè)計(jì)較低批量的應(yīng)用類型時(shí)，最好考慮用FPGA，因?yàn)樗幌馎SSP那樣要求建立確切的功能集合，即使是最好的現(xiàn)成ASSP解決方案也因?yàn)榇嬖跐撛诘倪^(guò)時(shí)可能性而面臨極大的風(fēng)險(xiǎn)。

Altera的視頻與影像處理解決方案

基于上述原因，F(xiàn)PGA在滿足許多視頻與影像處理應(yīng)用的需求時(shí)非常適合。Altera的FPGA所具有的以下一些特性使得它們非常適合視頻與影像處理架構(gòu)：

1.高性能。高清晰(HD)處理能夠在單個(gè)Altera的FPGA里實(shí)現(xiàn)。

2.靈活性。Altera的FPGA提供了快速升級(jí)架構(gòu)的能力，以滿足不斷發(fā)展的需求，而可伸縮性使其適用于低成本和高性能的系統(tǒng)。

3.低開發(fā)成本。Altera的視頻開發(fā)套件起價(jià)只有1,095美元，其中包括了使用AlteraFPGA開發(fā)視頻系統(tǒng)所需要的軟件工具。

4.過(guò)時(shí)產(chǎn)品提供承諾。Altera的FPGA擁有非常龐大的客戶基礎(chǔ)，他們?cè)谛缕吠瞥龊髸?huì)持續(xù)提供該產(chǎn)品很多年。另外，F(xiàn)PGA設(shè)計(jì)很容易從一代工藝節(jié)點(diǎn)遷移到下一代工藝節(jié)點(diǎn)。

5.實(shí)現(xiàn)低成本的結(jié)構(gòu)化ASIC的遷移路徑。Altera公司100萬(wàn)門的結(jié)構(gòu)化ASIC在10萬(wàn)片時(shí)的起價(jià)為15美元。

6.Altera的視頻與影像處理解決方案。包括優(yōu)化的DSP設(shè)計(jì)流程、Altera的視頻與影像處理套件、接口與第三方視頻壓縮IP以及視頻參考設(shè)計(jì)。

在FPGA/結(jié)構(gòu)化ASIC上實(shí)現(xiàn)類似ASSP的功能

隨著解決方案數(shù)量的增加，Altera和合作伙伴成功地在FPGA或結(jié)構(gòu)化ASIC上實(shí)現(xiàn)了ASSP功能。ATEME的H.264主類(mainprofile)標(biāo)準(zhǔn)清晰度編碼器產(chǎn)品就是其中一個(gè)例子。有了這樣的產(chǎn)品，用戶就可以像使用ASSP那樣使用FPGA。與傳統(tǒng)的ASSP方法相比，這種方法的優(yōu)勢(shì)在于FPGA解決方案可以快速升級(jí)，不存在過(guò)時(shí)的風(fēng)險(xiǎn)。

DSP設(shè)計(jì)流程

Altera針對(duì)定制開發(fā)提供了優(yōu)化的DSP設(shè)計(jì)流程，該流程允許用多種不同的方式表達(dá)設(shè)計(jì)，包括VHDL/Verilog、基于模型的設(shè)計(jì)和基于C的設(shè)計(jì)。Altera的核心視頻與影像處理套件可以與這些設(shè)計(jì)流程中的任何一個(gè)一起使用。Altera和MathWorks公司合作開發(fā)了一種綜合的DSP開發(fā)流程，允許設(shè)計(jì)師充分發(fā)揮AlteraFPGA的性價(jià)比優(yōu)勢(shì)，同時(shí)高效地使用MathWorks公司基于模型的設(shè)計(jì)工具Simulink。Altera的DSPBuilder是一款DSP開發(fā)工具，可以用來(lái)連接Simulink和Altera公司先進(jìn)的QuartusII開發(fā)軟件。

DSPBuilder提供了無(wú)縫的設(shè)計(jì)流程，設(shè)計(jì)師利用該流程可以在MATLAB軟件環(huán)境中進(jìn)行算法開發(fā)，并在Simulink軟件中做系統(tǒng)級(jí)設(shè)計(jì)。然后形成硬件描述語(yǔ)言(HDL)，提供給QuartusII軟件使用。DSPBuilder工具緊密集成了SOPCBuilder工具，能幫助用戶構(gòu)建包含Simulink設(shè)計(jì)和Altera嵌入式處理器以及知識(shí)產(chǎn)權(quán)(IP)內(nèi)核的系統(tǒng)。該開發(fā)流程非常直觀，容易上手，適合在使用可編程邏輯設(shè)計(jì)軟件方面沒有太多經(jīng)驗(yàn)的設(shè)計(jì)師使用。

視頻與影像處理套件

視頻與影像處理套件由9大功能塊組成，其參數(shù)能夠靜態(tài)，或在某些情況下動(dòng)態(tài)改變。表2對(duì)這些功能做了總結(jié)。

表2：視頻與影像處理套件中的可用功能

圖1所示的二維濾波器GUI是用戶配置類型的一個(gè)例子，它是與視頻與影像處理套件中的內(nèi)核一起提供的。

圖1：二維濾波器GUI

分辨率、每次采樣的位數(shù)、FIR濾波器尺寸、邊緣行為、溢出行為和累加器長(zhǎng)度都是二維濾波器內(nèi)核中支持的靜態(tài)參數(shù)。

目前已經(jīng)有多家第三方公司發(fā)布了針對(duì)Altera FPGA和結(jié)構(gòu)化ASIC的視頻壓縮解決方案。表3列出了一些通用視頻壓縮標(biāo)準(zhǔn)和相關(guān)的第三方公司名稱。

表3：第三方視頻壓縮解決方案

Altera及其合作伙伴也提供視頻系統(tǒng)中經(jīng)常要用到的接口內(nèi)核，包括ASI、SDI、10/100/1000M以太網(wǎng)和DDR/DDR2存儲(chǔ)控制器。表4列出了部分這些類型的內(nèi)核和參考設(shè)計(jì)。

表4：視頻接口和系統(tǒng)IP

采用視頻與影像處理套件的典型視頻系統(tǒng)如圖2所示。

視頻開發(fā)套件

Altera有兩款新的視頻開發(fā)套件。其中一款是視頻開發(fā)套件Cyclone II版本。它有一個(gè)雙通道復(fù)合視頻輸入、VGA輸出端口、96kHz音頻I/O、256MB的DDR2 DRAM和Cyclone II器件。另外一款是音視頻開發(fā)套件Stratix II GX版本，支持四通道的高清SDI、ASI、DVI、USB、千兆以太網(wǎng)、1394和DDR2 SDRAM。使用視頻與影像處理套件、DSP Builder和SOPC Builder開發(fā)工具的視頻參考設(shè)計(jì)也包含在這兩款套件中。除了這些套件外，還有多個(gè)用于視頻解決方案的Altera第三方開發(fā)套件。

性能基準(zhǔn)

表5給出了功能實(shí)例和實(shí)現(xiàn)該功能所需的相應(yīng)FPGA。

表5：編碼標(biāo)準(zhǔn)基準(zhǔn)

Altera的Cyclone II低成本FPGA可最多集成1.1Mb的嵌入式存儲(chǔ)器、300個(gè)工作在250MHz的嵌入式9x9乘法器和68,000個(gè)邏輯單元(LE)。Cyclone II EP2C35器件是系列里中等規(guī)模的FPGA，25萬(wàn)片時(shí)的報(bào)價(jià)是22美元。Stratix II高性能、高密度器件最多可集成9Mb的嵌入式存儲(chǔ)器、768個(gè)工作在450MHz的9x9嵌入式乘法器和179,000個(gè)LE。這些功能也可以用Altera的HardCopy II結(jié)構(gòu)化ASIC器件實(shí)現(xiàn)。重要的邏輯、存儲(chǔ)器和DSP資源留給預(yù)處理和后處理功能使用(如表6所示)。

表6：預(yù)處理和后處理基準(zhǔn)

本文小結(jié)

FPGA非常適合于視頻與影像處理應(yīng)用，如廣播基礎(chǔ)設(shè)施、醫(yī)療成像、高清晰度視頻會(huì)議、視頻監(jiān)測(cè)和軍事成像。Altera FPGA的視頻與影像處理解決方案包含了優(yōu)化的開發(fā)工具與套件、參考設(shè)計(jì)、視頻壓縮IP、接口與系統(tǒng)IP以及Altera的視頻與影像處理IP套件。這些解決方案可以改善許多視頻與成像設(shè)備的成本、性能和產(chǎn)能。