具有CPU的GPU

GPU主要是用于3D圖形，并且越來(lái)越多的用于實(shí)現(xiàn)其他功能，例如，視覺(jué)應(yīng)用等。目前，個(gè)人計(jì)算機(jī)的GPU傾向于可編程，除了3D圖形還能完成其他功能。這類GPU被稱為“通用GPU”，或者“GPGPU”。 GPU有很強(qiáng)的并行處理能力。它們?cè)趥€(gè)人計(jì)算機(jī)上是獨(dú)一無(wú)二的?？梢悦赓M(fèi)使用GPU軟件開(kāi)發(fā)工具，從GPGPU開(kāi)始進(jìn)行編程并不是很復(fù)雜。出于這些原因，在PC上第一次開(kāi)發(fā)其計(jì)算機(jī)視覺(jué)算法的開(kāi)發(fā)人員通常采用GPU作為并行處理引擎，他們出于仿真或者原型開(kāi)發(fā)的目的，需要加速算法的執(zhí)行。

GPU 緊密集成了通用CPU，有時(shí)候是在同一芯片上。然而，GPU芯片的一種局限是目前能夠集成的CPU類型有限，而且支持這類集成的CPU操作系統(tǒng)也很有限。目前，可以提供設(shè)計(jì)用于智能電話和平板電腦等產(chǎn)品的低成本、低功耗GPU。但是，這些GPU一般不是GPGPU，因此，除了3D圖形之外，將其用在其他應(yīng)用中有很大的難度。

具有加速器以及CPU的數(shù)字信號(hào)處理器

數(shù)字信號(hào)處理器是專門用于信號(hào)處理算法和應(yīng)用的微處理器。對(duì)于視覺(jué)應(yīng)用核心的信號(hào)處理等任務(wù)，這種專業(yè)化使得數(shù)字信號(hào)處理器的效率要遠(yuǎn)遠(yuǎn)高于通用CPU。而且，與其他類型的并行處理器相比，數(shù)字信號(hào)處理器相對(duì)比較成熟，使用起來(lái)更方便。

但是，雖然數(shù)字信號(hào)處理器在視覺(jué)算法上的性能和效率要高于通用CPU，但仍然難以提供足夠的性能來(lái)滿足算法要求。出于這一原因，DSP一般需要一個(gè)或者多個(gè)輔助協(xié)處理器。因此，視覺(jué)應(yīng)用中一個(gè)典型的DSP芯片包括了CPU、數(shù)字信號(hào)處理器以及多個(gè)協(xié)處理器。這種異質(zhì)結(jié)合能夠產(chǎn)生很好的性能和很高的效率，但也難以編程。實(shí)際上，DSP供應(yīng)商一般不支持用戶對(duì)協(xié)處理器進(jìn)行編程;而是讓協(xié)處理器運(yùn)行芯片供應(yīng)商開(kāi)發(fā)的軟件函數(shù)庫(kù)。

移動(dòng)“應(yīng)用處理器”

移動(dòng)“應(yīng)用處理器”是集成度非常高的芯片系統(tǒng)，一般主要設(shè)計(jì)用于智能電話，而不是其他應(yīng)用。應(yīng)用處理器通常包括高性能CPU內(nèi)核，以及各種特殊的協(xié)處理器，例如，數(shù)字信號(hào)處理器、GPU、視頻處理單元(VPU)、2D圖形處理器，以及圖像采集處理器等。

這些芯片專門針對(duì)電池供電應(yīng)用進(jìn)行了設(shè)計(jì)，因此，能效非常高。而且，由于圍繞智能電話和平板電腦的應(yīng)用越來(lái)越重要，因此，移動(dòng)應(yīng)用處理器一般有很強(qiáng)的軟件開(kāi)發(fā)基礎(chǔ)支持平臺(tái)，包括，低成本開(kāi)發(fā)電路板、Linux和Android端口等。然而，正如前面章節(jié)對(duì)數(shù)字信號(hào)處理器的討論，應(yīng)用處理器中的專用協(xié)處理器一般不是用戶可編程的，限制了它們?cè)谝曈X(jué)應(yīng)用中的發(fā)展。

具有CPU的FPGA

FPGA是靈活的邏輯芯片，可以在門級(jí)和模塊級(jí)進(jìn)行重新配置。這一靈活性使得用戶能夠隨時(shí)實(shí)現(xiàn)定制滿足應(yīng)用需求的計(jì)算結(jié)構(gòu)。它還支持選擇滿足應(yīng)用需求的I/O接口和片內(nèi)外設(shè)。能夠定制計(jì)算結(jié)構(gòu)，結(jié)合現(xiàn)代FPGA中大量的資源，同時(shí)實(shí)現(xiàn)了高性能和良好的性價(jià)比和能效比。

但是，使用FGPA實(shí)際上是硬件設(shè)計(jì)功能，而不是軟件開(kāi)發(fā)工作。一般在寄存器傳送級(jí)(RTL)使用硬件描述語(yǔ)言(Verilog或者VHLD)來(lái)進(jìn)行 FPGA設(shè)計(jì)，寄存器傳送級(jí)是很低的抽象級(jí)。與使用本文討論的其他類型的處理器相比，這使得FPGA設(shè)計(jì)非常耗時(shí)，成本也高。

雖然如此，使用FPGA越來(lái)越方便了，這是由多種因素造成的。首先，是所謂的“IP模塊”庫(kù)——可重用FPGA設(shè)計(jì)組件庫(kù)，其功能越來(lái)越強(qiáng)大了。在某些情況下，這些庫(kù)能夠直接滿足視覺(jué)算法要求。在其他一些應(yīng)用中，它們還支持視頻I/O端口或者掃描線緩沖等功能。而且，F(xiàn)GPA供應(yīng)商及其合作伙伴提供了越來(lái)越多的參考設(shè)計(jì)——采用了FPGA的可重用系統(tǒng)設(shè)計(jì)，面向?qū)I(yè)應(yīng)用。最后，利用高級(jí)綜合工具，設(shè)計(jì)人員使用高級(jí)語(yǔ)言，在FPGA中實(shí)現(xiàn)視覺(jué)和其他算法，而且效率越來(lái)越高。用戶可以在FPGA中實(shí)現(xiàn)性能相對(duì)低一些的CPU。而且，在少量的應(yīng)用中，F(xiàn)PGA制造商在器件中集成了高性能CPU。

傳感器扮演什么角色?

很明顯，圖形傳感器是嵌入式視覺(jué)技術(shù)的關(guān)鍵。圖形傳感器在近年來(lái)已變得比較不那么昂貴了，這主要可歸功于行動(dòng)電話普遍且大量且地采用了圖形傳感器。除了傳統(tǒng)的圖形傳感器以外，許多視覺(jué)應(yīng)用都可以利用各式各樣的傳感器。例如，3D傳感器在微軟Kinect的應(yīng)用即其一例，3D傳感器可說(shuō)是許多應(yīng)用的一大福音，因?yàn)橛辛?D影像后確實(shí)簡(jiǎn)化了一些視覺(jué)任務(wù)。

在深入探索嵌入式系統(tǒng)以前，必須先具備哪些電腦視覺(jué)知識(shí)呢?

大多數(shù)的嵌入式系統(tǒng)設(shè)計(jì)工程師并不了解嵌入式視覺(jué)技術(shù)具有什么樣的能力。這是因?yàn)椋恢钡阶罱郧?，在大多?shù)的嵌入式系統(tǒng)中使用視覺(jué)技術(shù)仍不切實(shí)際;它畢竟還是太昂貴了。而今，為一系列廣泛的各種系統(tǒng)進(jìn)一步納入視覺(jué)性能，在經(jīng)濟(jì)上已經(jīng)變得較為可行了;因此，對(duì)于系統(tǒng)設(shè)計(jì)者而言，熟悉這項(xiàng)技術(shù)、并進(jìn)一步了解這項(xiàng)技術(shù)能做些什么是相當(dāng)重要的。

早期采用視覺(jué)技術(shù)的工程師們現(xiàn)在已經(jīng)可以拿出一些令人驚喜的新產(chǎn)品和產(chǎn)品功能了。當(dāng)然，工程師們不僅需要了解視覺(jué)技術(shù)能做什么，同時(shí)也要學(xué)會(huì)如何把視覺(jué)技術(shù)整合于自己的產(chǎn)品中。在這方面，目前雖然已經(jīng)累積了一些龐大的出版文獻(xiàn)可供參考，但其中絕大多數(shù)都是學(xué)術(shù)研究出版品，以及一些通常不適合協(xié)助工程師用于構(gòu)建解決方案的文獻(xiàn)。工程師們需要的是更實(shí)際的資訊，如指導(dǎo)方針、設(shè)計(jì)實(shí)例、架構(gòu)圖以及樣本程式碼等。

嵌入式視覺(jué)系統(tǒng)開(kāi)發(fā)平臺(tái)

從頭開(kāi)始打造一款視覺(jué)系統(tǒng)或子系統(tǒng)，可說(shuō)是一項(xiàng)龐大且復(fù)雜的工作。你必須從像影像傳感器與處理器等這一類的基本元素開(kāi)始，以及從無(wú)到有著手建立一種演算法。這對(duì)于資源的利用而言，并不是非常有效率的作法，特別是因?yàn)樵谝曈X(jué)應(yīng)用中還存在著不斷周而復(fù)始出現(xiàn)的共同問(wèn)題。

工程師們最好不要選擇這種卷土重來(lái)的做法，他們應(yīng)該能夠針對(duì)特定應(yīng)用的一些共同元素，重新使用業(yè)經(jīng)驗(yàn)證的解決方案，然后再將自己的專才發(fā)揮在其設(shè)計(jì)獨(dú)特之處。我個(gè)人認(rèn)為，這意味著我們需要專門針對(duì)視覺(jué)應(yīng)用的先進(jìn)開(kāi)發(fā)平臺(tái)，例如，其中包括開(kāi)發(fā)板以及合適的處理器、記憶體、I/O和圖形傳感器的視覺(jué)開(kāi)發(fā)平臺(tái)。同時(shí)還伴隨有建置一個(gè)或多個(gè)視覺(jué)應(yīng)用案例的應(yīng)用軟件。此外，這一視覺(jué)開(kāi)發(fā)平臺(tái)也提供了源代碼，使工程師們能夠參考這些范例應(yīng)用立即開(kāi)始工作，并對(duì)其設(shè)計(jì)進(jìn)行修改，或添加所需的獨(dú)特功能。