沒錯(cuò)，看到標(biāo)題各位一定已經(jīng)知道了，本篇文章我們接著來聊一聊Apple Vision Pro。Apple Vision Pro在北美正式發(fā)售至今已經(jīng)過了一個(gè)月多了，筆者也是寫了數(shù)篇文章來講解了這款Apple全新的空間計(jì)算設(shè)備，那為什么今天還來探討Apple Vision Pro呢？因?yàn)?，筆者突然意識到有一個(gè)十分重要的部件，一直沒有涉及，這便是Apple Vision Pro之中全新搭載的芯片，用于空間計(jì)算的R1芯片。

單從Apple發(fā)布會(huì)的公開信息來看，R1 芯片是為應(yīng)對實(shí)時(shí)傳感器處理任務(wù)而設(shè)計(jì)的。它負(fù)責(zé)處理來自12個(gè)攝像頭、5個(gè)傳感器和6個(gè)麥克風(fēng)的數(shù)據(jù)，這樣的設(shè)計(jì)使得R1幾乎消滅了延時(shí)，確保新圖像能在極短的時(shí)間內(nèi)（12毫秒）傳輸?shù)斤@示屏，這一速度甚至快達(dá)眨眼速度的8倍。與此同時(shí)，M2芯片負(fù)責(zé)Vision Pro自身的運(yùn)轉(zhuǎn)性能，而R1則專注于確保用戶能夠獲得如同發(fā)生在面前般的實(shí)時(shí)體驗(yàn)。總結(jié)來看，R1主要承擔(dān)的是傳感器數(shù)據(jù)的處理和部分圖像處理的任務(wù)。

顯然這些信息很難讓我們了解這顆R1芯片具體是什么，它又在Apple Vision Pro之中具體起到了哪些作用。而近期流出的一些Apple Vision Pro的拆解圖，再結(jié)合一下Apple自己發(fā)布的專利信息，我們也許可以一窺一二。從拆解之中，我們可以清晰得發(fā)現(xiàn)，R1芯片相比于M2芯片來說規(guī)模著實(shí)是不小，根據(jù)測量，R1的芯片面積為270平方毫米，而旁邊的M2芯片只有120平方毫米。而更進(jìn)一步來看，可以發(fā)現(xiàn)R1芯片有十分明顯的對稱Chiplet封裝的痕跡，總共5種，共計(jì)11顆芯片。

根據(jù)一些分析機(jī)構(gòu)的資料，大致可以看出，R1芯片采用了臺積電的Fan-out扇出型封裝技術(shù)。所謂“扇出型封裝技術(shù)”，其采取在芯片尺寸以外的區(qū)域做I/O接點(diǎn)的布線設(shè)計(jì)，提高I/O接點(diǎn)數(shù)量。采用RDL工藝讓芯片可以使用的布線區(qū)域增加，充分利用到芯片的有效面積，達(dá)到降低成本的目的。扇出型封裝技術(shù)完成芯片錫球連接后，不需要使用封裝載板便可直接焊接在印刷線路板上，這樣可以縮短信號傳輸距離，提高電學(xué)性能。

這一封裝技術(shù)為R1芯片提供了獨(dú)特的結(jié)構(gòu)和功能，使其能夠高效處理從頭顯各處的攝像頭、麥克風(fēng)等傳感器收集的大量數(shù)據(jù)?？梢娫摲庋b也一定是Apple所宣傳的Vision Pro只有12ms的光子延時(shí)的底氣來源之一。進(jìn)一步看R1的封裝，可以發(fā)現(xiàn)其封裝形式與大多數(shù)手機(jī)處理器等有所不同。它僅由扇出金屬化組成，這種設(shè)計(jì)形成了內(nèi)部連接和R1以外的系統(tǒng)級連接。在拆解分析中，還發(fā)現(xiàn)R1內(nèi)部包含三個(gè)功能芯片：一個(gè)臺積電制造的處理器位于中央，以及兩個(gè)專門的SK海力士存儲芯片。這些芯片通過扇出金屬化被縫合在一起，形成了高密度互連墊的邊緣區(qū)域。值得注意的是，在R1封裝中，除了這三個(gè)有源芯片外，還有八個(gè)虛擬硅晶片圍繞在它們周圍。這些虛擬硅晶片填滿了封裝足跡，但實(shí)際上除了單純的硅之外，并沒有任何電路和功能。

當(dāng)我們打開Apple自己的iBoot配置文件的時(shí)候，我們又能看到更多關(guān)于R1的信息，我們可以發(fā)現(xiàn)R1的架構(gòu)是Arm v8.4，根據(jù)B站up主@Luv Letter的信息，A12的架構(gòu)是v8.3，而A14的架構(gòu)是v8.5，那么至此我們就能得到這樣一個(gè)簡單明了的結(jié)論，R1和A13處理器同源，其中應(yīng)該有大量A13或者同源M1芯片的技術(shù)。而且不難發(fā)現(xiàn)，R1的代號為N301BORAAP，這能看出在Apple的定義中，R1很可能不是一個(gè)簡單的信號處理芯片，而是和M2類似的應(yīng)用處理芯片。而當(dāng)我們?nèi)シ喴恍゛pple自己的專利文件時(shí)，也會(huì)發(fā)現(xiàn)在

而當(dāng)我們?nèi)シ喴恍?/span>Apple自己的專利文件時(shí)，也會(huì)發(fā)現(xiàn)在一篇名為 《Video Pipeline》的Apple Vision Pro的專利時(shí)，其內(nèi)容更是直接表示了R1內(nèi)部集成了GPU，那我們就能給這顆R1芯片下一個(gè)初步的定義了，它在Apple Vision Pro中是一個(gè)主要負(fù)責(zé)雙目渲染的高性能應(yīng)用處理器。

至此，我們還有一個(gè)問題需要回答，落實(shí)到實(shí)處，R1的加入究竟給用戶帶來了什么具體的效果體驗(yàn)?zāi)?？如果您在之前體驗(yàn)過Meta的Quest系列VR頭顯設(shè)備，也許會(huì)對其對于用戶手部扣像的體驗(yàn)記憶深刻，此功能為用戶提供了無需佩戴額外控制器就能與虛擬世界進(jìn)行交互的能力，其可以直接用使用者自己的雙手在虛擬環(huán)境中進(jìn)行操作，比如抓取物品、操縱界面元素等。這種自然的交互方式大大增強(qiáng)了虛擬現(xiàn)實(shí)的沉浸感，使用戶感覺更加身臨其境。極大的增加了VR的沉浸感。但是Quest給出的手部扣像方案的精度十分感人，在用戶的手距離眼睛過近之時(shí)還有嚴(yán)重的畸變。而產(chǎn)生這種現(xiàn)象的根本原因就是捕捉外部畫面的攝像頭一定會(huì)和用戶的眼睛不在同一個(gè)位置，因此攝像頭捕捉的畫面和用戶眼睛能看到的畫面范圍一定不會(huì)完全重合，當(dāng)用戶的手移動(dòng)到攝像頭盲區(qū)時(shí)，就只能通過這種“拙劣”的計(jì)算和拉伸畫面來填補(bǔ)畫面中看不到的地方，從而就變成了用戶看到手部周圍有嚴(yán)重的畸變，對于沉浸感一定會(huì)有不小的影響。

Quest的手部扣像并不精準(zhǔn)，且有嚴(yán)重畸變

  在Apple Vision Pro中，Apple則是實(shí)現(xiàn)了更加精準(zhǔn)可用且?guī)缀鯖]有畸變的手部扣像效果，而著背后的計(jì)算很大概率就是R1所完成的。那么Apple是如何做到幾乎完美的手部扣像效果的呢？我們還是要再一次回到Apple的專利之中尋找答案。

Apple給出的方案，手部就被精準(zhǔn)扣出，且?guī)缀鯚o畸變

首先，既然攝像頭和人眼之間存在誤差，那么首要就是通過計(jì)算盡可能得將攝像頭畫面投射到人眼之中，這里面需要知道物理精準(zhǔn)的距離，這時(shí)就需要ToF鏡頭和LiDAR（激光雷達(dá)）融合AI來計(jì)算物體的距離，也就是對外界世界敬請建模；其次，我們上文提到過，攝像頭存在和眼睛不重合的區(qū)域，在攝像頭看不見的地方，要怎樣真實(shí)還原呢？Apple給出了一個(gè)十分聰明的做法，那便是通過一系列的攝像頭相互補(bǔ)充畫面，比如在右眼附近的攝像頭看不到的區(qū)域，就使用左眼的攝像頭來捕捉，把畫面還原，之后利用“注視點(diǎn)機(jī)制”將縫合后的畫面羽化掉，從而達(dá)到一個(gè)自然的扣圖效果。在這個(gè)過程中，M2負(fù)責(zé)所有的計(jì)算，而R1就負(fù)責(zé)最終的畫面矯正和輸出。

最后總結(jié)一下，Apple通過M2芯片和R1芯片來共同實(shí)現(xiàn)Apple Vision Pro的空間體驗(yàn)。這兩個(gè)芯片的大致分工是M2芯片負(fù)責(zé)運(yùn)行visionOS（Apple Vision Pro的專屬操作系統(tǒng)，類似iOS，iPad OS），運(yùn)行計(jì)算機(jī)視覺算法，提供圖形運(yùn)算和顯示，類似于電腦里的CPU+GPU的綜合體；R1芯片專門用于處理來自攝像頭、傳感器和麥克風(fēng)的輸入信息，在12毫秒內(nèi)將圖像傳輸?shù)斤@示器（劃重點(diǎn)），從而實(shí)現(xiàn)幾乎無延遲的實(shí)時(shí)視圖。