來(lái)源：大數(shù)據(jù)文摘

人工視覺(jué)系統(tǒng)，一直是自動(dòng)駕駛領(lǐng)域的核心技術(shù)之一。

目前，所有的人工視覺(jué)系統(tǒng)都是單獨(dú)基于陸地或者單獨(dú)基于水下開發(fā)的，視野一般也只有180度。

對(duì)于普通人來(lái)說(shuō)，這也許夠用，但是對(duì)于需要同時(shí)在陸地和水下作業(yè)的機(jī)器人來(lái)說(shuō)，一雙可以切換陸地和水下模式的兩棲計(jì)算機(jī)視覺(jué)系統(tǒng)，就顯得非常重要了。

MIT人工智能實(shí)驗(yàn)室(CSAIL)、光州科學(xué)技術(shù)研究所(GIST)和韓國(guó)首爾國(guó)立大學(xué)(Seoul National University)開發(fā)了一種新型的人工視覺(jué)系統(tǒng)，靈感來(lái)自招潮蟹，可以在水陸兩棲通用的同時(shí)，還能擁有360度的環(huán)形事業(yè)，非常炫酷。

這一研究被發(fā)表于Nature Electronics，論文題目就叫《具有全景視野的兩棲人工視覺(jué)系統(tǒng)》（An amphibious artificial vision system with a panoramic visual field）。

無(wú)視外部環(huán)境折射率變化，始終保持焦距穩(wěn)定

這個(gè)人工視覺(jué)系統(tǒng)的靈感來(lái)自于招潮蟹復(fù)眼的功能和解剖結(jié)構(gòu)。

一對(duì)火柴棒般突出的眼睛是招潮蟹的特點(diǎn)之一，眼柄細(xì)長(zhǎng)。在覓食時(shí)，兩只眼睛高高豎起，觀察周圍動(dòng)靜。一旦發(fā)現(xiàn)情況，就迅速撤離。

招潮蟹的活動(dòng)隨潮水的漲落有一定的規(guī)律，高潮時(shí)則停于洞底，退潮后則到海灘上活動(dòng)、取食、修補(bǔ)洞穴，所以招潮蟹的眼睛能夠適應(yīng)水下和陸地兩種環(huán)境。

招潮蟹的角膜是扁平的，折射率可以變化，可以抵消由于外部環(huán)境變化而產(chǎn)生的散焦效應(yīng)——這對(duì)其他復(fù)眼動(dòng)物來(lái)說(shuō)是一個(gè)極大的限制。 

模仿招潮蟹的眼睛，研究人員將微透鏡陣列與漸變折射率和柔性梳狀硅光電二極管陣列結(jié)合在一個(gè)球形結(jié)構(gòu)上。

微透鏡表面平坦，無(wú)論空氣和水之間的外部折射率如何變化，都能保持焦距，球形基板上的梳狀圖像傳感器陣列顯示出極其廣闊的視野，幾乎覆蓋了整個(gè)360方向。

通過(guò)對(duì)5個(gè)不同距離和方向的物體進(jìn)行成像，在空中和水中實(shí)驗(yàn)中測(cè)試了兩棲和全景成像能力，研究人員發(fā)現(xiàn)該人工視覺(jué)系統(tǒng)在陸地和水生環(huán)境中提供了一致的圖像質(zhì)量和近360度視場(chǎng)，這意味著該系統(tǒng)可以同時(shí)看到水下和陸地的世界！

“我們的系統(tǒng)可以用于非常規(guī)應(yīng)用的開發(fā)，如全景運(yùn)動(dòng)檢測(cè)和在不斷變化的環(huán)境中進(jìn)行避障，以及增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)。目前，通常用于智能手機(jī)、汽車和監(jiān)視/監(jiān)控?cái)z像頭的半導(dǎo)體光學(xué)單元的尺寸在實(shí)驗(yàn)室層面受到限制?！盙IST 電氣工程和計(jì)算機(jī)科學(xué)教授 Young Min Song表示。 

“不過(guò)，三星電子、SK海力士等影像傳感器制造企業(yè)的技術(shù)，還可以克服技術(shù)上的局限性，開發(fā)出比現(xiàn)有產(chǎn)品更小、成像性能更好的相機(jī)。” 期待通過(guò)該新型概念影像傳感器的生產(chǎn)，提高國(guó)內(nèi)（韓國(guó)）系統(tǒng)半導(dǎo)體技術(shù)水平?！?nbsp;

五個(gè)不同方向的物體被成功捕獲

招潮蟹的眼睛已經(jīng)進(jìn)化到能同時(shí)看到幾乎所有方向的東西，以避免攻擊開闊的潮汐平原，并與配偶進(jìn)行交流和互動(dòng)。

這也是MIT和韓國(guó)科學(xué)家合作開發(fā)的視覺(jué)系統(tǒng)的目標(biāo)。

仿生視覺(jué)系統(tǒng)其實(shí)并不新鮮——2013年，《自然》雜志報(bào)道了一種模仿昆蟲復(fù)眼的寬視場(chǎng)(FoV)攝像機(jī)；2020年，一種模仿魚眼的寬視場(chǎng)攝像機(jī)問(wèn)世。

雖然這些相機(jī)可以同時(shí)捕捉到大面積的畫面，但是在結(jié)構(gòu)上很難超過(guò)180度。

最近，360度視野的商業(yè)產(chǎn)品已經(jīng)開始發(fā)揮作用，然而，這些設(shè)備可能很笨重，因?yàn)樗鼈儽仨毢喜?lái)自兩個(gè)或更多攝像機(jī)的圖像，并且為了擴(kuò)大視野，你需要一個(gè)配置復(fù)雜的光學(xué)系統(tǒng)，這也會(huì)導(dǎo)致畸變。

當(dāng)周圍環(huán)境發(fā)生變化時(shí)，比如在空中和水下，保持聚焦能力就更難了——因此，這項(xiàng)研究才去的如此關(guān)注。

在測(cè)試過(guò)程中，五個(gè)不同距離的物體（海豚、飛機(jī)、潛水艇、魚和船）從不同角度被人工視覺(jué)系統(tǒng)成功捕獲。

研究小組進(jìn)行了多激光斑點(diǎn)成像實(shí)驗(yàn)，人造圖像與模擬結(jié)果成功匹配。為了進(jìn)一步深入，他們將設(shè)備浸入容器中的水中，結(jié)果也很成功。

這項(xiàng)工作未來(lái)的發(fā)展包括更多研究受生物啟發(fā)的光適應(yīng)方案，以尋求更高的分辨率和優(yōu)越的圖像處理技術(shù)。

“這是一個(gè)壯觀的光學(xué)工程和非平面成像項(xiàng)目，結(jié)合了仿生設(shè)計(jì)和先進(jìn)的柔性電子技術(shù)，實(shí)現(xiàn)了傳統(tǒng)相機(jī)無(wú)法實(shí)現(xiàn)的獨(dú)特功能。可能的應(yīng)用范圍從人口監(jiān)測(cè)到環(huán)境監(jiān)測(cè)。”西北大學(xué)教授約翰 · 羅杰斯說(shuō)。

這項(xiàng)研究得到了基礎(chǔ)科學(xué)研究所、韓國(guó)國(guó)家研究基金會(huì)(NRF)以及2022年由GIST資助的GIST-MIT研究合作基金的支持。

相關(guān)報(bào)道：https://www.csail.mit.edu/news/researchers-create-first-artificial-vision-system-both-land-and-waterhttps://www.engadget.com/crab-inspired-artificial-vision-system-land-water-123907481.htmlhttps://www.nature.com/articles/s41928-022-00789-9