Road Mapping and Localization using Sparse Semantic Visual Features

Cheng W, Yang S, Zhou M, et al. Road Mapping and Localization using Sparse Semantic Visual Features[J]. IEEE Robotics and Automation Letters, 2021. ICRA2021

單位：阿里巴巴

針對(duì)問(wèn)題：

輕量級(jí)語(yǔ)義地圖構(gòu)建及定位。

提出方法：

文章采用了一種類(lèi)似于關(guān)鍵點(diǎn)檢測(cè)的方法，對(duì)典型路標(biāo)進(jìn)行典型關(guān)鍵點(diǎn)提??；對(duì)特定路標(biāo)設(shè)計(jì)了不同的參數(shù)模型進(jìn)行幀間優(yōu)化，相較于無(wú)優(yōu)化的點(diǎn)云疊加方式，該方法構(gòu)建了特征間的數(shù)據(jù)關(guān)聯(lián)，用于里程計(jì)自身的位姿估計(jì)同時(shí)也進(jìn)行更精確的路標(biāo)地圖構(gòu)建。

達(dá)到效果：

實(shí)現(xiàn)了KAIST數(shù)據(jù)集以及作者采集的數(shù)據(jù)集大場(chǎng)景范圍內(nèi)精確建圖及定位。

存在問(wèn)題：

文章所構(gòu)建的定位模塊在實(shí)現(xiàn)定位時(shí)采用GPS提供定位初值，再進(jìn)行局部精搜索并使用PnP進(jìn)行定位的策略，該方法在GPS信號(hào)較好且跳變較小時(shí)能實(shí)現(xiàn)較好效果，但在GPS-denied的場(chǎng)景使用受限，也許可以考慮結(jié)合HF-Net的方式進(jìn)行初始定位。

Abstract

我們提出了一種新的方法，通過(guò)提取、建模和優(yōu)化語(yǔ)義道路元素來(lái)實(shí)現(xiàn)自主車(chē)輛的視覺(jué)建圖和定位。具體來(lái)說(shuō)，我們的方法整合了級(jí)聯(lián)深度模型來(lái)檢測(cè)標(biāo)準(zhǔn)化的道路元素，而不是傳統(tǒng)的點(diǎn)特征，以尋求提高位姿的準(zhǔn)確性和地圖表示的緊湊性。為了利用結(jié)構(gòu)特征，我們通過(guò)其代表性的深層關(guān)鍵點(diǎn)為骨架和邊界建立路燈和標(biāo)志的模型，并通過(guò)piecewise cubic splines進(jìn)行車(chē)道參數(shù)化。基于道路語(yǔ)義特征，我們建立了一個(gè)完整的建圖和定位流程，其中包括a）圖像處理前端，b）傳感器融合策略，以及c）優(yōu)化后端。在公共數(shù)據(jù)集和我們的測(cè)試平臺(tái)上進(jìn)行的實(shí)驗(yàn)證明了我們的方法的有效性和優(yōu)勢(shì)，其表現(xiàn)優(yōu)于傳統(tǒng)方法。

Main Contributions

一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN）支持的圖像處理前端，以提取語(yǔ)義特征。

道路元素的參數(shù)化和損失函數(shù)的設(shè)計(jì)方法。

語(yǔ)義優(yōu)化模塊，可用于離線(xiàn)測(cè)繪和在線(xiàn)定位。

我們注意到，存在與我們的方法在概念上相似的方法，通過(guò)分割道路圖像和選擇穩(wěn)定區(qū)域的點(diǎn)。然而，穩(wěn)定語(yǔ)義區(qū)域中的點(diǎn)特征不一定是穩(wěn)定和緊湊的，而且高水平的信息，例如曲線(xiàn)，也沒(méi)有被利用。相比之下，我們的方法利用了多源語(yǔ)義信息，提供了更緊湊的表示，達(dá)到了更好的 "持久性 "和 "緊湊性"。

System Overview

我們的地圖和定位系統(tǒng)的骨干是一個(gè)緊密耦合的狀態(tài)優(yōu)化框架，具有批量和滑動(dòng)窗口策略。具體來(lái)說(shuō)，我們的算法提出在離線(xiàn)情況下建立基于標(biāo)準(zhǔn)化道路實(shí)例的語(yǔ)義地圖，并利用這種地圖進(jìn)行在線(xiàn)定位。所涉及的語(yǔ)義實(shí)例包括三種主要類(lèi)型：水平物體、地面物體和車(chē)道。給予一個(gè)關(guān)鍵幀，感知模塊執(zhí)行級(jí)聯(lián)深度檢測(cè)，以提取實(shí)例和它們的代表點(diǎn)作為視覺(jué)特征.

在離線(xiàn)建圖過(guò)程中，感知模塊對(duì)每個(gè)關(guān)鍵幀都要執(zhí)行。然后，對(duì)連續(xù)關(guān)鍵幀之間的檢測(cè)結(jié)果進(jìn)行跟蹤，以建立多視角關(guān)聯(lián)，共同估計(jì)相機(jī)軌跡和地標(biāo)位置。隨后，在以前訪(fǎng)問(wèn)過(guò)的路段上重新觀察到的實(shí)例被重新識(shí)別，并通過(guò)循環(huán)檢測(cè)進(jìn)行合并。最后，這些優(yōu)化的狀態(tài)被序列化為地圖資產(chǎn)用于定位。在在線(xiàn)地圖輔助定位過(guò)程中，感知模塊以較低的頻率運(yùn)行，以實(shí)現(xiàn)對(duì)計(jì)算單元的低成本消耗。因此，語(yǔ)義特征是通過(guò)混合檢測(cè)和跟蹤策略獲得。這些特征與保存的地圖相匹配，并由一個(gè)基于滑動(dòng)窗口優(yōu)化的測(cè)距系統(tǒng)使用，以減少全局漂移。

Selection of Road Features

考慮到地圖的稀疏化和查詢(xún)的有效性，城市道路上的以下標(biāo)準(zhǔn)化目標(biāo)適合作為語(yǔ)義地標(biāo)來(lái)檢測(cè)：1）道路旁邊電線(xiàn)桿頂部的燈和交通標(biāo)志足夠穩(wěn)定和高，可以被前置攝像頭捕捉。2）雖然有時(shí)會(huì)被車(chē)輛遮擋，但地面區(qū)域幾乎占據(jù)了每張圖像的一半，這使得那些涂在地面上的高對(duì)比度標(biāo)志無(wú)法被忽略。3）與地面標(biāo)志類(lèi)似，涂有實(shí)線(xiàn)和虛線(xiàn)的車(chē)道也經(jīng)常被觀察到。實(shí)線(xiàn)車(chē)道提供了一個(gè)方向的運(yùn)動(dòng)約束，虛線(xiàn)車(chē)道的拐角可以被視為索引點(diǎn)地標(biāo)。在這項(xiàng)工作中，我們選擇上述語(yǔ)義類(lèi)型作為目標(biāo)對(duì)象，以建立我們的語(yǔ)義地圖。

Detection of Road Features

我們的兩階段級(jí)聯(lián)檢測(cè)模塊首先進(jìn)行實(shí)例級(jí)檢測(cè)，以獲得實(shí)例作為盒子（即桿和地面）物體上的索引代表像素和車(chē)道輪廓上的樣本像素。然后，沿著這些檢測(cè)到的虛線(xiàn)車(chē)道，我們?cè)u(píng)估64×64的圖像補(bǔ)丁，以級(jí)聯(lián)檢測(cè)有索引的虛線(xiàn)車(chē)道角。為了減少對(duì)特征提取等可共享過(guò)程的重復(fù)計(jì)算，我們參考了無(wú)錨檢測(cè)方法CenterNet，該方法將低級(jí)特征提取過(guò)程與頂級(jí)頭像分離，以使這些頭像能夠適應(yīng)不同的任務(wù)。

Feature Tracking for Semantic Entities

我們使用匈牙利匹配策略，在像素空間中以實(shí)例和像素的方式關(guān)聯(lián)地面特征：1）在實(shí)例關(guān)聯(lián)期間，我們計(jì)算交叉聯(lián)合(IoU),對(duì)于常規(guī)物體的多邊形和對(duì)于車(chē)道的5.0像素寬度的折線(xiàn)。2）在像素方面的關(guān)聯(lián)中，我們計(jì)算其索引關(guān)鍵點(diǎn)的重投像素距離。IoU百分比<50%和像素距離>5.0的匹配被忽略。

對(duì)于在垂直物體（如電線(xiàn)桿）中檢測(cè)到的關(guān)鍵點(diǎn)，我們使用光流方法進(jìn)行幀間跟蹤。在特征跟蹤過(guò)程中，我們保留了由GFTT提取器和FREAK描述器提取、描述和跟蹤的經(jīng)典關(guān)鍵點(diǎn)，因?yàn)樗鼈儾粌H是視覺(jué)-慣性測(cè)距的一部分，而且是值得納入結(jié)構(gòu)化物體的穩(wěn)定跟蹤的點(diǎn)特征。與輸出掩碼的分割不同，檢測(cè)到的二維方框可能包含來(lái)自背景區(qū)域的GFTT特征關(guān)鍵點(diǎn)，特別是在極點(diǎn)實(shí)例中。因此，在II-F節(jié)討論的狀態(tài)初始化過(guò)程中，我們對(duì)這些背景特征關(guān)鍵點(diǎn)進(jìn)行了離群剔除。

Representation and Initialization of Road Lanes

State Estimator Design

基于上述新的變量和每個(gè)圖像幀C的原始幀位置TC，我們根據(jù)檢測(cè)和跟蹤的語(yǔ)義特征添加三種類(lèi)型的約束包括:

1)Points observation factors:

我們傾向于像以前的方法一樣，通過(guò)以下約束條件對(duì)常規(guī)關(guān)鍵點(diǎn)進(jìn)行三角化和參數(shù)化。

2)Spline observation factors:

我們使用下面的約束條件來(lái)動(dòng)態(tài)地將樣本和角點(diǎn)作為spline b的控制點(diǎn)的測(cè)量值。

3)Coplanar prior factors:

垂直和水平共面先驗(yàn)都是通過(guò)以下形式的殘差加入到優(yōu)化中。