下圖展示了這篇文章所構(gòu)建的因子圖，這篇文章針對場景中需要構(gòu)建的各個不同種類的路標(biāo)各自建立了不同的參數(shù)模型，并通過圖優(yōu)化的方式對各個路標(biāo)進(jìn)行狀態(tài)更新。

Initialization of ground and pole objects:

下面介紹上述的5個參數(shù)模型的初始化方法：

1.當(dāng)GNSS-VIO軌跡給定時，通過三角化特征點(diǎn)的方式獲取位姿估計(jì)。

2.我們使用它們所包含的deep points在XOY平面上進(jìn)行二維線擬合。

3.之后，如果沒有檢測到地面初始化的地面標(biāo)志，我們就使用每一幀中檢測到的車道凸包內(nèi)的傳統(tǒng)特征點(diǎn)，并應(yīng)用RANSAC三維平面擬合策略來去除移動車輛上的關(guān)鍵點(diǎn)。

Inilization of splines:

Offline mapping case

在這些變量被初始化后，我們根據(jù)常見的視覺-慣性測距約束推導(dǎo)出一個因子圖優(yōu)化，為了數(shù)值穩(wěn)定，在上述因子上添加了Cauchy損失函數(shù)，并將第一幀的位姿固定。所有的關(guān)鍵幀和檢測到的實(shí)例都參與到最后的BA調(diào)整中，以共同解決位姿和位置問題。

Online localization case

在在線定位過程中，我們從語義地圖中反序列化固定的語義地標(biāo)，即spline的控制點(diǎn)和常規(guī)的三維點(diǎn)，并將它們固定在公式4和5中，以增加對攝像機(jī)和地圖坐標(biāo)之間的相對位置的約束。在這個階段，不再需要像公式6那樣的共面約束。我們將在第II-I節(jié)中進(jìn)一步介紹這些因素是如何通過提議的地圖查詢策略構(gòu)建的。

Re-Identification and Feature Merging

我們進(jìn)行3D-3D關(guān)聯(lián)來重新識別語義對象，而不是進(jìn)行框架式的詞包查詢。原因是重復(fù)對象的密度（幾十米）相對于測繪過程中GNSS-VIO測距的定位不確定性要稀疏一些，而且這些標(biāo)準(zhǔn)化的道路元素之間的視覺外觀過于相似，無法區(qū)分。在實(shí)例化的物體和車道關(guān)聯(lián)過程中，我們將其中心點(diǎn)之間的距離小于5.0米（或車道為0.5米）的三角形物體視為相同的物體，然后以匈牙利策略逐級合并其包含的深層點(diǎn)和經(jīng)典點(diǎn)的觀測結(jié)果。深層點(diǎn)的語義類型被用于拒絕不匹配。而對于每個伴隨的GFTT點(diǎn)，我們使用它們在多幀中的FREAK描述符進(jìn)行投****。我們使用union-find算法來合并它們的觀察結(jié)果，并進(jìn)行另一輪全局狀態(tài)優(yōu)化。

Data Structure of Semantic Maps

對于每個觀測c，我們在全局坐標(biāo)TC中存儲其估計(jì)姿態(tài)，以及用于在線GPS查詢的最近的GNSS測量。對于每個分層語義地標(biāo)，我們存儲語義標(biāo)簽和所包含的深度和GFTT點(diǎn)的三維位置。在我們的語義地圖中，既不存儲FREAK描述符，也不存儲框架性描述符。

Localization Based on Semantic Maps

我們使用上圖所示的狀態(tài)機(jī)來評估在線定位的位姿質(zhì)量，并相應(yīng)地執(zhí)行不同的策略。從地圖未初始化的狀態(tài)開始，在這個狀態(tài)下，從地圖坐標(biāo)到當(dāng)前全局坐標(biāo)TM的全局變換是未知的，我們使用粗略的GPS測量來檢索相應(yīng)的地圖分區(qū)，以獲得相應(yīng)的觀測。

在局部搜索模式下，我們可以獲得地標(biāo)子集LM=G(OM)，用于通過索引的深層物體關(guān)鍵點(diǎn)建立二維三維PnP-Ransac關(guān)聯(lián)。要接受這樣一個估計(jì)的PnP姿態(tài)是有效的，至少需要來自5個不同實(shí)例的12個傳入點(diǎn)，以切換到兩個跟蹤狀態(tài)并初始化TM。

我們使用兩個階段的跟蹤狀態(tài)，根據(jù)其位姿質(zhì)量應(yīng)用不同的閾值。在這兩種跟蹤狀態(tài)下，重建的關(guān)聯(lián)將通過公式4和5被添加到滑動窗口優(yōu)化中，其中幀到全局變換的原始TC被幀到地圖變換的TCM取代，而TM被視為優(yōu)化過程中的一個額外的可優(yōu)化變量。

在這樣的兩種跟蹤模式中，我們將所有的地圖實(shí)例投射到在線檢測的幀c上，并使用以下標(biāo)準(zhǔn)，通過匈牙利式匹配接受投影關(guān)聯(lián)，如。

Experimental Evaluation

Datasets

本文所構(gòu)建的系統(tǒng)在KAIST數(shù)據(jù)集以及作者自己錄制的兩個數(shù)據(jù)集上進(jìn)行了測試。

Performance

結(jié)果顯示了我們訓(xùn)練的深度模型在KAIST數(shù)據(jù)集上的表現(xiàn)，由于它們在圖像上的不同表現(xiàn)，盒子里的物體被分為三個有代表性的子類型（電線桿、交通標(biāo)志和地面標(biāo)志）。我們在測試集上分別評估這些任務(wù)，得出它們的分類精度、檢測召回率，另外，表中的提取像素誤差，下圖為像素誤差的分布直方圖。

Evaluations on Localization and Mapping

在這個測試中，我們對每個序列運(yùn)行兩次，分別進(jìn)行測繪和地圖輔助定位。圖7列出了測試序列的結(jié)果。我們提出的方法所產(chǎn)生的語義圖需要的文件大小要少得多，同時提供了有競爭力的定位性能。例如，KAIST-38的語義地圖占據(jù)了1.54MB的磁盤空間來達(dá)到0.46米的定位精度，而傳統(tǒng)的地圖在設(shè)置K=8時需要7.60MB來達(dá)到0.75米。對杭州序列的測試也反映了同樣的趨勢?？偟膩碚f，我們提出的方法中的語義圖要比那些設(shè)定的覆蓋點(diǎn)特征圖小近5倍，才能達(dá)到類似的定位性能。

Cross-Relocalization

下表顯示了這種對等的交叉定位結(jié)果。可以看出，我們提出的含有方框物體和道路車道的語義地圖的方法在所有交叉驗(yàn)證測試中都完成了成功的定位。對于傳統(tǒng)地圖，我們用包括全尺寸地圖在內(nèi)的多種設(shè)置進(jìn)行測試。不幸的是，由于在不同季節(jié)和時間段捕獲的視覺特征的嚴(yán)重變化，在28序列的地圖上運(yùn)行KAIST-38序列的定位始終失敗。因此，集合覆蓋稀疏化需要應(yīng)用更大的K值來進(jìn)行交叉重定位，以保持足夠可靠的特征。對于Maplab來說，由于保留的信息量大的三維點(diǎn)通常與更多的局部視覺描述符有關(guān)，因此結(jié)果的地圖大小比預(yù)期的要大。相比之下，我們提出的方法依賴于從標(biāo)準(zhǔn)化和持久化的道路元素中提取的深層特征?？傊?，這種語義替換在交叉定位上比傳統(tǒng)地圖和Maplab都有更大的優(yōu)勢，對杭州序列的實(shí)驗(yàn)也反映了同樣的趨勢，這表明在緊湊性和定位精度上都有優(yōu)勢。

Modular and Efficiency Analysis

下表表示我們的定位所涉及的兩種跟蹤狀態(tài)的統(tǒng)計(jì)數(shù)據(jù)。在大多數(shù)情況下，我們的方法在緊密跟蹤模式下運(yùn)行，這反映了更好的定位精度。

下表顯示了來自不同語義實(shí)例的平均用點(diǎn)數(shù)量。由于相機(jī)可以觀察和檢測到比地面物體相對較遠(yuǎn)的有效的電線桿和標(biāo)志物，這些物體對定位的貢獻(xiàn)最大。

我們還分析了不同定位模式下語義對象關(guān)聯(lián)的時間消耗。在在線定位期間，感知和地圖查詢模塊都在一個獨(dú)立的線程中運(yùn)行。在感知模塊中，如果單獨(dú)檢測，車道需要17.6毫秒/693MB，車道線檢測需要7.5毫秒/422MB，其他物體和關(guān)鍵點(diǎn)檢測需要17.3毫秒/1177MB。在地圖查詢模塊中，本地搜索模式的平均時間消耗約為300毫秒，而對于占主導(dǎo)地位的松耦合跟蹤或緊耦合跟蹤模式，它減少到不到1毫秒?？傮w時間消耗低于我們設(shè)計(jì)的定位查詢頻率（1Hz）。

Stability of Semantic Mapping

下表顯示了經(jīng)典和語義建圖方法中的建圖誤差。這表明引入語義對象并不明顯影響建圖的質(zhì)量

Conclusion

本文提出了一個語義建圖和定位流程。包括電桿、標(biāo)志和公路車道在內(nèi)的實(shí)例被檢測到并被參數(shù)化，以形成一個緊湊的語義圖，從而實(shí)現(xiàn)高效和準(zhǔn)確的定位。