*基金項目：湖南省自然科學(xué)基金(No.2018JJ4074,No.2018JJ4077)；湖南省教育廳科學(xué)研究項目(No.19A139)。

作者簡介: 舒小華(1965－),男,博士,副教授,碩士生導(dǎo)師,研究領(lǐng)域為圖像處理、智能交通,E-mail: [email protected]。

何許梅(1996－),女, 碩士生,研究領(lǐng)域為圖像處理、智能信息處理。

0   引言

行人檢測是目標(biāo)檢測領(lǐng)域中重要的研究課題，其在智能駕駛系統(tǒng)、視頻監(jiān)控、人流量密度監(jiān)測等領(lǐng)域有廣泛應(yīng)用^[1-2]。但由于行人背景的復(fù)雜以及個體本身的差異，行人檢測成為目標(biāo)檢測領(lǐng)域的研究難點之一。

目前行人檢測方法主要分為兩類：傳統(tǒng)的行人識別主要通過人工設(shè)計特征結(jié)合分類器的方式進行。比較經(jīng)典的方法有HOG+SVM^[3]、HOG+LBP^[4] 等。此類方法可以避免行人遮擋帶來的影響，但是泛化能力和準(zhǔn)確性較低^[5]，難以滿足實際需求。另一類是基于深度學(xué)習(xí)的方法。通過多層卷積神經(jīng)網(wǎng)絡(luò)(CNN) 對行人進行分類和定位。與傳統(tǒng)特征算子相比，CNN 能根據(jù)輸入的圖像自主學(xué)習(xí)特征，提取圖像中更豐富和更抽象的特征。目前已有許多基于深度學(xué)習(xí)的目標(biāo)檢測框架，如R-CNN(Region Convolutional Neural Network) 系列^[6-8]、YOLO(You Look at Once) 系列[9-12]。R-CNN 系列算法又被稱為二階段算法^[13]，該類算法通過網(wǎng)絡(luò)找出待檢測目標(biāo)可能存在的位置，即疑似區(qū)域，然后利用特征圖內(nèi)的特征信息對目標(biāo)進行分類，優(yōu)點是檢測準(zhǔn)確率較高，但實時性較差。YOLO 系列算法又稱為一階段算法^[14]，此類算法所有工作過程在一個網(wǎng)絡(luò)內(nèi)實現(xiàn)，采用端到端的方式，將目標(biāo)檢測問題轉(zhuǎn)換為回歸問題，使其網(wǎng)絡(luò)的實時性得到了較好的提高，但準(zhǔn)確率卻不及Faster R-CNN（Faster Region Convolutional Neural Network,更快速的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)）。

本論文借鑒目標(biāo)檢測的R-CNN 系列算法，在Faster R-CNN 網(wǎng)絡(luò)的第一層卷積層前加入一個預(yù)處理層，其次使用K-means 算法聚類分析anchor 框中行人的寬高比，選出適合行人的寬高比作為anchor 的尺寸，提出交通場景下基于Faster R-CNN 的行人檢測算法。所提方法在自制的交通場景下的數(shù)據(jù)集上進行測試，實驗表明網(wǎng)絡(luò)的檢測效果有明顯提升。

1   Faster R-CNN檢測方法

Faster R-CNN 的檢測框架如圖1 所示。其檢測流程主要分為4 部分：卷積網(wǎng)絡(luò)、RPN(Region Proposal Network)、感興趣區(qū)域池化(RoI Pooling) 以及目標(biāo)檢測分類。

卷積網(wǎng)絡(luò)由卷積層、池化層和輸出層構(gòu)成，各網(wǎng)絡(luò)層之間權(quán)值共享，從訓(xùn)練的數(shù)據(jù)集中學(xué)習(xí)并自動提取目標(biāo)特征。與傳統(tǒng)手工設(shè)計特征相比，具有更好的泛化能力。

RPN 使用一個3×3 的塊在最后一個卷積層輸出的特征圖上滑動來獲得區(qū)域建議框即anchor 框，F(xiàn)asterR-CNN中的anchor 框有3 種比例尺寸，分別為0.5、1、2。

Faster R-CNN 的全連接層需要固定大小的輸入，因此通過RoI 池化將不同大小的RoI 轉(zhuǎn)成固定的大小。圖2 為RoI 的池化過程。

在檢測分類階段，分類函數(shù)計算得分，得到目標(biāo)的所屬類別，同時通過邊界框回歸計算出檢測框的位置偏移量，得到更精確的位置。

2   改進的行人檢測方法

Faster R-CNN 是針對通用目標(biāo)的檢測網(wǎng)絡(luò)，識別的類別數(shù)為20，但在行人檢測中只需要識別“行人”及“背景”這兩個類別。由于圖片中的行人在圖片中所占的比例較小，因此設(shè)計一個預(yù)處理層，提取一層底層特征（本文提取紋理特征），再與原始圖像一起輸入到卷積網(wǎng)絡(luò)中，能夠減少訓(xùn)練所需的時間。

2.1 預(yù)處理層

選擇傳統(tǒng)行人檢測方法中的紋理特征(LBP 特征) 作為預(yù)處理部分要提取的特征。LBP 特征描述了圖片的局部紋理，它以

每個像素值為中心取一個局部鄰域區(qū)域，比較該區(qū)域內(nèi)的每個像素的灰度值與中心像素的灰度值，得到一個二進制碼，即該中心像素的LBP 值。但會導(dǎo)致二進制模式種類過多，所以等價模式(Uniform Pattern) 應(yīng)運而生。等價LBP[15-16] (ULBP) 在LBP 算子的基礎(chǔ)上，統(tǒng)計二進制數(shù)中“01”或“10”跳變的次數(shù)，若跳變次數(shù)在2 次以內(nèi)，則稱為一個等價模式類，定義式為：

式中， gp 表示鄰域像素值， gc 表示中心像素值，U(LBP ) _P,R 代表“01”或“10”的跳變次數(shù)。

從圖3 中可以看出，圖像中行人與背景的區(qū)別轉(zhuǎn)換成了紋理上的差異。

(a)原圖

(b)ULBP圖

圖3 原圖與ULBP圖

2.2 anchor框聚類分析

使用k-means 聚類對訓(xùn)練集中所有行人目標(biāo)的真實框進行聚類分析。anchor 框聚類分析算法的主要流程：

Step1：將訓(xùn)練集中所有目標(biāo)框的寬高構(gòu)成數(shù)據(jù)集D，再從D 中隨機選擇一個聚類中心ci false；

Step2：求D 中每個樣本s 到ci 的距離，記為di ，將使di 最小的那個樣本歸到ci 中；

Step4：循環(huán)執(zhí)行Step2 和Step3，直到聚類中心不變。

取出所有行人標(biāo)注框的坐標(biāo)信息，計算出每一個標(biāo)注框的寬和高，并對其進行聚類統(tǒng)計，這里取聚類數(shù)k = 3 。隨后，計算寬與高的比值，使用統(tǒng)計直方圖的方法求出其均值，得到寬高比的均值μ = 0.39 ，也就是說訓(xùn)練集中目標(biāo)的anchor 框的合適的寬高比是0.39，即w ≈ 0.39h。圖 4 為行人 anchor 框的寬高統(tǒng)計結(jié)果。

因此，本文將原Faster R-CNN 算法中anchor 框的寬高比修改為(0.39:1)。

a)寬高統(tǒng)計圖

(b)寬高比統(tǒng)計圖

圖4 寬高聚類分析

3   實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集

實驗數(shù)據(jù)集來源有：車載攝像頭拍攝的圖片、手機拍攝的圖片，選取光照條件比較好的圖片作為數(shù)據(jù)集，采用LabelImg 圖像標(biāo)注工具對采集到的圖片進行標(biāo)注，標(biāo)注的區(qū)域包含行人的輪廓，得到帶標(biāo)簽的行人數(shù)據(jù)集，共計1 304 張。標(biāo)簽名統(tǒng)一采用person 表示。在模型的訓(xùn)練階段，選取數(shù)據(jù)集的80% 來訓(xùn)練模型，20% 作為測試集。部分實驗數(shù)據(jù)集如圖5 所示。

圖5 數(shù)據(jù)集樣本

3.2 實驗平臺及訓(xùn)練

實驗所使用的軟硬件環(huán)境如表1 所示。

表1 軟硬件配置

訓(xùn)練參數(shù)如表2 所示。

表2 訓(xùn)練參數(shù)設(shè)置

3.3 實驗結(jié)果分析

實驗采用平均準(zhǔn)確度(mAP)^[17] 作為判斷算法性能的標(biāo)準(zhǔn)。在自制的數(shù)據(jù)集上進行實驗，檢測精度達(dá)到了90.1%。所提方法檢測結(jié)果與直接使用Faster R-CNN的檢測效果對比如圖6 所示，圖6(a) 表示直接使用Faster R-CNN 的檢測效果，圖6(b) 表示所提算法的檢測效果，通過左右圖片對比可以看出，使用所提算法檢測出來的目標(biāo)個數(shù)要優(yōu)于調(diào)整前的檢測個數(shù)。

(a) Faster R-CNN檢測結(jié)果

(b)本文方法結(jié)果

圖6 測試結(jié)果對比

為了比較調(diào)整寬高比對模型準(zhǔn)確率的影響，在自制數(shù)據(jù)集上對原算法和所提算法分別訓(xùn)練40 000 次。得到的檢測準(zhǔn)確率如表3 所示，所提算法的準(zhǔn)確率較原算法提高了1.8%。

表3 調(diào)整寬高比前后測試結(jié)果

4   結(jié)語

以Faster R-CNN 為基礎(chǔ)，通過在卷積層之前加入一個預(yù)處理層成功實現(xiàn)行人檢測的目標(biāo)。以自制數(shù)據(jù)集為訓(xùn)練和測試網(wǎng)絡(luò)所需的數(shù)據(jù)，針對漏檢和誤檢，提出將紋理特征作為底層特征對原圖進行預(yù)處理，同時使用K-means 算法對行人寬高比進行統(tǒng)計分析，得出適合數(shù)據(jù)集中行人的寬高比尺寸，達(dá)到降低漏檢的目的。實驗測試結(jié)果表明，本文算法可以有效提高交通場景下行人檢測的準(zhǔn)確率，在漏檢率和誤檢率上，分別提高了5%、6.1%。但存在訓(xùn)練樣本還不夠豐富，因此下一步研究工作的重點將放在提高檢測模型的實時性和魯棒性上。

參考文獻：

[1] 許言午,曹先彬,喬紅.行人檢測系統(tǒng)研究新進展及關(guān)鍵技術(shù)展望[J].電子學(xué)報,2008,36(5):368-376.

[2] 劉建國,羅杰,王帥帥,等.基于YOLOv2的行人檢測方法研究[J].數(shù)字制造科學(xué),2018,16(1):50-54.

[3] DALAL N，TRIGGS B. Histograms of oriented gradients for human de-tection[C].2005 IEEE Computer Society Conference on Computer Vi-sion and Pattern Recognition,2005:886-893.

[4] WANG X,HAN T X,YAN S.An HOG－LBP Human Detector with Partial Occlusion Handling[C]∥Proc.2009 IEEE 12th International Conference on ComputerVision.Kyoto: IEEE Press,2009:32－39．

[5] 賈慧星,章毓晉.車輛輔助駕駛系統(tǒng)中基于計算機視覺的行人檢 測研究綜述[J].自動化學(xué)報,2007,33(1):84 -90.

[6] LIN T K,DOLLAR P,GIRSHICK R,et al.Feature pyramid networks for object detection[C].//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，July 21-26，2017，Honolulu，HI，USA，NewYork：IEEE，2017(17)：355-379.

[7] GIRSHICK R. Fast R-CNN[C].2015 IEEE International Conference on Computer Vision(ICCV),2015(10):7-13.

[8] REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].

IEEE Transaction on Pattern Analysis and Machine Intellige nce,2017,39(6):1137-1149.

[9] REDMOM J,DIVVALA S,GIRSHICK R,et al.You Only Look at Once: Unified,realtime object detection[C]//Proceedings of the IEEE International Conference on Computer Vision(ICCV),2016:779-788.

[10] REDMOM J,FARHADI A.YOLO9000:better,faster,s tronger[C].//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，July 21-26，2017， Honolulu，HI，USA，NewYork:IEEE，2017:6517-6525.

[11] REDMOM J,FARHADI A. YOLOv3:an incremental improvement[J/OL].arXiv preprint arXiv:https://arxiv.org/  abs/1804.02767.

[12] BOCHKOVSKIY A, WANG C Y,HONG-YUAN M L.YOLOv4:Optimal Speed and Accuracy of Oobject Detection[J/OL]. https://arxiv.org/abs/2004.10934.

[13] REILLY V,SOLMAZ B,SHAH M.Geometric constraints for humandetection in aerial imagery[C].The 11th European conference onComputer vision,2010:252-265.

[14] GERONIMO D,LOPEZ A,SAPPA A,et al.Survey of pedestrian detection for advanced driver assistance systems[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,2010,32(7):1239-1258.

[15] TIMO O,MATTI P A,DAVID H.A Comparative Study of Texture Measures with Classification based on Feature Distributions[J].Pattern Recognition,1996,29(1):51-59.

[16] 程如中,張永軍,李晶晶,等.應(yīng)用于行人檢測的HLBP與CHLBP 紋理特征[J].北京大學(xué)學(xué)報,2018,54(05):935-945.

[17] HENDERSON P,FERRARI V. End-to-end training of object class detectors for mean average precision[J].Asian Conference on Computer Vision,2016(6):198-213.

（本文來源于《電子產(chǎn)品世界》雜志2021年3月期）