相信關(guān)注我們公眾號(hào)的小伙伴們對(duì)無(wú)人機(jī)探測(cè)已經(jīng)不陌生了，前面幾期的文章介紹了一些常用的無(wú)人機(jī)探測(cè)方法和基于深度學(xué)習(xí)的無(wú)人機(jī)檢測(cè)算法。我們的研究結(jié)果表明，基于視覺(jué)外觀信息，即便是目前性能最好的一些深度學(xué)習(xí)算法也很難解決極端情況下的無(wú)人機(jī)檢測(cè)這個(gè)難題。那么我們有沒(méi)有其他方法來(lái)改善這個(gè)問(wèn)題呢？

基于視覺(jué)外觀信息的無(wú)人機(jī)檢測(cè)

面臨的問(wèn)題

基于視覺(jué)外觀信息的無(wú)人機(jī)檢測(cè)主要不足在于以下幾個(gè)方面。

1）極端天氣情況下的檢測(cè)能力不足。光學(xué)相機(jī)能夠很準(zhǔn)確地識(shí)別無(wú)人機(jī)的外觀特征，但是在雨、雪、霧、夜等天氣情況下就無(wú)能為力了。

2）對(duì)于小目標(biāo)無(wú)人機(jī)的探測(cè)能力不足。無(wú)人機(jī)通常重量輕體積小，遠(yuǎn)距離時(shí)無(wú)人機(jī)在圖像中的成像尺寸很小?，F(xiàn)有的圖像目標(biāo)檢測(cè)網(wǎng)絡(luò)很難處理這種極小尺寸的目標(biāo)，尤其是在背景比較復(fù)雜的時(shí)候。

3）對(duì)于快速運(yùn)動(dòng)無(wú)人機(jī)的探測(cè)能力不足。當(dāng)無(wú)人機(jī)快速運(yùn)動(dòng)時(shí)，目標(biāo)在圖像中會(huì)產(chǎn)生運(yùn)動(dòng)模糊，導(dǎo)致基于目標(biāo)外觀特征的深度學(xué)習(xí)方法很難識(shí)別目標(biāo)。

4）復(fù)雜背景下的無(wú)人機(jī)探測(cè)能力不足。當(dāng)無(wú)人機(jī)位于樹(shù)林、城市建筑等復(fù)雜背景時(shí)，無(wú)人機(jī)與背景的對(duì)比度下降，僅依靠外觀信息很難發(fā)現(xiàn)目標(biāo)。

小目標(biāo)無(wú)人機(jī)[6]

復(fù)雜背景

無(wú)人機(jī)快速運(yùn)動(dòng)

極端天氣情況圖1. 基于視覺(jué)外觀特征的無(wú)人機(jī)檢測(cè)面臨的挑戰(zhàn)（向右滑動(dòng)查看下一張圖片）

綜上，我們知道只依靠外觀特征檢測(cè)無(wú)人機(jī)在現(xiàn)實(shí)場(chǎng)景中依然會(huì)面臨很多困難。不過(guò)，除了外觀特征外，無(wú)人機(jī)區(qū)別于其他物體的另一個(gè)重要特征是運(yùn)動(dòng)模式。大多數(shù)情況下，無(wú)人機(jī)會(huì)在三維空間中運(yùn)動(dòng)，這種特殊的運(yùn)動(dòng)模式是無(wú)人機(jī)區(qū)別于其他物體的重要線索。

基于運(yùn)動(dòng)信息的無(wú)人探測(cè)

當(dāng)無(wú)人機(jī)距離較遠(yuǎn)或者背景太復(fù)雜時(shí)，僅僅依靠單張圖片人眼都很難識(shí)別出無(wú)人機(jī)。但是通過(guò)對(duì)比連續(xù)多幀圖片，無(wú)人機(jī)的突然運(yùn)動(dòng)就很容易被識(shí)別出來(lái)?，F(xiàn)有的基于運(yùn)動(dòng)信息的無(wú)人機(jī)檢測(cè)可以分為基于靜止相機(jī)的無(wú)人機(jī)檢測(cè)和基于運(yùn)動(dòng)相機(jī)的無(wú)人機(jī)檢測(cè)。

基于靜止相機(jī)的無(wú)人機(jī)檢測(cè)一般包括運(yùn)動(dòng)區(qū)域檢測(cè)和目標(biāo)分類(lèi)兩個(gè)步驟。[1,2]通過(guò)靜止相機(jī)對(duì)空中進(jìn)行觀測(cè)，先使用背景消減和形態(tài)學(xué)操作得到運(yùn)動(dòng)目標(biāo)區(qū)域，然后使用 CNN網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行分類(lèi)的方法來(lái)檢測(cè)無(wú)人機(jī)。 

圖2. 基于靜止相機(jī)的運(yùn)動(dòng)無(wú)人機(jī)檢測(cè)流程[2]與靜止相機(jī)相比，更具挑戰(zhàn)的是在運(yùn)動(dòng)相機(jī)中檢測(cè)無(wú)人機(jī)，因?yàn)橄鄼C(jī)可能面臨大幅度和突然的運(yùn)動(dòng)，目標(biāo)無(wú)人機(jī)的形狀和視角也會(huì)有更多變化。Jing[3,4]等人提出了一個(gè)空對(duì)空無(wú)人機(jī)檢測(cè)數(shù)據(jù)集，先使用光流和透視變換對(duì)相機(jī)運(yùn)動(dòng)進(jìn)行估計(jì)，然后利用背景消減得到運(yùn)動(dòng)目標(biāo)，接下來(lái)使用深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練混合運(yùn)動(dòng)特征和外觀特征的分類(lèi)器，得到候選無(wú)人機(jī)目標(biāo)。最后為了剔除候選無(wú)人機(jī)中的假陽(yáng)性目標(biāo)和減少漏檢情況，作者使用了候選目標(biāo)的時(shí)序運(yùn)動(dòng)特征和卡爾曼濾波跟蹤。

圖3. 基于運(yùn)動(dòng)相機(jī)的運(yùn)動(dòng)無(wú)人機(jī)檢測(cè)流程[3]，時(shí)長(zhǎng)00:50視頻：基于運(yùn)動(dòng)相機(jī)的運(yùn)動(dòng)無(wú)人機(jī)檢測(cè)[3]

類(lèi)似的，Rozantsev[5]引入了一個(gè)更具挑戰(zhàn)性的無(wú)人機(jī)和固定翼飛機(jī)數(shù)據(jù)集，作者先使用多尺度滑窗方法獲得時(shí)空?qǐng)D片序列, 然后利用CNN回歸器獲得以目標(biāo)為中心的穩(wěn)像時(shí)空?qǐng)D片序列，最后使用CNN網(wǎng)絡(luò)在每個(gè)時(shí)空序列上進(jìn)行分類(lèi)來(lái)檢測(cè)無(wú)人機(jī)。更進(jìn)一步，Ashraf[6]提出使用一種兩階段基于分割的方法來(lái)提取無(wú)人機(jī)的時(shí)空注意力信息。第一階段，基于相互重疊的圖片序列，作者使用金字塔池化在卷積特征圖上獲得詳細(xì)的上下文信息，并引入注意力機(jī)制來(lái)優(yōu)化目標(biāo)位置。第二階段，作者使用運(yùn)動(dòng)邊界、目標(biāo)跟蹤、時(shí)空特征提取等方法確認(rèn)檢測(cè)結(jié)果和消除誤檢測(cè)。

上述方法在“空對(duì)空”無(wú)人機(jī)檢測(cè)上取得了不錯(cuò)的效果，但存在計(jì)算量過(guò)大，難以實(shí)時(shí)運(yùn)行等問(wèn)題。此外，除了通過(guò)對(duì)圖片序列或視頻流進(jìn)行復(fù)雜的處理來(lái)識(shí)別運(yùn)動(dòng)無(wú)人機(jī)，基于事件相機(jī)等新型傳感器的運(yùn)動(dòng)目標(biāo)檢測(cè)也越來(lái)越流行[7]。這些新型傳感器能夠直接識(shí)別運(yùn)動(dòng)目標(biāo)，也為我們的研究帶來(lái)了很多新的思路。我們團(tuán)隊(duì)會(huì)在這些研究的基礎(chǔ)上，繼續(xù)推進(jìn)相關(guān)領(lǐng)域的研究，以期未來(lái)能夠在機(jī)載移動(dòng)端實(shí)現(xiàn)更加魯棒的無(wú)人機(jī)檢測(cè)。

參考文獻(xiàn)

[1] A. Schumann, L. Sommer, J. Klatte, T. Schuchert, and J. Beyerer, “Deepcross-domain flying object classification for robust uav detection,” in 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), 2017.

[2] U. Seidaliyeva, D. Akhmetov, L. Ilipbayeva, and E. T. Matson, “Real-time and accurate drone detection in a video with a static background,” Sensors, vol. 20, no. 14, p. 3856, 2020.

[3] Jing Li, Dong Hye Ye, Timothy Chung, Mathias Kolsch, Juan Wachs, and Charles A. Bouman, “Fast and Robust UAV to UAV Detection and Tracking from Video,” to appear in IEEE Transactions on Emerging Topics in Computing.

[4] Jing Li, Dong Hye Ye, Timothy Chung, Mathias Kolsch, Juan Wachs, Charles Bouman, “Multi-target detection and tracking from a single camera in Unmanned Aerial Vehicles (UAVs).” Intelligent Robots and Systems (IROS), 2016.

[5] A. Rozantsev, V. Lepetit, and P. V. Fua, “Detecting flying objects using a single moving camera,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, pp. 879–892, 2017.

[6] M.W.Ashraf, W.Sultani, and M.Shah, “Dogfight: Detecting drones from drones videos,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7067–7076, 2021.

[7] Sanket, N.J., Singh, C.D., Parameshwara, C., Fermuller, C., Croon, G.D., & Aloimonos, Y. (2021). “EVPropNet: Detecting Drones By Finding Propellers For Mid-Air Landing And Following.” ArXiv, abs/2106.15045.
本文由西湖大學(xué)智能無(wú)人系統(tǒng)實(shí)驗(yàn)室博士生郭漢青原創(chuàng)，