隨著計(jì)算機(jī)視覺(jué)和人工智能技術(shù)的飛速發(fā)展，出現(xiàn)了一種新的導(dǎo)航方法：視覺(jué)導(dǎo)航。視覺(jué)導(dǎo)航具有自主性好、可靠性高、成本低等優(yōu)點(diǎn)。近年來(lái)，隨著視覺(jué)導(dǎo)航概念、理論和方法的不斷更新和完善，視覺(jué)導(dǎo)航已成為無(wú)人機(jī)自主導(dǎo)航的重要研究領(lǐng)域之一。

視覺(jué)導(dǎo)航的研究最初受到巡航導(dǎo)彈中地形輪廓匹配制導(dǎo)系統(tǒng)的啟發(fā)。但是，無(wú)人機(jī)的飛行環(huán)境不一定是光照充足的理想環(huán)境。無(wú)人機(jī)在陰天或夜間飛行時(shí)，由于光線減少，相機(jī)會(huì)捕捉到低光圖像，嚴(yán)重影響圖像質(zhì)量，如對(duì)比度低、能見(jiàn)度低等。同時(shí)，由于法律法規(guī)的限制，有人駕駛飛機(jī)白天飛行的頻率遠(yuǎn)高于夜間，這將大大縮小無(wú)人機(jī)的飛行空間。因此，無(wú)人機(jī)最適合的飛行時(shí)間是有人駕駛飛機(jī)較少的夜晚，見(jiàn)圖1。因此，將低光航拍圖像轉(zhuǎn)換為高質(zhì)量的正常光圖像，不僅可以提高圖像的視覺(jué)質(zhì)量，還可以提高無(wú)人機(jī)在目標(biāo)檢測(cè)等一些高級(jí)視覺(jué)任務(wù)中的性能、語(yǔ)義分割等，它還可以使無(wú)人機(jī)應(yīng)用于更廣泛的領(lǐng)域，例如應(yīng)急救援、環(huán)境監(jiān)測(cè)等。

圖1 比較了微光圖像和增強(qiáng)圖像的匹配結(jié)果和檢測(cè)結(jié)果

我們基于 Retinex 理論提出了一個(gè)新的全卷積網(wǎng)絡(luò)，它由兩個(gè)子網(wǎng)絡(luò)組成，Decomposition-Net (Decom-Net) 和 Enhancement-Net (Enhance-Net)。建議的低光圖像增強(qiáng)管道如圖 2所示。Decom-Net 將輸入圖像分解為光照和反射圖，同時(shí)抑制反射中的噪聲。

Enhance-Net以Decom-Net的輸出為輸入，增強(qiáng)光照?qǐng)D的對(duì)比度和亮度。因此，所提出的方法可以提高低光圖像中的對(duì)比度并抑制噪聲，并獲得具有更好視覺(jué)質(zhì)量的增強(qiáng)結(jié)果。

圖 2.低光圖像增強(qiáng)管道。Decom-Net 將輸入圖像分解為光照?qǐng)D和反射圖，Enhance-Net 使光照?qǐng)D變亮。低光圖像的反射圖和光照?qǐng)D作為Enhance-Net的輸入。正常光圖像的分解不參與 Enhance-Net 訓(xùn)練階段

Decom網(wǎng)絡(luò)包含八個(gè)3×3卷積層，每個(gè)卷積層的輸入和輸出特征映射大小相等，且具有步長(zhǎng)2和一個(gè)校正線性單元（ReLU）。通過(guò)使用跳轉(zhuǎn)連接結(jié)構(gòu)，i-1卷積層和i卷積層的輸出結(jié)果被組合為i+1卷積層（i=1，…，5）的輸入。Decom Net的網(wǎng)絡(luò)架構(gòu)如圖3所示。

圖3 Decom-Net 的網(wǎng)絡(luò)架構(gòu)

Enhanced Net包含七個(gè)卷積塊，每個(gè)卷積塊包含兩個(gè)3×3卷積層，步長(zhǎng)為1，以保持前后特征圖的大小相同；前三個(gè)卷積塊之后是步幅卷積，以執(zhí)行下采樣；最后三個(gè)卷積塊之后是一個(gè)反卷積層，以執(zhí)行上采樣。然后，利用多尺度融合，將第七個(gè)卷積塊的輸出和最后三個(gè)反卷積層的輸出串聯(lián)起來(lái)作為下一個(gè)卷積層的輸入，這樣可以最大限度地組合上下文信息，減少特征信息的丟失。最后，通過(guò)3×3卷積層得到增強(qiáng)的光照?qǐng)D，增強(qiáng)網(wǎng)絡(luò)中的每個(gè)卷積塊后面跟著一個(gè)ReLU。EnhanceNet的網(wǎng)絡(luò)架構(gòu)如圖4所示。

圖4 Enhance-Net的網(wǎng)絡(luò)結(jié)構(gòu)

在得到Decom網(wǎng)的分解結(jié)果和增強(qiáng)網(wǎng)的增強(qiáng)結(jié)果后，將兩個(gè)子網(wǎng)的輸出通過(guò)逐元素乘法進(jìn)行組合，作為最終結(jié)果。圖5顯示了弱光圖像的整個(gè)網(wǎng)絡(luò)的分解結(jié)果。

圖5 弱光圖像分解結(jié)果的示例。（a） 是輸入圖像，（b）是由Decom Net生成的反射貼圖，（c）是由Enhanced Net生成的照明貼圖

微光圖像的退化主要體現(xiàn)在對(duì)比度低。為了更好地模擬真實(shí)的弱照明圖像，我們對(duì)正常光圖像的每個(gè)通道應(yīng)用Gamma校正來(lái)改變對(duì)比度。合成微光圖像的示例如圖6所示。

圖6 合成微光圖像示例

在執(zhí)行視覺(jué)導(dǎo)航任務(wù)時(shí)，無(wú)人機(jī)可能會(huì)受到照明條件不足或傳感器性能不足等因素的影響，因此有必要對(duì)捕獲的微光圖像進(jìn)行增強(qiáng)。然而，并不是所有的圖像都需要增強(qiáng)，因此在預(yù)處理階段必須判斷圖像是否具有弱光照條件。如圖7所示，可以通過(guò)計(jì)算每個(gè)圖像的拉普拉斯梯度函數(shù)值來(lái)設(shè)置閾值。如果小于我們?cè)O(shè)置的閾值，則圖像需要增強(qiáng)，如果大于閾值，則圖像不需要圖像增強(qiáng)處理。

圖7 不同光照條件下圖像的拉普拉斯梯度函數(shù)值

我們選擇的參考圖像是衛(wèi)星圖像，參考圖像的視距和尺寸（7200×3600）都比航空?qǐng)D像大，因此我們將參考圖像分割成多個(gè)小尺寸參考圖像，并依次將航空?qǐng)D像與小尺寸圖像進(jìn)行匹配，這有助于減少匹配過(guò)程中的搜索時(shí)間?？梢暬瘜?dǎo)航管道如圖8所示。

圖8 視覺(jué)導(dǎo)航管道

傳統(tǒng)的方法是在CPU上運(yùn)行，這將增加推理時(shí)間。我們的方法在GPU上增強(qiáng)每個(gè)圖像的平均時(shí)間成本比我們的競(jìng)爭(zhēng)對(duì)手快0.11秒，這得益于我們更小的模式大?。?.85MB）和更好的網(wǎng)絡(luò)設(shè)計(jì)，如圖9所示。

圖9 合成測(cè)試圖像的視覺(jué)比較

在視覺(jué)導(dǎo)航實(shí)驗(yàn)中，我們收集了一個(gè)包含5幅大視距衛(wèi)星圖像的數(shù)據(jù)集，每幅衛(wèi)星圖像對(duì)應(yīng)10幅小視距航空?qǐng)D像。我們以衛(wèi)星圖像為參考圖像，基于我們提出的視覺(jué)導(dǎo)航管道進(jìn)行了實(shí)驗(yàn)。當(dāng)航空?qǐng)D像為弱光圖像時(shí)，我們使用我們提出的增強(qiáng)方法將其轉(zhuǎn)換為高質(zhì)量的正常光圖像，并與參考圖像進(jìn)行匹配。圖10顯示了一些實(shí)驗(yàn)結(jié)果示例。紅色框是航空影像映射到衛(wèi)星影像的區(qū)域，黃色框中的紅色點(diǎn)是航空影像中心點(diǎn)映射到衛(wèi)星影像的位置，該紅色位置的經(jīng)緯度信息是我們方法估計(jì)的無(wú)人機(jī)的當(dāng)前位置。

（c）Location resulut

圖10 視覺(jué)導(dǎo)航的實(shí)驗(yàn)結(jié)果

 除了將我們的方法應(yīng)用于無(wú)人機(jī)視覺(jué)匹配導(dǎo)航之外，我們還希望進(jìn)一步探索我們的方法在其他實(shí)際任務(wù)中的性能，例如自動(dòng)駕駛等。我們?cè)贏pollo Scape數(shù)據(jù)集中使用了1121張不同角度的成對(duì)圖像。通過(guò)使用我們提出的增強(qiáng)方法，將弱光圖像轉(zhuǎn)換為高質(zhì)量的正常光圖像，然后依次與1121幅參考圖像進(jìn)行匹配。選擇匹配度最高的參考圖像，并提取參考圖像的位置作為車(chē)輛的當(dāng)前位置。圖11顯示了一些自定位示例。    

圖11 自主駕駛實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，該方法的增強(qiáng)結(jié)果具有更多的特征信息，能夠滿足圖像匹配的要求。視覺(jué)導(dǎo)航系統(tǒng)可以實(shí)現(xiàn)無(wú)人機(jī)在不同光照條件下的自主定位。