劉擁民，張 煒，麻海志，劉 原，張 毅

（1.中南林業(yè)科技大學 計算機與信息工程學院，湖南 長沙 410004；2.中南林業(yè)科技大學 智慧林業(yè)云研究中心，湖南 長沙 410004）

藍莓（越橘屬）是人類五大健康食品之一，被公認為“世界水果之王”，因其美味的口感和各種功能成分（有機酸、酚類、礦物質(zhì)和維生素）而備受青睞[1]。截至2020 年底，全球超過25 家跨國企業(yè)到我國投資藍莓規(guī)?；N植生產(chǎn)，藍莓栽培面積664萬hm2，總產(chǎn)量3 472 萬t[2]。然而，手工采摘藍莓很麻煩，而且專業(yè)的采摘人員也很少。為了滿足市場的實際需求，減輕人工壓力和人工成本，能夠識別藍莓成熟度的采摘機器人正在逐漸取代人工操作[3]。此外，藍莓成熟度的準確識別可為種植者及時提供果園藍莓的成熟比例，從而合理安排采摘時間，進而減少未成熟果實損失。

目前國內(nèi)外有關(guān)水果精準識別和成熟度分類等方面的研究已取得了一定進展。朱旭等[4]通過改進Faster R-CNN[5]算法，設計了一種對背景干擾、果實遮擋等因素具有良好魯棒性和準確率的藍莓果實識別模型，其對成熟果、半成熟果和未成熟果的識別準確率高達97.00%、95.00%和92.00%，平均識別準確率為94.67%。ZHENG 等[6]針對自然環(huán)境下綠色柑橘與背景顏色相似的問題，提出了一種名為YOLO BP 的多尺度卷積神經(jīng)網(wǎng)絡來檢測自然環(huán)境中的綠色柑橘，其準確率、召回率和平均精度分別為86%、91%和91.55%。蘇斐等[7]將YOLO v3[8]算法原骨干網(wǎng)絡Darknet53 替換成輕量級的Mobilenet-v1 網(wǎng)絡，檢測綠熟期番茄驗證集的平均精度均值為98.69%，測試集的平均精度均值達到98.28%，且改進后的模型大小縮小為原來的39.38%。陳仁凡等[9]針對溫室環(huán)境下草莓快速準確識別的問題，在YOLO v5s 模型的主干中引入Shuffle_Block 作為特征提取網(wǎng)絡并在頸部結(jié)構(gòu)中使用全維度動態(tài)卷積模塊ODConv，改進后的YOLOODM 模型的平均精度高達97.4%，且模型大小縮減了43%。李志軍等[10]通過更換深度可分離卷積和添加注意力機制模塊對YOLO v5 算法進行改進，解決網(wǎng)絡中存在特征提取時無注意力偏好問題和參數(shù)冗余問題，從而提升檢測準確度和減少網(wǎng)絡參數(shù)量，其平均精度最高達到96.79%。YANG 等[11]為了實現(xiàn)藍莓在密集粘連、遮擋嚴重的情況下快速準確的定位，設計了一個新的注意力模塊NCBAM，并在YOLO v5s 模型中引入了小目標檢測層和C3Ghost模塊，從而提升了2.4 百分點的檢測精度。但改進后的模型比原YOLO v5s 模型的網(wǎng)絡參數(shù)量更大，因而提出在降低網(wǎng)絡參數(shù)量和提高檢測能力方面需進行更深入的研究。

模型的檢測精度和參數(shù)量對目標檢測在智慧農(nóng)業(yè)移動設備中的使用有著極其重要的影響。所以考慮到模型的應用前景，需要減少模型的參數(shù)量并提高其檢測準確性，從而使算法能部署到計算能力較低的設備，降低制造或購買設備的成本。以自然環(huán)境下的藍莓為研究對象，在YOLO v5s 模型的基礎(chǔ)上去除最大目標檢測層的結(jié)構(gòu)，并引入MHSA（Multi-head self-attention，多頭自注意力）和S-PSA（Sequential polarized self-attention，順序極化自注意力），提出一種基于注意力機制的輕量化YOLO v5s藍莓檢測算法。在預測藍莓產(chǎn)量的同時，還能區(qū)分不同成熟度的藍莓，以便在機械化采摘過程中能夠準確地定位藍莓果實，為現(xiàn)代自然環(huán)境下的智慧農(nóng)業(yè)裝備研發(fā)提供技術(shù)支撐。

1 材料和方法

1.1 試驗數(shù)據(jù)獲取

藍莓成簇生長并分批次成熟，通常每簇中有1～3種成熟度藍莓，即成熟果實、半成熟果實與未成熟果實[12]。本研究數(shù)據(jù)集是采集于江西省南昌市新建區(qū)的藍莓果實公共數(shù)據(jù)集[11]。共采集了1 000 張藍莓果實圖像，采集類型為正面、側(cè)面、重疊、遮擋和粘連。為了增加訓練數(shù)據(jù)集中的樣本數(shù)量，提高模型的魯棒性并且更加逼真地模擬自然環(huán)境下的藍莓果實，使用圖像增強、添加噪聲、調(diào)整亮度、旋轉(zhuǎn)、平移、鏡像和裁剪等數(shù)據(jù)增強方法[13]將數(shù)據(jù)集擴大為10 000個圖像。數(shù)據(jù)集按照6∶2∶2的比例隨機劃分訓練集、測試集和驗證集，成熟藍莓、半成熟藍莓和未成熟藍莓的標簽數(shù)量分別為93 502、14 969、69 671 個。圖1 顯示了數(shù)據(jù)集的一部分樣本，其中，圖1a為原圖，圖1b—c為數(shù)據(jù)增強后的圖片。

圖1 數(shù)據(jù)集樣本圖片F(xiàn)ig.1 Dataset sample image

1.2 方法

1.2.1 網(wǎng)絡模型 在現(xiàn)實的智能農(nóng)業(yè)管理中，有限的硬件計算和存儲資源會影響實時檢測，所以自然環(huán)境下藍莓檢測算法的模型大小和檢測精度尤其重要。作為單級檢測模型，YOLO v5檢測精度高、模型參數(shù)量小且檢測速度快，其權(quán)重文件比YOLO v4[14]少了近90%。官方的YOLO v5 包含了YOLO v5s、YOLO v5m、YOLO v5l、YOLO v5x 4 種模型，它們的主要區(qū)別在于特征提取模塊和卷積核不同，即網(wǎng)絡深度和特征映射寬度不同，模型參數(shù)量和大小逐漸增加[15]。為了滿足自然環(huán)境下藍莓檢測輕量化部署和實時檢測的要求，選取檢測速度最快和模型規(guī)模最小的YOLO v5s 作為基本檢測模型，其網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖2 YOLO v5s結(jié)構(gòu)Fig.2 YOLO v5s structure

自然環(huán)境下的藍莓檢測存在果實小且密集、背景復雜且有枝葉遮擋、成熟度分布不均和檢測的硬件設施條件有限等主要問題，因此，原始的YOLO v5s模型無法完全滿足自然環(huán)境下藍莓果實的檢測需求，在檢測準確度和模型輕量化等方面需要進一步優(yōu)化。首先，為了減小模型的寬度、深度和參數(shù)量，加強模型識別小目標的能力，在YOLO v5s 主干網(wǎng)絡和檢測頭的位置去除了最大目標檢測層的結(jié)構(gòu)。接 著，將MHSA 替 換 了SPPF（Spatial pyramid pooling-fast，快速空間金字塔池化）前原有的C3 模塊，使模型學習到更全面的特征表示，增強模型對藍莓圖像中復雜的空間關(guān)系和上下文信息的理解能力。最后，在C3 模塊中加入了S-PSA，以便模型能夠更好地捕捉特征圖中相鄰區(qū)域之間的上下文依賴關(guān)系。改進后的網(wǎng)絡結(jié)構(gòu)如圖3所示。

圖3 改進后的YOLO v5s結(jié)構(gòu)Fig.3 Improved YOLO v5s structure

1.2.2 小目標檢測 原始YOLO v5s 模型中有3 個檢測層，分別用于檢測小目標、中目標和大目標[16]。由于藍莓通常具有相對較小的尺寸，而最大目標檢測層在原始YOLO v5s 中可能對藍莓的檢測效果并不理想。本研究在主干網(wǎng)絡和檢測頭的位置去除了最大目標檢測層的結(jié)構(gòu)，從而減少模型的深度、寬度和參數(shù)量，加快模型的訓練和推理速度，使模型可以在檢測過程中更多地捕捉藍莓的特定特征，從而獲得更準確、更可靠的檢測結(jié)果。

1.2.3 多頭自注意力機制 MHSA是一種多頭自注意力機制，最早是由VASWANI 等[17]在2017 年提出的。它在處理輸入序列時能夠自動捕捉序列之間的依賴關(guān)系，從而更好地理解上下文信息并提高模型性能。在傳統(tǒng)的自注意力機制中，通過對輸入序列中的每個位置進行加權(quán)求和，得到每個位置的表示向量。而MHSA 則將這個過程擴展到了多個頭上，每個頭都使用獨立的權(quán)重矩陣來計算不同的表示向量，最終將不同頭的結(jié)果在通道維度上拼接起來，以提高模型的表達能力和泛化能力。在目標檢測中，圖像通常被看作是一個多通道的矩陣，其中每個通道表示一些特征圖。MHSA通過多個頭的共同學習和組合可以幫助模型學習不同特征圖之間的相互關(guān)系，并減少單個注意力頭的過擬合風險，從而提高模型的表達能力和泛化能力。

具體來說，MHSA 的實現(xiàn)包括了3 個線性變換，分別是查詢（Query）、鍵（Key）和值（Value）。MHSA先計算每個位置的查詢向量和所有位置的鍵向量之間的相似度得分，然后使用softmax函數(shù)將得分歸一化來獲得注意力權(quán)重，最后利用這些權(quán)重對值向量進行加權(quán)求和得到輸出。這個過程可以表示為：

其中，Q、K、V分別代表查詢、鍵、值向量矩陣，dk代表每個頭的維度，softmax函數(shù)將得分歸一化。

1.2.4 極化自注意力機制 PSA（Polarized selfattention，極化自注意力）[18]使用正交的方式，在保證了低參數(shù)量的同時，保證了高通道分辨率和高空間分辨率[19]。此外，它在注意力機制中加入了非線性，使得擬合的輸出更具有細膩度。本研究中使用PSA的串聯(lián)形式，即S-PSA。它是先進行通道上的注意力計算，再進行空間上的注意力計算，其結(jié)構(gòu)如圖4所示。

圖4 S-PSA結(jié)構(gòu)Fig.4 S-PSA structure

S-PSA 模塊以順序方式捕獲特定于通道和特定于空間的信息，允許模型將不同級別的重要性分配給特征圖中的不同空間位置和通道。本研究通過將該模塊融入到C3模塊中，從而更好地捕捉特征圖中相鄰區(qū)域之間的上下文依賴關(guān)系，有助于準確的對象定位、分類并提高其對空間的理解，同時保持與現(xiàn)有架構(gòu)的兼容性。此外，S-PSA 模塊通過關(guān)注信息空間和通道關(guān)系，使模型可以更好地處理對象被復雜視覺模式部分遮擋或包圍的情況，有利于檢測自然環(huán)境下被遮擋嚴重的藍莓。

1.3 試驗平臺和評價指標

1.3.1 試驗環(huán)境與參數(shù)設置 試驗中使用的訓練環(huán)境配置如表1 所示。訓練的超參數(shù)設置如下：總迭代次數(shù)設置為25，迭代批量大小設置為16，工作線程數(shù)設置為8，初始學習率設置為0.001，權(quán)重衰減系數(shù)設置為0.000 5，動量因子為0.937。

表1 試驗環(huán)境Tab.1 Test environment

1.3.2 評價指標 采用準確率（Precision，P）、召回率（Recall，R）、平均精度和參數(shù)量（Parameters）作為模型評價指標，公式如下：

其中，TP、FP和FN分別是識別正確、識別不正確和未識別的樣本數(shù)量。準確率表示檢測到的樣本被正確識別的概率，召回率表示識別到某類樣本的概率[20]，AP 表示某個檢測類別的平均精度。mAP是算法在識別3 種不同成熟度藍莓時的平均準確率，n表示檢測中的類別數(shù)量，n=3。i表示輸入大小，f表示卷積核的大小，o表示輸出大小[21]。

2 結(jié)果與分析

2.1 消融試驗結(jié)果

為驗證本研究提出的關(guān)于YOLO v5s 算法的3種改進方法，在數(shù)據(jù)集上進行消融試驗以判斷每個改進點的有效性。結(jié)果如表2 所示，模塊1 中加入了MHSA，模塊2 中加入了S-PSA，模塊3 去除了最大目標檢測層的結(jié)構(gòu)。

表2 YOLO v5s消融試驗結(jié)果Tab.2 YOLO v5s ablation test results

如表2 所示，加入MHSA 后，3 種不同成熟度藍莓的檢測精度都有提升，平均精度相比原YOLO v5s模型提高0.9 百分點并降低了部分模型參數(shù)量。由于MHSA 增強了模型對藍莓圖像中復雜空間關(guān)系和上下文信息的理解能力，從而提高了模型的準確性和泛化能力。此外，加入的MHSA 的參數(shù)量小于SPPF 前原有的C3 模塊的參數(shù)量，從而降低了部分模型參數(shù)量。加入S-PSA 后，半成熟藍莓檢測精度和平均精度分別提高2.9、1.1 百分點。因為S-PSA的加入能夠更好地捕捉特征圖中相鄰區(qū)域之間的上下文依賴關(guān)系，有助于自然環(huán)境下藍莓的檢測。在原YOLO v5s 模型的基礎(chǔ)上去除了最大目標檢測層的結(jié)構(gòu)后，3 種不同成熟度藍莓的檢測精度都有較大提升，平均精度提高了1.5 百分點且模型參數(shù)量減少至原YOLO v5s 模型的24%。在提高對藍莓檢測能力的同時，大大減少了模型的參數(shù)量，全面提升了模型的性能。3種模塊同時加入YOLO v5s模型后，3 種不同成熟度藍莓的檢測精度分別提升1.2、4.4、2.6 百分點，平均精度提升2.7 百分點，模型參數(shù)量減少76.0%。成熟藍莓檢測精度與未成熟藍莓檢測精度提升較少的原因是，原有的成熟藍莓檢測精度較高，而未成熟藍莓果實顏色與背景顏色較為相似且相對于成熟果實體積較小。

2.2 與其他常見輕量化模型對比試驗結(jié)果

為了進一步證明本研究提出算法的有效性和優(yōu)越性，將它與當前主流輕量化目標檢測模型進行對比試驗，結(jié)果如表3 所示。改進后的YOLO v5s模型相比于當前主流輕量化目標檢測模型，有最高的準確率、召回率和平均精度，最少的模型參數(shù)量。雖然YOLO v5n 模型的參數(shù)量跟改進的YOLO v5s模型參數(shù)量相近，但其平均精度只有76.4%，而改進模型的平均精度有80.6%。此外，YOLO v8 模型的平均精度幾乎跟改進的YOLO v5s 一樣，但其參數(shù)量卻是后者的6.7 倍。因此，本研究提出的算法相比當前主流輕量化目標檢測模型，性能更加優(yōu)越，檢測自然環(huán)境下的藍莓效果更好。

表3 與其他輕量化模型比較結(jié)果Tab.3 Comparison results with other lightweight models

3 結(jié)論與討論

為實現(xiàn)自然環(huán)境下藍莓果實的精確快速檢測，解決藍莓果實檢測存在果實小且密集、成熟度分布不均、背景復雜等問題，提出了一種基于注意力機制的輕量化YOLO v5s 藍莓檢測算法。為了降低模型的參數(shù)量，增強對小目標的檢測能力，在主干網(wǎng)絡和檢測頭的位置去除了最大目標檢測層的結(jié)構(gòu)。通過在YOLO v5s中插入了MHSA，使模型學習到更全面的特征表示，增強模型對藍莓圖像中復雜的空間關(guān)系和上下文信息的理解能力。最后，在C3模塊中加入了雙重注意力機制S-PSA，使模型能夠更好地捕捉特征圖中相鄰區(qū)域之間的上下文依賴關(guān)系。本試驗結(jié)果表明，改進后的YOLO v5s 模型相比原YOLO v5s模型在成熟藍莓、半成熟藍莓和未成熟藍莓的檢測精度上分別提升1.2、4.4、2.6 百分點，平均精度提升2.7 百分點，模型參數(shù)量減少76.0%。此外，改進后的YOLO v5s 模型相比于當前主流輕量化目標檢測模型，有最高的準確率、召回率和平均精度，最少的模型參數(shù)量。證明改進后的模型在檢測自然環(huán)境下的藍莓上有一定的優(yōu)越性，能為藍莓自動采摘系統(tǒng)提供準確的藍莓定位且有利于部署到計算能力較低的硬件設備中，從而減少人工成本，提高藍莓產(chǎn)業(yè)的經(jīng)濟效益。