本網(wǎng)訊 近日，信息與人工智能學(xué)院智能科學(xué)與技術(shù)系饒?jiān)淌趫F(tuán)隊(duì)在《Computers and Electronics in Agriculture》期刊（中科院一區(qū)Top期刊，IF: 8.3）在線(xiàn)發(fā)表了題為《MLP-based multimodal tomato detection in complex scenarios: Insights from task-specific analysis of feature fusion architectures》的研究論文。研究提出了一個(gè)多模態(tài)融合編碼器，使用可見(jiàn)光、深度、近紅外三模態(tài)融合緩解復(fù)雜真實(shí)場(chǎng)景下果實(shí)檢測(cè)性能不穩(wěn)定問(wèn)題。
準(zhǔn)確高效的番茄檢測(cè)和分類(lèi)對(duì)于采摘機(jī)器人的實(shí)際部署至關(guān)重要，但在光照變化、果實(shí)重疊、枝葉遮擋等復(fù)雜場(chǎng)景中，僅使用 RGB 圖像進(jìn)行檢測(cè)仍具有很大的挑戰(zhàn)性。論文提出了一種多模態(tài)融合編碼器，利用深度和近紅外模態(tài)輔助可見(jiàn)光模態(tài)進(jìn)行檢測(cè)，并設(shè)計(jì)了一個(gè)即插即用的融合架構(gòu)，對(duì)比分析了MLP、ViT、CNN三種不同的架構(gòu)對(duì)于特征融合性能和總體檢測(cè)性能的影響。最后，提出了基于MLP架構(gòu)的YOLO-DNA模型。該研究可為復(fù)雜實(shí)際應(yīng)用場(chǎng)景下的多模態(tài)輕量級(jí)果實(shí)檢測(cè)相關(guān)研究提供參考，對(duì)促進(jìn)農(nóng)機(jī)裝備視覺(jué)智能系統(tǒng)研究具有重要價(jià)值。
安徽農(nóng)業(yè)大學(xué)信息與人工智能學(xué)院2021級(jí)計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)本科生陳文駿為第一作者，智能科學(xué)與技術(shù)系教授饒?jiān)獮橥ㄓ嵶髡?。該研究得到了?guó)家自然科學(xué)基金、安徽省重點(diǎn)研究和開(kāi)發(fā)計(jì)劃項(xiàng)目、國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目的資助。（文/王坦 圖/陳文駿 編輯/孫光旭 預(yù)審/饒?jiān)?審核/夏曉昀）
論文鏈接：https://doi.org/10.1016/j.compag.2024.108951
