當(dāng)下,計(jì)算機(jī)視覺(jué)領(lǐng)域最熱議的方向,莫過(guò)于近兩年越來(lái)越火的視覺(jué)Transformer(ViT)和傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(ConvNet),誰(shuí)才能主宰計(jì)算機(jī)視覺(jué)的未來(lái)?

風(fēng)頭正盛的ViT,是計(jì)算機(jī)視覺(jué)領(lǐng)域過(guò)去十年最矚目的研究突破之一。2020年,谷歌視覺(jué)大模型Vision Transformer(ViT)橫空出世,憑借碾壓各路ConvNet的性能表現(xiàn),一舉掀起Transformer在計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱潮。

但“ConvNet派”還沒(méi)到低頭認(rèn)輸?shù)臅r(shí)候。2022年1月,Meta AI研究院、加州大學(xué)伯克利分校的研究人員發(fā)表了卷積神經(jīng)網(wǎng)絡(luò)的“扛鼎之作”——ConvNeXt,基于純ConvNet新架構(gòu),取得了超過(guò)先進(jìn)ViT的計(jì)算速度和精度。

▲ConvNet與ViT模型圖像分類(lèi)實(shí)驗(yàn)結(jié)果對(duì)比

ViT論文:https://arxiv.org/abs/2010.11929

ConvNeXt論文:https://arxiv.org/abs/2201.03545

那如果將這兩類(lèi)模型的優(yōu)勢(shì)互補(bǔ),會(huì)不會(huì)產(chǎn)生1+1>2的效果?

近日,基于這一思路的論文《ParC-Net:繼承ConvNet和Transformer優(yōu)點(diǎn)的位置敏感的循環(huán)卷積》入選了計(jì)算機(jī)視覺(jué)頂會(huì)ECCV 2022,并引發(fā)國(guó)內(nèi)外廣泛關(guān)注。

這篇論文提出了一種面向移動(dòng)端、融入ViT優(yōu)點(diǎn)的純卷積結(jié)構(gòu)模型ParC-Net,能以更小的參數(shù)量,在常見(jiàn)視覺(jué)任務(wù)中實(shí)現(xiàn)比主流輕量級(jí)ConvNet更好的性能。

▲ParC-Net在三種視覺(jué)任務(wù)實(shí)驗(yàn)中均以更小參數(shù)量取得最佳性能表現(xiàn)

值得一提的是,論文提出一種既有全局感受野、又對(duì)位置信息保持敏感的基礎(chǔ)卷積算子ParC,它能與現(xiàn)有主流網(wǎng)絡(luò)結(jié)構(gòu)融合,兼顧模型性能和計(jì)算速度的提升,相關(guān)代碼現(xiàn)已開(kāi)源。

具體是怎么實(shí)現(xiàn)的?我們聯(lián)系到論文第一作者張?zhí)栧硬┦?并與其進(jìn)行深入交流。

ParC論文:https://arxiv.org/abs/2203.03952

源代碼:https://github.com/hkzhang91/ParC-Net

01.

取ViT的三個(gè)亮點(diǎn),將純卷積結(jié)構(gòu)變強(qiáng)

在計(jì)算機(jī)視覺(jué)領(lǐng)域,ViT模型性能彪悍,門(mén)檻和成本卻驚人,無(wú)論是龐大數(shù)據(jù)量,還是超高算力需求,都離不開(kāi)“鈔能力”的支撐。

相比之下,輕量級(jí)ConvNet雖然性能難以與ViT媲美,但具有易訓(xùn)練、參數(shù)量少、計(jì)算成本低、推理速度快等優(yōu)勢(shì),對(duì)硬件資源的需求不像ViT那么受限,可部署在各種移動(dòng)或邊緣計(jì)算設(shè)備上。此前較流行的輕量級(jí)ConvNet有ShuffleNet、MobileNet、EfficientNet、TinyNet等等。

經(jīng)對(duì)比,云天勵(lì)飛的研究人員借鑒ViT的優(yōu)點(diǎn),基于卷積結(jié)構(gòu)設(shè)計(jì)了一個(gè)輕量級(jí)骨干模型ParC-Net。

論文作者認(rèn)為,ViT和ConvNet有三個(gè)主要區(qū)別:ViT更擅長(zhǎng)提取全局特征,采用meta-former結(jié)構(gòu),而且信息集成由數(shù)據(jù)驅(qū)動(dòng)。ParC的設(shè)計(jì)思路便是從這三點(diǎn)著手來(lái)優(yōu)化ConvNet。

▲普通ConvNet和ViT之間的三個(gè)主要區(qū)別。(a) ConvNet常用的Residual block;(b) ViT中常用的Meta-Former 結(jié)構(gòu);(c) 本文提出的ParC block。

具體而言,研究人員設(shè)計(jì)了一種位置信息敏感的循環(huán)卷積(Position aware circular convolution, ParC)。這是一種簡(jiǎn)單有效的輕量卷積運(yùn)算算子,既擁有像ViT類(lèi)結(jié)構(gòu)的全局感受野,同時(shí)產(chǎn)生了像局部卷積那樣的位置敏感特征,能克服依賴自注意力結(jié)構(gòu)提取全局特征的問(wèn)題。

ParC結(jié)構(gòu)主要包含三部分改動(dòng):1)結(jié)合circular padding和大感受野低秩分解卷積核提取全局特征;2)引入位置嵌入,保證輸出特征對(duì)于空間位置信息的敏感性;3)動(dòng)態(tài)插值實(shí)時(shí)生成尺寸適配的卷積核和位置編碼,應(yīng)對(duì)輸入分辨率變化情況,這增強(qiáng)了對(duì)不同尺寸輸入的適應(yīng)能力。

▲ParC結(jié)構(gòu)示例

研究人員還將ParC和squeeze exictation(SE)操作結(jié)合起來(lái),構(gòu)建了一個(gè)純卷積結(jié)構(gòu)的meta former結(jié)構(gòu)。該結(jié)構(gòu)舍棄了自注意力硬件支持不友好的操作,但保留了傳統(tǒng)Transformer塊提取全局特征的特點(diǎn)。

然后,研究人員在channel mixer部分引入硬件支持較友好的通道注意力機(jī)制,使其純卷積meta former結(jié)構(gòu)也具備自注意力的特點(diǎn)。

基于ParC結(jié)構(gòu)最終得到的ParC塊,可作為一個(gè)即插即用的基礎(chǔ)單元,替換現(xiàn)有ViT或ConvNet模型中的相關(guān)塊,從而提升精度,并降低計(jì)算成本,有效克服硬件支持的問(wèn)題。

▲ParC實(shí)驗(yàn)結(jié)果

02.

三大視覺(jué)任務(wù)表現(xiàn)出色

多項(xiàng)指標(biāo)打敗蘋(píng)果MobileViT

“據(jù)我們所知,這是第一次嘗試結(jié)合ConvNet和ViT的優(yōu)點(diǎn)來(lái)設(shè)計(jì)一個(gè)輕量級(jí)Pure-ConvNet的結(jié)構(gòu)。”論文作者如此描述ParC-Net的開(kāi)創(chuàng)性。

實(shí)驗(yàn)結(jié)果表明,在圖像分類(lèi)、物體檢測(cè)、語(yǔ)義分割這三類(lèi)常見(jiàn)的視覺(jué)任務(wù)中,混合結(jié)構(gòu)的模型性能表現(xiàn)普遍高于當(dāng)前主流的一些純卷積結(jié)構(gòu)、ViT結(jié)構(gòu)的模型,其中ParC-Net模型取得了最好的整體性能表現(xiàn)。

▲對(duì)于ImageNet-1k的圖像分類(lèi)實(shí)驗(yàn)結(jié)果

在圖像分類(lèi)實(shí)驗(yàn)中,對(duì)于ImageNet-1k的分類(lèi),ParC-Net使用的參數(shù)規(guī)模最小(大約500萬(wàn)個(gè)參數(shù)),卻實(shí)現(xiàn)了最高準(zhǔn)確率78.6%。

MobileViT是蘋(píng)果公司2022年在國(guó)際深度學(xué)習(xí)頂會(huì)ICLR22上提出的輕量級(jí)通用ViT模型。同樣部署在基于Arm的瑞芯微RK3288芯片上,相較基線模型MobileViT,ParC-Net節(jié)省了11%的參數(shù)和13%的計(jì)算成本,同時(shí)準(zhǔn)確率提高了0.2%,推理速度提高了23%。

▲與基準(zhǔn)模型的推理速度對(duì)比

與基于ViT結(jié)構(gòu)的模型相比,ParC-Net的參數(shù)量只有Meta AI團(tuán)隊(duì)DeiT模型參數(shù)的一半左右,準(zhǔn)確率卻比DeiT提高了2.7%。

在MS-COCO物體檢測(cè)和PASCAL VOC分割任務(wù)中,ParC-Net同樣基于較少的參數(shù),實(shí)現(xiàn)了更好的性能、更快的推理速度。

▲MS-COCO物體檢測(cè)實(shí)驗(yàn)結(jié)果

▲PASCAL VOC分割任務(wù)實(shí)驗(yàn)結(jié)果

張?zhí)栧硬┦渴荘arC-Net論文的第一作者,現(xiàn)任深圳云天勵(lì)飛資深算法研究員,研究領(lǐng)域包括網(wǎng)絡(luò)結(jié)構(gòu)搜索、深度估計(jì)、輕量化骨干模型、信息檢索及高光譜圖像分類(lèi)等。

他告訴智東西,傳統(tǒng)ConvNet可以適應(yīng)視覺(jué)任務(wù)中輸入分辨率的變化,而具有全局感受野的純卷積結(jié)構(gòu)的缺陷是卷積核必須跟輸入分辨率保持一致,為了更好應(yīng)對(duì)分辨率的變化,其團(tuán)隊(duì)正在研究將模型做成動(dòng)態(tài)卷積的形式,以提高魯棒性。

目前這項(xiàng)研究成果已經(jīng)可以用在算力受限的移動(dòng)端或邊緣設(shè)備中,實(shí)現(xiàn)更高準(zhǔn)確率的視覺(jué)任務(wù)。如果進(jìn)行一些小的改動(dòng),ParC-Net還可以被用于其他的視覺(jué)任務(wù),例如6DOF姿態(tài)評(píng)估及其他dense prediction的任務(wù)。

03.

與自研芯片協(xié)同

運(yùn)算速度可提升快3～4倍

那么ParC-Net模型的研究成果,具體如何在實(shí)際業(yè)務(wù)場(chǎng)景中發(fā)揮價(jià)值?

據(jù)介紹,一方面,ParC-Net模型可以集成到開(kāi)源算法訓(xùn)練平臺(tái)YMIR中,然后被部署至終端設(shè)備;另一方面,通過(guò)與云天勵(lì)飛自研芯片協(xié)同,它能將運(yùn)算速度和精度進(jìn)一步提升。

YMIR是一個(gè)高度自動(dòng)化的AI模型開(kāi)發(fā)平臺(tái),能做到利用鼠標(biāo)簡(jiǎn)單操作就可以完成數(shù)據(jù)收集、模型訓(xùn)練、數(shù)據(jù)挖掘、數(shù)據(jù)標(biāo)注等功能。將擁有高運(yùn)算效率的ParC-Net模型版本上傳至YMIR后,用戶可在該平臺(tái)上直接選用ParC-Net模型,也可以針對(duì)具體業(yè)務(wù)場(chǎng)景,添加相應(yīng)的數(shù)據(jù)集對(duì)ParC-Net進(jìn)行再訓(xùn)練,從而獲得能更好滿足業(yè)務(wù)需求的模型。

以前有些對(duì)精度要求高或者采用ViT結(jié)構(gòu)的移動(dòng)端視覺(jué)任務(wù),受限于計(jì)算效率問(wèn)題,難以在攝像頭設(shè)備或手機(jī)上運(yùn)行,而上傳到云端做運(yùn)算,對(duì)有較高實(shí)時(shí)性要求的視覺(jué)任務(wù)不是很友好。

ParC-Net則較好地改善了這類(lèi)問(wèn)題,在模型精度和推理效率之間實(shí)現(xiàn)平衡,使得邊緣設(shè)備可以在本地運(yùn)行一些對(duì)精度要求高的視覺(jué)任務(wù)。比如,人臉識(shí)別終端設(shè)備可運(yùn)用ParC-Net直接對(duì)路過(guò)的人進(jìn)行高質(zhì)量特征值提取,無(wú)需將數(shù)據(jù)傳輸?shù)皆贫?就能與數(shù)據(jù)庫(kù)進(jìn)行檢索比對(duì)。

與云天勵(lì)飛自研芯片搭配后,ParC-Net模型的性能表現(xiàn)還能再上一個(gè)臺(tái)階。

張?zhí)栧硬┦空劦?其團(tuán)隊(duì)考慮到軟硬件設(shè)計(jì)協(xié)同問(wèn)題,在研發(fā)之初參考了云天勵(lì)飛自研芯片工具鏈的設(shè)計(jì)及算子支持情況,然后進(jìn)行模型網(wǎng)絡(luò)結(jié)構(gòu)及算子的設(shè)計(jì),以更好地發(fā)揮出芯片算力。

研究人員將ParC-Net和基線模型MobileVit均部署到自研低功耗芯片DP上進(jìn)行推理速度測(cè)試。從實(shí)驗(yàn)結(jié)果可以看到,ParC-Net的推理速度能夠達(dá)到MobileViT速度的3～4倍。

▲與基準(zhǔn)模型在不同芯片平臺(tái)上的推理速度對(duì)比

這也是研究團(tuán)隊(duì)決定選擇基于純卷積結(jié)構(gòu)來(lái)設(shè)計(jì)ParC-Net的原因之一。ConvNet已經(jīng)統(tǒng)治計(jì)算機(jī)視覺(jué)領(lǐng)域十年之久,而ViT在這一領(lǐng)域興起時(shí)間較短,很多現(xiàn)有的神經(jīng)網(wǎng)絡(luò)加速器、硬件優(yōu)化策略,都是圍繞卷積結(jié)構(gòu)設(shè)計(jì)。因此部署在移動(dòng)端時(shí),純ConvNet往往能比ViT享有更好的軟硬件及工具鏈支持,并實(shí)現(xiàn)更快的推理速度。

即便搭載在對(duì)支持ViT更友好的芯片上,張?zhí)栧硬┦空f(shuō),ParC-Net依然能取得比現(xiàn)有其他混合模型更好的性能表現(xiàn)。

絕大多數(shù)視覺(jué)任務(wù)可以分為兩類(lèi):一類(lèi)對(duì)位置信息不敏感,如圖像分類(lèi)等;另一類(lèi)對(duì)位置信息較敏感,如物體檢測(cè)、3D姿態(tài)估計(jì)、AR試穿等。對(duì)于這些視覺(jué)任務(wù),無(wú)論用在智能門(mén)禁、手機(jī)識(shí)圖還是自動(dòng)駕駛汽車(chē)的攝像頭,ParC-Net都能夠發(fā)揮出其兼顧模型精度和計(jì)算效率的優(yōu)勢(shì),并且不會(huì)受部署終端設(shè)備配置的限制。

04.

結(jié)語(yǔ):輕量級(jí)視覺(jué)模型設(shè)計(jì)的新啟發(fā)

當(dāng)前ViT與ConvNet兩大研究方向在計(jì)算機(jī)視覺(jué)領(lǐng)域旗鼓相當(dāng),ViT在學(xué)術(shù)界四處屠榜,ConvNet則在工業(yè)界主導(dǎo)地位難以撼動(dòng),將兩者融合的相關(guān)研究也如雨后春筍般涌現(xiàn)。

此次入選ECCV頂會(huì)的ParC-Net模型,既顧及邊緣設(shè)備對(duì)模型規(guī)模的限制,基于純卷積結(jié)構(gòu),確保其具備易訓(xùn)練、易部署、推理效率高、硬件更友好等特點(diǎn),又吸納了ViT的設(shè)計(jì)特征,實(shí)現(xiàn)比其他ConvNet模型更高的精度。這可以給移動(dòng)端視覺(jué)任務(wù)的模型設(shè)計(jì)帶來(lái)一些啟發(fā)。

(來(lái)源:智東西 作者 | 心緣 編輯 | 漠影)