麻豆国产原创视频在线播放_亚洲精品成人网_Q国产一区二区三区中文在线_露脸国产自产拍在线观看_91国自产拍精品

飛槳泛舟群英薈,CVPR 2021 NAS 比賽完美落幕

2021-06-25 11:54:57

CVPR作為計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域的世界級(jí)學(xué)術(shù)頂會(huì),不僅是業(yè)界展示領(lǐng)先科技成果的平臺(tái),也是探索學(xué)術(shù)前沿的平臺(tái)。AutoDL作為近年來AI領(lǐng)域最熱門的方向之一,被認(rèn)為是下一代人工智能技術(shù),在工業(yè)界和學(xué)術(shù)界都引起了廣泛關(guān)注,而神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)(Neural Architecture Search,NAS)又是該領(lǐng)域最核心的方向。作為工業(yè)界在此領(lǐng)域的先行者,百度今年聯(lián)合悉尼科技大學(xué)和美國(guó)北卡羅來大學(xué)舉辦了CVPR 2021 NAS workshop,并在CVPR 2021舉辦了首屆NAS國(guó)際競(jìng)賽,探討輕量化NAS的現(xiàn)狀和未來。

基于飛槳,百度將模型小型化和NAS等眾多創(chuàng)新功能集成在PaddleSlim這一開源模型壓縮工具庫(kù)中。PaddleSlim除了支持傳統(tǒng)的網(wǎng)絡(luò)剪枝、參數(shù)量化和知識(shí)蒸餾等方法外,還可以通過NAS+蒸餾+量化一站式模型壓縮產(chǎn)出業(yè)界領(lǐng)先的小模型。這些創(chuàng)新方法囊括了很多百度自研的NAS算法,如發(fā)表在CVPR2020的GP-NAS以及IJCV期刊上的SA-NAS。借助這些方法,百度視覺團(tuán)隊(duì)近兩年先后七次在CVPR與ECCV等國(guó)際比賽中奪得世界冠軍,并全線應(yīng)用在各條業(yè)務(wù)上。

三賽道并行,探索NAS技術(shù)革新之道

在NAS技術(shù)發(fā)展上,早期的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)采用基于強(qiáng)化學(xué)習(xí)的方法,需要將每個(gè)子神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上訓(xùn)練至收斂狀態(tài),然后評(píng)估其效果。該方案效果雖超過人工設(shè)計(jì)的結(jié)果,但需要依賴大量的計(jì)算資源,很難普及應(yīng)用。近年,新的趨勢(shì)通過基于可微分框架和超網(wǎng)絡(luò)的輕量級(jí)搜索大幅降低了對(duì)計(jì)算資源的依賴,同時(shí)也在在靈活性和搜索效果上展現(xiàn)了較大的改善空間?;谶@些判斷,從實(shí)際研究的關(guān)鍵問題出發(fā),本次大賽設(shè)置了三個(gè)賽道:

賽道一:超網(wǎng)絡(luò)一致性

由于算法的高效性,OneshotNAS逐漸成為研究熱點(diǎn)。通過參數(shù)共享的方式,不再需要獨(dú)立訓(xùn)練并評(píng)估每個(gè)子網(wǎng)絡(luò)的性能,只需訓(xùn)練一個(gè)大的超網(wǎng)絡(luò),然后通過繼承超網(wǎng)絡(luò)參數(shù)的方式就可快速評(píng)估每個(gè)子網(wǎng)絡(luò)的性能,從而高效地進(jìn)行模型結(jié)構(gòu)自動(dòng)搜索。然而,獨(dú)立訓(xùn)練子網(wǎng)絡(luò)的性能及性能排序與子網(wǎng)絡(luò)繼承超網(wǎng)絡(luò)參數(shù)的性能及性能排序之間仍有很大偏差,從而導(dǎo)致搜索得到的結(jié)構(gòu)性能差,本賽道旨在解決超網(wǎng)絡(luò)一致性問題。

賽道二:模型性能預(yù)測(cè)

在不訓(xùn)練的前提下,準(zhǔn)確預(yù)測(cè)任意模型的結(jié)構(gòu)性能非常重要,不僅有助于分析模型結(jié)構(gòu)的性能優(yōu)劣,而且能夠預(yù)測(cè)出滿足任意硬件延時(shí)約束的最優(yōu)模型結(jié)構(gòu)。本賽道提供了部分(小樣本)模型結(jié)構(gòu)與模型精度之間對(duì)應(yīng)關(guān)系的基準(zhǔn)測(cè)試集,參賽選手既可以通過黑盒的方式直接訓(xùn)練,也可以使用白盒的方式進(jìn)行參數(shù)估計(jì),最終使得預(yù)測(cè)泛化性能達(dá)到最優(yōu)。

賽道三:未知數(shù)據(jù)

NAS可以在CIFAR-10和ImageNet等數(shù)據(jù)集上搜索到優(yōu)秀的模型結(jié)構(gòu),然而很少有人關(guān)注其在“真實(shí)場(chǎng)景”中的應(yīng)用情況。為考察NAS算法在幾乎沒有時(shí)間進(jìn)行超參調(diào)優(yōu)情況下“開箱即用”的效果,本賽道旨在評(píng)估NAS算法在未知任務(wù)和數(shù)據(jù)集上的效果。

雖然是第一屆NAS比賽,本次比賽因其前沿性和實(shí)用性吸引了全球59個(gè)國(guó)家和地區(qū)、超過600支隊(duì)伍在AI Studio上參賽。參賽隊(duì)伍包括了清華、北大、中科院、上海交大、華中科大、劍橋、牛津、加州大學(xué)伯克利分校等國(guó)內(nèi)外知名高校,也包括了三星、快手和??档戎髽I(yè)。比賽征集到眾多優(yōu)質(zhì)的NAS解決方案,其中賽道一冠軍方案是??笛芯吭禾岢龅牟蓸釉鰪?qiáng)和漸進(jìn)式學(xué)習(xí)方案,賽道二的冠軍方案是由華中科大與上海交大聯(lián)合提出的基于半監(jiān)督學(xué)習(xí)的模型精度預(yù)測(cè)器(SemiLGB)方案。值得一提的是清華大學(xué)基于飛槳的NAS技術(shù)方案已在AI Studio和GitHub平臺(tái)開源,詳見https://github.com/MetaLearners/CVPR2021-NAS-competition-Track-1-4th-solution,可以一睹為快。

本次研討會(huì)將于北京時(shí)間6月25日22點(diǎn)線上舉行。不僅有獲勝隊(duì)伍宣講技術(shù)方案,還有幸邀請(qǐng)到馬毅、紀(jì)榮嶸、黃高、徐暢、Alan Yullie和Sara Sabour等國(guó)內(nèi)外著名學(xué)者進(jìn)行演講,分享神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)(NAS)領(lǐng)域的最新進(jìn)展和未來動(dòng)向,詳細(xì)日程和參與方式請(qǐng)?jiān)L問研討會(huì)官網(wǎng)。歡迎大家的持續(xù)關(guān)注。

關(guān)閉