CVPR作為計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域的世界級(jí)學(xué)術(shù)頂會(huì)，不僅是業(yè)界展示領(lǐng)先科技成果的平臺(tái)，也是探索學(xué)術(shù)前沿的平臺(tái)。AutoDL作為近年來AI領(lǐng)域最熱門的方向之一，被認(rèn)為是下一代人工智能技術(shù)，在工業(yè)界和學(xué)術(shù)界都引起了廣泛關(guān)注，而神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)（Neural Architecture Search，NAS）又是該領(lǐng)域最核心的方向。作為工業(yè)界在此領(lǐng)域的先行者，百度今年聯(lián)合悉尼科技大學(xué)和美國(guó)北卡羅來大學(xué)舉辦了CVPR 2021 NAS workshop，并在CVPR 2021舉辦了首屆NAS國(guó)際競(jìng)賽，探討輕量化NAS的現(xiàn)狀和未來。

基于飛槳，百度將模型小型化和NAS等眾多創(chuàng)新功能集成在PaddleSlim這一開源模型壓縮工具庫(kù)中。PaddleSlim除了支持傳統(tǒng)的網(wǎng)絡(luò)剪枝、參數(shù)量化和知識(shí)蒸餾等方法外，還可以通過NAS+蒸餾+量化一站式模型壓縮產(chǎn)出業(yè)界領(lǐng)先的小模型。這些創(chuàng)新方法囊括了很多百度自研的NAS算法，如發(fā)表在CVPR2020的GP-NAS以及IJCV期刊上的SA-NAS。借助這些方法，百度視覺團(tuán)隊(duì)近兩年先后七次在CVPR與ECCV等國(guó)際比賽中奪得世界冠軍，并全線應(yīng)用在各條業(yè)務(wù)上。

三賽道并行，探索NAS技術(shù)革新之道

在NAS技術(shù)發(fā)展上，早期的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)采用基于強(qiáng)化學(xué)習(xí)的方法，需要將每個(gè)子神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上訓(xùn)練至收斂狀態(tài)，然后評(píng)估其效果。該方案效果雖超過人工設(shè)計(jì)的結(jié)果，但需要依賴大量的計(jì)算資源，很難普及應(yīng)用。近年，新的趨勢(shì)通過基于可微分框架和超網(wǎng)絡(luò)的輕量級(jí)搜索大幅降低了對(duì)計(jì)算資源的依賴，同時(shí)也在在靈活性和搜索效果上展現(xiàn)了較大的改善空間?；谶@些判斷，從實(shí)際研究的關(guān)鍵問題出發(fā)，本次大賽設(shè)置了三個(gè)賽道：

賽道一：超網(wǎng)絡(luò)一致性

由于算法的高效性，OneshotNAS逐漸成為研究熱點(diǎn)。通過參數(shù)共享的方式，不再需要獨(dú)立訓(xùn)練并評(píng)估每個(gè)子網(wǎng)絡(luò)的性能，只需訓(xùn)練一個(gè)大的超網(wǎng)絡(luò)，然后通過繼承超網(wǎng)絡(luò)參數(shù)的方式就可快速評(píng)估每個(gè)子網(wǎng)絡(luò)的性能，從而高效地進(jìn)行模型結(jié)構(gòu)自動(dòng)搜索。然而，獨(dú)立訓(xùn)練子網(wǎng)絡(luò)的性能及性能排序與子網(wǎng)絡(luò)繼承超網(wǎng)絡(luò)參數(shù)的性能及性能排序之間仍有很大偏差，從而導(dǎo)致搜索得到的結(jié)構(gòu)性能差，本賽道旨在解決超網(wǎng)絡(luò)一致性問題。

賽道二：模型性能預(yù)測(cè)

在不訓(xùn)練的前提下，準(zhǔn)確預(yù)測(cè)任意模型的結(jié)構(gòu)性能非常重要，不僅有助于分析模型結(jié)構(gòu)的性能優(yōu)劣，而且能夠預(yù)測(cè)出滿足任意硬件延時(shí)約束的最優(yōu)模型結(jié)構(gòu)。本賽道提供了部分（小樣本）模型結(jié)構(gòu)與模型精度之間對(duì)應(yīng)關(guān)系的基準(zhǔn)測(cè)試集，參賽選手既可以通過黑盒的方式直接訓(xùn)練，也可以使用白盒的方式進(jìn)行參數(shù)估計(jì)，最終使得預(yù)測(cè)泛化性能達(dá)到最優(yōu)。

賽道三：未知數(shù)據(jù)

NAS可以在CIFAR-10和ImageNet等數(shù)據(jù)集上搜索到優(yōu)秀的模型結(jié)構(gòu)，然而很少有人關(guān)注其在“真實(shí)場(chǎng)景”中的應(yīng)用情況。為考察NAS算法在幾乎沒有時(shí)間進(jìn)行超參調(diào)優(yōu)情況下“開箱即用”的效果，本賽道旨在評(píng)估NAS算法在未知任務(wù)和數(shù)據(jù)集上的效果。

雖然是第一屆NAS比賽，本次比賽因其前沿性和實(shí)用性吸引了全球59個(gè)國(guó)家和地區(qū)、超過600支隊(duì)伍在AI Studio上參賽。參賽隊(duì)伍包括了清華、北大、中科院、上海交大、華中科大、劍橋、牛津、加州大學(xué)伯克利分校等國(guó)內(nèi)外知名高校，也包括了三星、快手和?？档戎髽I(yè)。比賽征集到眾多優(yōu)質(zhì)的NAS解決方案，其中賽道一冠軍方案是?？笛芯吭禾岢龅牟蓸釉鰪?qiáng)和漸進(jìn)式學(xué)習(xí)方案，賽道二的冠軍方案是由華中科大與上海交大聯(lián)合提出的基于半監(jiān)督學(xué)習(xí)的模型精度預(yù)測(cè)器（SemiLGB）方案。值得一提的是清華大學(xué)基于飛槳的NAS技術(shù)方案已在AI Studio和GitHub平臺(tái)開源，詳見https://github.com/MetaLearners/CVPR2021-NAS-competition-Track-1-4th-solution，可以一睹為快。

本次研討會(huì)將于北京時(shí)間6月25日22點(diǎn)線上舉行。不僅有獲勝隊(duì)伍宣講技術(shù)方案，還有幸邀請(qǐng)到馬毅、紀(jì)榮嶸、黃高、徐暢、Alan Yullie和Sara Sabour等國(guó)內(nèi)外著名學(xué)者進(jìn)行演講，分享神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)（NAS）領(lǐng)域的最新進(jìn)展和未來動(dòng)向，詳細(xì)日程和參與方式請(qǐng)?jiān)L問研討會(huì)官網(wǎng)。歡迎大家的持續(xù)關(guān)注。