高效神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與壓縮

案例背景:
隨著基于深度神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺技術(shù)落地拓廣，硬件的成本控制越來越嚴(yán)格，這對算法推理的性能、模型大小、資源占用、硬件適配等要求顯著提升，需要針對不同的硬件在模型結(jié)構(gòu)上進(jìn)行針對性設(shè)計(jì)以實(shí)現(xiàn)低成本硬件也能取得很好的算法效果。而傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)依賴于人工的調(diào)整，適配硬件的成本很高，這使得我們需要有更自動化的方案來進(jìn)行高效神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)。

解決思路:
針對上述問題，我們在模型壓縮和網(wǎng)絡(luò)結(jié)構(gòu)搜索兩項(xiàng)技術(shù)上進(jìn)行了探索和應(yīng)用，通過量化、剪枝、蒸餾、nas等技術(shù)的綜合應(yīng)用，實(shí)現(xiàn)了高效神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的自動設(shè)計(jì)和訓(xùn)練，相比原本的人工設(shè)計(jì)在效果、性能和時(shí)間成本上都有顯著的提升。

成果：
上述技術(shù)已經(jīng)成功應(yīng)用于百度計(jì)算機(jī)視覺的多項(xiàng)產(chǎn)品和業(yè)務(wù)，基本取代了人工設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)的傳統(tǒng)做法，幫助百度的多項(xiàng)AI公有云能力和軟硬結(jié)合產(chǎn)品實(shí)現(xiàn)行業(yè)效果領(lǐng)先。同時(shí)我們也對內(nèi)和對外基于paddleslim進(jìn)行技術(shù)的平臺化和開源，搭配paddlelite推理引擎可以在各類硬件部署上取得實(shí)際加速。