0
| 本文作者： AI研習社 | 2019-07-17 14:51 |
雷鋒網AI研習社按：DAC19目標檢測設計是一個面向移動端的單目標物體檢測的比賽，檢測精度高且能耗低者勝出。我們團隊設計了單目標檢測的深度學習算法ShuffleDet，和面向Xilinx ZU3的AI硬件加速器，獲得了FPGA賽道的第二名。本次分享主要介紹我們團隊的設計方案。
分享嘉賓：趙文哲，西安交通大學人工智能與機器人研究所研究員，倫斯勒理工學院訪問學者，主要研究方向為計算機體系結構，糾錯碼設計，以及企業級存儲方案設計。
公開課鏈接：http://www.mooc.ai/open/course/674?=from%20leifeng0717
分享主題：HiPU設計簡介--DAC19目標檢測設計競賽FPGA賽道亞軍方案介紹
分享提綱：
DAC19比賽背景介紹；
算法選擇及訓練介紹；
一種通用目的的AI加速器設計簡介；
性能分析與結論。
雷鋒網AI研習社將其分享內容整理如下：
大家好，我們來自于西安交通大學人工智能研究所。在今年DAC會議舉辦的自動化系統設計大賽上獲得了亞軍，今天主要介紹一下我們的設計方案。我負責這個方案的算法部分，算法部分主要進行了目標檢測遞層框架的搭建、神經網絡算法的壓縮，后面主要由趙老師講一下硬件架構的設計。
這個是由英偉達、大疆他們共同組建的一個比賽，數據集由大疆提供——基于大疆無人機拍攝出的目標檢測的數據集，比賽從準確率、速率、網絡效率等方面綜合考量之后，給參賽隊伍一個相應的分數，以上這些是關于比賽的大概介紹。
在比賽中，算法方面主要是兩個工作，第一個是神經網絡的選取，這個工作需要在一非常小的BP上配置神經網絡，所以首選儲存空間小、效率高的這種來作為特征提取的基本網絡。在這個網絡訓練過程中，主要進行了兩個部分的優化，首先是將神經網絡進行預訓練，第二個優化是針對硬件優化的，將ShuffleNet V2變成8的倍數，方便后面進行配置。
算法方面的第二個工作主要是介紹網絡的量化，網絡的量化也分為兩個主要的部分，首先是將一些特殊的層進行融合，如圖示左邊部分。其次是8bit的量化過程，如圖示右邊部分。
下面介紹一下量化過程中的一些關鍵點，第一個點就是神經網絡越小，量化難度越高，來看一下下圖所示右邊部分，是當時我們為了驗證這個說法做的一個實驗。第二個點就是上一頁的cabs函數，這個函數主要是保護權重和輸出在要求的范圍內不產生溢出，最好是先讓網絡訓練一段時間，在權重和輸出都比較穩定的時候再把函數加入進去。第三個點就是ratio_a,指的是輸出值，這個值的統計是一個非常精細的過程。第四個需要注意的點就是，在完成離線的量化工作之后，在實際操作中，需要跳過round函數的梯度。
關于量化這個領域，建議大家讀一下以下這些論文，如下圖。
我這部分講完了，接下來是趙老師來介紹。
在我們的網絡和參數訓練完成之后，就需要設計一套硬件加速處理器，以便讓神經網絡能夠高效的運行。為了實現上述目標，我們設計了一個通用的，可以支持幾乎所有網絡的加速器，將它命名為HiPU。這個加速器主要包括這樣幾個模塊，首先是一般的控制模塊，除此之外有矩陣運算和矢量運算。在HiPU里面，主要是處理卷積、Depth-wise卷積、padding、pooling、跟channel相關的shuffle操作以及concat操作。
先看一下幾個基本操作，如下圖右側所示，是HiPU的基本結構圖。
接下來看一下計算過程，以卷積為例，當數據已經放在MRa、MRb中之后，通過計算器發出開始卷積的命令，然后conv_ctrl模塊會把一個卷積拆解成很多矩陣運算和矢量運算的指令,MPU和VPU內部會把數據讀上來，計算完之后再送到VPU做一次運算的結尾部分，算完之后再寫回到MRa之中，流程大概就是這樣。DW卷積也是類似，如圖所示。
接下來看一下相關的幾個優化，首先我們并不是算完一層就立刻返回，以module_c為例，先做一個切分，把前一半的數據直接傳到后面，后一半的數據分別經過1x1的卷積，然后經過3x3的卷積，再經過1x1的卷積，和之前的數據做一個shuffle之后輸出。在這個過程中，并不是說做一個卷積就算完了就立刻輸出。繼續講第二個優化，在此之前說一下我們這種做法的問題，問題是一次需要讀入8個輸入channel的數據，但是輸入層只有RGB三個通路，如果要處理這樣的數據，就必須要補上5個channel的0，計算效率也就只有八分之三。針對這個問題，如果第一層卷積是3x3的，可以考慮做這樣一個變換，把相關的數據排列過來，如下圖，這樣的做法可以讓卷積效率提高很多。
除此之外我們再看一下作為系統的優化，系統分為PS側和PL側，大部分卷積運算都是放在PL側進行的，最后一層的輸出是放在PS側來做的。在PL側做大量卷積運算的時候，PS側是空閑著的，但是現在在做當前圖的卷積運算的時候，PS側會進行下一張圖的預讀取，通過這種方式可以顯著地減少讀圖所消耗的時間。除此之外是對計算Calc bbox的優化，通過外擴C函數，把計算時間從2毫秒降到0.6毫秒，而且，讀圖像的時間也可以減少。最后還有一個問題，之前使用的SD卡并不是最好的SD卡，會出現這種PS側一直在讀圖，但是PL側已經算完了的尷尬情況，于是增加了一個門控時鐘來降低功耗。
接下來是HiPU的一個總結。我們的HiPU可以在單倍頻和雙倍頻模式下工作在233MHz，峰值算力為268Gops。資源占比中，LUT站到62%左右，還有繼續提升的空間。編程API為C以及RISC-V風格的匯編。支持的主要操作如下圖所示：
下圖是HiPU在不同的配置環境下執行這次比賽的任務的性能分析：
介紹一下我們的Roadmap,如圖所示：
最后請欣賞我們設計的2個Demo:
今天的介紹主要就是這些，謝謝大家。
以上就是本期嘉賓的全部分享內容。更多公開課視頻請到雷鋒網(公眾號：雷鋒網) AI 研習社社區http://ai.yanxishe.com/觀看。關注微信公眾號：AI 研習社（okweiwu），可獲取最新公開課直播時間預告。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
