0
| 本文作者： 嘉嘉 | 2022-11-18 14:23 |
近年來，人工智能行業發展迅速，熱度居高不下，各種性能強大的算法和硬件層出不窮。但在“光鮮”外表之下，人工智能算法“落地難”的問題卻一直為人所詬病。歸根究底，是學術界在追求模型理論性能提升的同時，對于算法在實際工業場景的落地實踐有所欠缺，忽視了模型在不同硬件上的能力邊界。
為此，商湯科技聯合北航劉祥龍教授團隊，攜手安徽合肥數據空間研究院、天數智芯、科大訊飛、OpenI 啟智新一代人工智能開源開放平臺等機構與企業，在國際頂級人工智能會議AAAI 2023上舉辦實用AI挑戰賽，旨在搭建一座連通學術與工業化落地的橋梁，篩選出效果好、效率高、魯棒性強的模型設計，推動人工智能領域朝實用方向發展。
依托商湯AI大裝置，商湯科技內部自研的模型全生命周期效率提升工具-模型工廠，也將于本次比賽期間首次對外開放部分能力，其全流程、自動化、多硬件的人工智能部署和測試平臺，可用于評估包括算法速度、精度等多維度的實用性，快速篩選出高性能的人工智能模型。
在本次比賽中，我們選擇了在智慧安防、自動駕駛、手機、云計算四個熱門人工智能落地場景下使用的7個不同硬件平臺，這些硬件平臺在算力、算子支持和模型量化方案等方面各有不同。參賽隊伍將基于7個指定平臺展開角逐，充分考慮硬件特性，針對交通燈和交通標志識別任務，嘗試找出在各個平臺表現最優異的模型，也可以嘗試設計多平臺通用的“全能”模型！
本次大賽依托“AAAI 2023 Workshop: Practical Deep Learning in the Wild”展開。獲獎隊伍將獲得豐厚獎金，還將受邀在workshop分享冠軍方案。大賽已正式啟動，查看文末網址或點擊閱讀原文，即刻報名參與。
本次比賽共包含兩個賽道：單平臺高性能魯棒結構設計和跨平臺高性能魯棒結構設計。
針對單一硬件平臺的最優模型：不同的芯片支持的算子和數據類型以及算子的底層優化機制均不相同，因此該賽道鼓勵參賽團隊根據不同的硬件芯片的特性，選擇特定芯片設計硬件相關的高性能網絡結構。
針對全部硬件平臺找到一個通用的高效魯棒模型：希望參賽團隊能夠綜合考慮不同芯片的硬件特性，設計一個在全部七個平臺通用的，高效魯棒模型結構。
賽題覆蓋多種場景和硬件架構，涉及的硬件平臺包括：
· 安防芯片：華為Atlas 300 / 瑞芯微 RV1126
· 云端GPU芯片：英偉達 Tesla T4
· 手機芯片：高通SNPE GPU、DSP
· 自動駕駛芯片：德州儀器TDA4VM
· 商湯自研推理芯片：商湯STPU S1
在數據集方面，基于商湯在自動駕駛領域多年積累，開放部分交通標志和信號燈數據集，聚焦真實場景問題。
比賽將系統評估模型的速度、精度和魯棒性三個方面。
比賽早期會分別釋放訓練數據，選手們僅能使用該階段提供的訓練數據對其設計的模型進行訓練，并用A榜驗證集評估模型在其實驗環境下的精度表現。為了篩選出具備魯棒性的參賽方案，最終排名會使用B榜測試集，該測試集包含硬件平臺自身的系統噪聲以及真實生活場景的自然噪聲。每個平臺會單獨評估選手提交模型的精度(presicion)和速度(latency)，并計算相對的精度得分和速度得分。
得益于商湯AI大裝置能力，比賽開放模型的速度測試和精度測試入口，選手每天可以通過比賽提供的測速服務和精度測試服務，快速驗證其設計的結構在不同硬件平臺的真實推理速度和精度。
獎項設置
比賽提供了總額達1.7萬美元的豐厚獎金池。
賽道1：單平臺賽道
*本獎項共涉及7個硬件平臺，每個硬件平臺的冠軍隊伍均可獲得1000美元的獎勵。
賽道2：多平臺賽道
注：參賽隊伍不能同時獲得兩個賽道的獎金，若在兩賽道均排名靠前，獎金取數額大者發放。
為了降低參賽門檻、方便參賽隊伍快速上手，提供了包含從訓練到測試的完整樣例 (https://github.com/ModelTC/AAAI2023_EAMPD)，每個人都可以跟隨教程，完成提交。同時還能享受到來自OpenI的免費算力資源。
開放競賽報名和數據集下載
開放提交及線上精度評測
排行榜封榜
結果公布
本次大賽的信息發布、報名、提交均會通過競賽主頁進行，大家也可以通過微信群聊或者slack與我們聯系。歡迎大家踴躍參加！
大賽主頁：
https://practical-dl.sensecore.cn
