0
雷鋒網(wǎng) AI 科技評論按，2019 年 4 月 23 日，首屆 WAVE SUMMIT 2019 深度學(xué)習(xí)開發(fā)者峰會(huì)在北京舉辦，會(huì)上，來自工業(yè)界的多家展商展示了基于 PaddlePaddle 訓(xùn)練的包括瓷器質(zhì)檢、遙感影像目標(biāo)檢測與語義分割、軸承外觀缺陷檢測等多個(gè)系統(tǒng)，百度高級副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實(shí)驗(yàn)室主任王海峰，百度深度學(xué)習(xí)技術(shù)平臺(tái)部總監(jiān)馬艷軍均上臺(tái)發(fā)言，分別闡述了深度學(xué)習(xí)在智能時(shí)代的重要意義以及推進(jìn) PaddlePaddle 的價(jià)值、PaddlePaddle 的一系列新特性，在會(huì)上，更是重磅發(fā)布 PaddlePaddle 中文名「飛槳」以及 AI studio 億元免費(fèi)算力支持計(jì)劃。而來自學(xué)術(shù)界和工業(yè)界的嘉賓也共聚一堂，對深度學(xué)習(xí)的發(fā)展情況以及未來展開激烈探討。
深度學(xué)習(xí)在諸多研究領(lǐng)域的重要性
開場伊始，百度高級副總裁王海峰博士表示，人類經(jīng)歷的三次工業(yè)革命，分別以機(jī)械技術(shù)、電氣技術(shù)和信息技術(shù)為核心驅(qū)動(dòng)力，而現(xiàn)在，人工智能是第四次工業(yè)革命核心驅(qū)動(dòng)力量，這一技術(shù)會(huì)將人類社會(huì)帶入智能時(shí)代。
隨后，他也從語音識(shí)別、語音合成、OCR 技術(shù)、自然語言處理以及機(jī)器翻譯諸多層面對深度學(xué)習(xí)帶來的重大價(jià)值進(jìn)行了舉例。諸如機(jī)器翻譯，最早基于規(guī)則系統(tǒng)，依據(jù)領(lǐng)域知識(shí)，但是由人工撰寫規(guī)則，存在規(guī)則沖突，耗時(shí)也耗力，隨后進(jìn)展到統(tǒng)計(jì)機(jī)器翻譯，由人工設(shè)計(jì)特征，需要機(jī)器自動(dòng)訓(xùn)練，但也存在模型多、單個(gè)模型無法遷移到其他場景的問題，到現(xiàn)在的基于神經(jīng)網(wǎng)絡(luò)機(jī)器，依靠深度神經(jīng)網(wǎng)絡(luò)，利用端到端模型全自動(dòng)學(xué)習(xí)，這樣大大節(jié)省了人力資源和成本。
在這一過程中，深度學(xué)習(xí)框架的發(fā)展極具現(xiàn)實(shí)意義。他強(qiáng)調(diào)，深度學(xué)習(xí)推動(dòng)人工智能進(jìn)入工業(yè)大生產(chǎn)階段，深度學(xué)習(xí)框架是智能時(shí)代的操作系統(tǒng)，從最底層芯片出發(fā)，我們需要通過框架來訓(xùn)練模型，隨后才能完成各種業(yè)務(wù)模型，觸及各個(gè)行業(yè)應(yīng)用。
圖：PaddlePaddle 全景
針對深度學(xué)習(xí)工具的必要性，他也為廣大開發(fā)者重溫了 PaddlePaddle 的各種功能。PaddlePaddle 包括核心框架、工具組件和服務(wù)平臺(tái)三大部分。在核心框架層面，可以為開發(fā)者提供開發(fā)、訓(xùn)練和預(yù)測三大能力，在此之上，百度提供包括視覺、自然語言處理等在內(nèi)的豐富模型，通過模塊化的方式提供給使用者。在工具組件上，PaddlePaddle 提供包括遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、自動(dòng)化網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、訓(xùn)練可視化工具、彈性深度學(xué)習(xí)計(jì)算等在內(nèi)的多個(gè)工具組件，適應(yīng)工業(yè)大生產(chǎn)的需要。而在服務(wù)平臺(tái)層面，PaddlePaddle 則提供零基礎(chǔ)定制化訓(xùn)練和服務(wù)平臺(tái) EasyDL 以及一站式開發(fā)平臺(tái) AI Studio。他表示，這一整套的框架和服務(wù)，可以幫助廣大開發(fā)者和企業(yè)利用工具化、平臺(tái)化的方式，進(jìn)一步降低深度學(xué)習(xí)應(yīng)用門檻，加速推動(dòng)產(chǎn)業(yè)智能化變革。
百度 PaddlePaddle 全新升級，中文名「飛槳」
隨后，馬艷軍上臺(tái)從開發(fā)、訓(xùn)練、預(yù)測、工具、服務(wù)五個(gè)層面出發(fā)，介紹了全新升級的 PaddlePaddle。
開發(fā)環(huán)節(jié)，主要包括 PaddleNLP 和視頻識(shí)別工具集的升級。
馬艷軍表示，PaddlePaddle 目前已經(jīng)支持 60 多個(gè)經(jīng)過真實(shí)業(yè)務(wù)場景驗(yàn)證的官方模型，涵蓋視覺、自然語言處理、推薦等 AI 核心技術(shù)領(lǐng)域。此次，PaddlePaddle 提供 NLP 和 CV 領(lǐng)域的更多模型，在 NLP 領(lǐng)域，提供語義表示模型 ERNIE、BERT、ELMo，語言模型 LSTM、GRU，語義匹配組網(wǎng)集 SimNet，在 CV 領(lǐng)域，提供諸如流行的 fast R-CNN、faster R-CNN、mask R-CNN、SSD、VGG、ResNet 等豐富的模型。
另外，此次發(fā)布的視頻識(shí)別工具集能共享骨架代碼，覆蓋當(dāng)前 7 個(gè)經(jīng)典的視頻分類模型，包括百度的 stNet、Attention LSTM 和 Attention Cluster，還可實(shí)現(xiàn)一鍵式的高效配置來做訓(xùn)練和預(yù)測。
訓(xùn)練環(huán)節(jié)，主要是大規(guī)模分布式訓(xùn)練和工業(yè)級數(shù)據(jù)處理上的升級。
大規(guī)模分布式訓(xùn)練主要從三方面實(shí)現(xiàn)升級。首先全面支持多機(jī)多卡，其次在 CPU 的應(yīng)用場景方面，針對大規(guī)模稀疏特征設(shè)計(jì)并開放了大規(guī)模稀疏參數(shù)服務(wù)器，此外，提供 K8S 生態(tài)支持。
在數(shù)據(jù)處理方面，主要有如下四大優(yōu)勢：分布式樣本 Shuffle、分布式文件系統(tǒng) IO 支持、高性能多生產(chǎn)者-多消費(fèi)者設(shè)計(jì)、多種語言 IO 組件的靈活嵌?。
而在預(yù)測環(huán)節(jié)，PaddlePaddle 支持完整的端到端全流程部署方案，在服務(wù)端部署上，提供完備的在線服務(wù)能力，支持硬件設(shè)備的擴(kuò)展，以及快速部署。此外，PaddleSlim 模型壓縮工具庫能夠在精度損失較小的情況下高效進(jìn)?模型體積壓縮。
在工具組件上，PaddlePaddle 不僅重磅開源 AutoDL Design、升級 PARL，并首次提出并發(fā)布預(yù)訓(xùn)練一站式管理工具 PaddleHub。AutoDL Design 自動(dòng)化網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)是用深度學(xué)習(xí)設(shè)計(jì)深度學(xué)習(xí)，目前已經(jīng)全面超過人類專家設(shè)計(jì)的網(wǎng)絡(luò)效果。升級后的強(qiáng)化學(xué)習(xí)工具 PARL，在算法的覆蓋、高性能通訊以及并行的訓(xùn)練方面做了大量支持和擴(kuò)展。PaddleHub提供包括預(yù)訓(xùn)練模型管理、命令行一鍵式使用和遷移學(xué)習(xí)三大功能，10 行代碼即可讓開發(fā)者完成模型遷移。
發(fā)布 AI studio 一億元免費(fèi)算力支持計(jì)劃以及未來更新圖
而在服務(wù)方面，百度發(fā)布億元算力支持計(jì)劃，支持開發(fā)者免費(fèi)試用工業(yè)旗艦 GPU，同時(shí)提供免費(fèi)安裝的集成環(huán)境，開發(fā)者可以直接上手試用。在這里，提供兩種模式，一是一人一張 V100 訓(xùn)練卡，提供 16GB 顯存以及最高 2TB 的存儲(chǔ)空間，這里可以使用邀請碼獲贈(zèng)算力時(shí)長，邀請好友加入即可獲贈(zèng)更多時(shí)長。二是遠(yuǎn)程集群模式，百度提供單卡 12GB 顯存，開發(fā)者可以多卡并行訓(xùn)練，以及不限時(shí)免費(fèi)試用。這里登錄 AI studio 即可使用。
面向高校、開發(fā)者和企業(yè)，PaddlePaddle 也有不同的方案，針對高校，提供深度學(xué)習(xí)師資培訓(xùn)班，針對開發(fā)者，有免費(fèi)在線課程以及算力支持，此外還舉辦不間斷的賽事，而針對企業(yè)，則設(shè)置 AI 黃埔學(xué)院、AI 快車道以及百度 AI 技術(shù)生態(tài)扶持。
在會(huì)上，馬艷軍也公布了 PaddlePaddle 未來一系列新計(jì)劃：
在 2019 年 7 月，將實(shí)現(xiàn)如下四項(xiàng)功能：
動(dòng)態(tài)圖基本功能完善，新增流水線并行能力
提供視覺檢測、生成工具集，使用文檔全面優(yōu)化
顯存占用優(yōu)化，靜態(tài)圖訓(xùn)練速度全面提升
優(yōu)化高速推理引擎，支持在更多硬件的快速擴(kuò)展，完善支持半精度
2019 年 11 月，將實(shí)現(xiàn)如下四項(xiàng)功能：
動(dòng)態(tài)圖實(shí)現(xiàn)與靜態(tài)圖靈活轉(zhuǎn)換，支持高層 API
動(dòng)態(tài)圖訓(xùn)練速度全面優(yōu)化
PaddleHub 升級到 2.0，基于最完備的預(yù)訓(xùn)練模型庫進(jìn)行遷移學(xué)習(xí)
多項(xiàng)行業(yè)應(yīng)用解決方案發(fā)布
而在會(huì)后，雷鋒網(wǎng) AI 科技評論也針對以下開發(fā)者所關(guān)注的問題對馬艷軍進(jìn)行了提問，以下為問答環(huán)節(jié)。
雷鋒網(wǎng)：2016 年 9 月，百度開源 PaddlePaddle，發(fā)展至今，PaddlePaddle 與 TensorFlow 以及 PyTorch 相比，主要差異點(diǎn)在哪里，對于開發(fā)者來說，使用它有哪些優(yōu)勢？
馬艷軍：PaddlePaddle 是在我們的產(chǎn)業(yè)實(shí)踐中持續(xù)研發(fā)和完善起來的，我們的 slogan 也是「源自產(chǎn)業(yè)實(shí)踐的開源深度學(xué)習(xí)平臺(tái)」。因此 PaddlePaddle 貼合實(shí)際應(yīng)用場景，真正滿足工業(yè)場景的應(yīng)用需求。PaddlePaddle 也開放了深度學(xué)習(xí)產(chǎn)業(yè)應(yīng)用中的最佳實(shí)踐。如官方支持面向真實(shí)場景應(yīng)用、達(dá)到工業(yè)級應(yīng)用效果的模型，針對大規(guī)模數(shù)據(jù)場景的分布式訓(xùn)練能力、支持多種異構(gòu)硬件的高速推理引擎，訓(xùn)練所支持的數(shù)據(jù)規(guī)模、訓(xùn)練速度、推理支持的硬件全面性、推理速度更優(yōu)。
第二，PaddlePaddle 不僅僅包含深度學(xué)習(xí)框架，而是提供一整套緊密關(guān)聯(lián)、靈活組合的完整工具組件和服務(wù)平臺(tái)，更加有利于深度學(xué)習(xí)技術(shù)的應(yīng)用落地。目前 PaddlePaddle 完整具備了端到端的平臺(tái)能力。去年我們就將 PaddlePaddle 定位為深度學(xué)習(xí)平臺(tái)，我們布局也是很早的。所以，我們出的各種相應(yīng)的配套工作都做得非常完善，開發(fā)者能在實(shí)打?qū)嵉膽?yīng)用里體驗(yàn)到，在這個(gè)方面 PaddlePaddle 和其他框架相比形成了自己的特色。
雷鋒網(wǎng)：在 TensorFlow 以及 PyTorch 發(fā)展非常成熟的今天，推動(dòng) PaddlePaddle 在中國的進(jìn)展非常有難度，你們是如何應(yīng)對的？
馬艷軍：確實(shí)有一定的先發(fā)優(yōu)勢在那兒，不過開發(fā)者的眼睛和手都是很快的，只要什么地方出了什么好用的東西他們很快就能看得到并用起來。所以，我們一直還是覺得真正把這個(gè)東西做好用了，開發(fā)者自然而然就會(huì)用。這是其一。
其二，我們確實(shí)有自己的技術(shù)優(yōu)勢，真正能讓開發(fā)者用起來的，不管是產(chǎn)業(yè)實(shí)踐特色還是自己就有很多結(jié)合場景做出原創(chuàng)模型和系統(tǒng)的能力，以及百度 AI 生態(tài)的影響力，我們還是有很強(qiáng)的勢能，能夠真正把這個(gè)東西做起來。
雷鋒網(wǎng)：前幾年大家一直關(guān)注 AI 框架，但是近年來框架同質(zhì)化嚴(yán)重，而且發(fā)展很成熟了。有種說法是，作為 AI 工程師，我們應(yīng)該跳出框架的桎梏，往更廣泛的領(lǐng)域?qū)ふ覂r(jià)值。您如何看待這一觀點(diǎn)？
馬艷軍：首先，深度學(xué)習(xí)技術(shù)有比較好的通用性，能比較好地解決人工智能領(lǐng)域的很多問題。而深度學(xué)習(xí)框架是智能時(shí)代的操作系統(tǒng)，能夠讓深度學(xué)習(xí)更容易使用起來，從而讓 AI 進(jìn)入廣泛應(yīng)用。因此深度學(xué)習(xí)框架在 AI 時(shí)代處在一個(gè)十分關(guān)鍵的位置。其次，我們自己的業(yè)務(wù)場景也需要對深度學(xué)習(xí)和深度學(xué)習(xí)框架做更加深入的技術(shù)研發(fā)，而且我們自己在這些領(lǐng)域也處在非常領(lǐng)先的位置，會(huì)持續(xù)在這個(gè)領(lǐng)域引領(lǐng)技術(shù)的發(fā)展。
時(shí)至今日，PaddlePaddle 與 PyTorch、TensorFlow 等各種框架的發(fā)展，正如手機(jī)操作系統(tǒng)中的 IOS 與 Android 一樣。在如今框架發(fā)展日益成熟的今天，你在使用什么框架？歡迎留言討論。
Ps：一枚PaddlePaddle小餅干，送給大家。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
