0
雷鋒網(wǎng) AI 科技評論消息：5 月 22 日，為響應(yīng)國家人工智能戰(zhàn)略規(guī)劃以及教育部關(guān)于人工智能相關(guān)建設(shè)與發(fā)展的號召，微軟亞洲研究院宣布，聯(lián)手北京大學(xué)、中國科學(xué)技術(shù)大學(xué)、西安交通大學(xué)和浙江大學(xué)四所國內(nèi)頂級院校，共建新一代人工智能開放科研教育平臺。雷鋒網(wǎng) AI 科技評論對本次平臺啟動儀式的內(nèi)容整理如下。從學(xué)術(shù)開發(fā)和企業(yè)活動上看，MSRA 在雷鋒網(wǎng)學(xué)術(shù)頻道 AI 科技評論旗下數(shù)據(jù)庫項(xiàng)目「AI 影響因子」中有不錯(cuò)的表現(xiàn)。MSRA 近期承辦了 2018 微軟人工智能大會，微軟中英新聞翻譯達(dá)到人類水平，成績斐然，希望MSRA之后有更好的表現(xiàn)。
微軟全球資深副總裁、微軟亞太研發(fā)集團(tuán)主席兼微軟亞洲研究院院長洪小文表示：「微軟亞洲研究院在人工智能基礎(chǔ)研究方面有著 20 年的積累，此次攜手國內(nèi)頂級高校共建新一代人工智能開放科研教育平臺，我們的愿景在于進(jìn)一步將微軟的技術(shù)優(yōu)勢付諸平臺實(shí)踐，提升中國新一代人工智能領(lǐng)域的研發(fā)創(chuàng)新、人才培養(yǎng)、科學(xué)研究、社會服務(wù)能力。我們希望此次平臺成立翻開產(chǎn)學(xué)研各界開放共贏的新開篇，并期待更多后續(xù)合作高校的加入」
到 2020 年，平臺計(jì)劃開展超過 100 個(gè)聯(lián)合科研項(xiàng)目，開設(shè)超過 200 個(gè)人工智能課程，幫助 2000 位以上的教師提升專業(yè)技能，并為超過 2 萬名學(xué)生提供實(shí)踐實(shí)訓(xùn)的機(jī)會。
新一代人工智能開放科研教育平臺將深度聚焦科研、教學(xué)與生態(tài)，面向中國高校提供技術(shù)支撐平臺、工具、數(shù)據(jù)和課程四大核心資源和服務(wù)。
支撐平臺：在新一代人工智能開放科研教育平臺的合作框架下，微軟將推出 Open Platform for AI（Open PAI）人工智能管理和調(diào)度平臺，這是國內(nèi)首個(gè)針對深度學(xué)習(xí)領(lǐng)域由多方共同開發(fā)的開源平臺解決方案。合作各方將利用 Open PAI 開放、開源、兼容的特性，以及微軟強(qiáng)大的計(jì)算能力和資源，建立屬于自己的人工智能基礎(chǔ)支撐平臺，并享有自主產(chǎn)權(quán)和創(chuàng)新成果，為各自學(xué)校內(nèi)部提供人工智能領(lǐng)域的創(chuàng)新和教育服務(wù)支持工作。
工具：為了幫助平臺合作高校更輕松地享受到人工智能領(lǐng)域中間技術(shù)層和深入業(yè)務(wù)的上層應(yīng)用這兩層關(guān)鍵技術(shù)能力帶來的益處，微軟將提供業(yè)界第一款針對人工智能全生命周期集成開發(fā)的環(huán)境——Tools For AI，以及微軟在語音、語言、視覺等核心技術(shù)范疇內(nèi)的開源工具。同時(shí)，平臺還將集成高校在各自領(lǐng)域里的優(yōu)質(zhì)開源工具。
數(shù)據(jù)：在平臺合作框架下，微軟將開放自身人工智能領(lǐng)域的數(shù)據(jù)集供合作高校科研和教育使用，各高校也將通過平臺貢獻(xiàn)各自在多個(gè)領(lǐng)域的數(shù)據(jù)集，如中國科學(xué)技術(shù)大學(xué)國家類腦實(shí)驗(yàn)室的海量類腦數(shù)據(jù)等。
課程：微軟將積極整合自身人工智能的技術(shù)和專家積累，兼顧實(shí)戰(zhàn)和知識，開發(fā)并開放一套人工智能模塊化課程，同時(shí)平臺還將聯(lián)合高校專家，共同合作開發(fā)一系列具有推廣和示范性意義的、符合高校教學(xué)理念的人工智能系列課程。平臺合作高校也將根據(jù)自身學(xué)校學(xué)科建設(shè)和人才培養(yǎng)方案，定制出具有國際化水平的人工智能專業(yè)和實(shí)踐課程。
微軟亞洲研究院為新一代人工智能開放科研教育平臺提供的三大關(guān)鍵技術(shù)之一，Open Platform for AI（OpenPAI）備受矚目。
OpenPAI 是由微軟亞洲研究院和微軟（亞洲）互聯(lián)網(wǎng)工程院聯(lián)合研發(fā)的，支持多種深度學(xué)習(xí)、機(jī)器學(xué)習(xí)及大數(shù)據(jù)任務(wù)，可提供大規(guī)模 GPU 集群調(diào)度、集群監(jiān)控、任務(wù)監(jiān)控、分布式存儲等功能。
OpenPAI 的架構(gòu)如下圖所示，用戶通過 Web Portal 調(diào)用 REST Server 的 API 提交作業(yè)（Job）和監(jiān)控集群，其他第三方工具也可通過該 API 進(jìn)行任務(wù)管理。隨后 REST Server 與 Launcher 交互，以執(zhí)行各種作業(yè)，再由 Launcher Server 處理作業(yè)請求并將其提交至 Hadoop YARN 進(jìn)行資源分配與調(diào)度。可以看到，OpenPAI 給 YARN 添加了 GPU 支持，使其能將 GPU 作為可計(jì)算資源調(diào)度，助力深度學(xué)習(xí)。其中，YARN 負(fù)責(zé)作業(yè)的管理，其他靜態(tài)資源（下圖藍(lán)色方框所示）則由 Kubernetes 進(jìn)行管理。
OpenPAI 完全基于微服務(wù)架構(gòu)，所有的 OpenPAI 服務(wù)和 AI Job 均在容器中運(yùn)行，這樣的設(shè)計(jì)讓 OpenPAI 的部署更加簡單，無論是在 Ubuntu 裸機(jī)集群還是在云服務(wù)器上，僅需運(yùn)行幾個(gè)腳本即可完成部署。這同時(shí)也使其能夠支持多種不同類型的 AI 任務(wù)，如 CNTK、TensorFlow、PyTorch 等不同的深度學(xué)習(xí)框架。此外，用戶通過自定義 Job 容器即可支持新的深度學(xué)習(xí)框架和其他機(jī)器學(xué)習(xí)、大數(shù)據(jù)等 AI 任務(wù)，具有很強(qiáng)的擴(kuò)展性。
在運(yùn)維方面，OpenPAI 提供了 AI 任務(wù)在線調(diào)試、錯(cuò)誤報(bào)警、日志管理、性能檢測等功能，顯著降低了 AI 平臺的日常運(yùn)維難度。同時(shí)，它還支持 MPI、RDMA 網(wǎng)絡(luò)，可滿足企業(yè)對大規(guī)模深度學(xué)習(xí)任務(wù)的性能要求。
不僅如此，OpenPAI 還實(shí)現(xiàn)了與 Visual Studio 的集成。Visual Studio Tools for AI 是微軟 Visual Studio 2017 IDE 的擴(kuò)展，用戶在 Visual Studio 中就可以開發(fā)、調(diào)試和部署深度學(xué)習(xí)和 AI 解決方案。集成后，用戶在 Visual Studio 中調(diào)試好的模型可便捷地部署到 OpenPAI 集群中。
由上文可見 OpenPAI 具有如下五大優(yōu)勢。
為深度學(xué)習(xí)量身定做，可擴(kuò)展支撐更多 AI 和大數(shù)據(jù)框架
通過創(chuàng)新的 PAI 運(yùn)行環(huán)境支持，幾乎所有深度學(xué)習(xí)框架如 CNTK，TensorFlow, PyTorch 等無需修改即可運(yùn)行；其基于 Docker 的架構(gòu)則讓用戶可以方便地?cái)U(kuò)展更多 AI 與大數(shù)據(jù)框架。
容器與微服務(wù)化，讓 AI 流水線實(shí)現(xiàn) DevOps
OpenPAI 100% 基于微服務(wù)架構(gòu)，讓 AI 平臺以及開發(fā)便于實(shí)現(xiàn) DevOps 的開發(fā)運(yùn)維模式。
支持 GPU 多租，可統(tǒng)籌集群資源調(diào)度與服務(wù)管理能力
在深度學(xué)習(xí)負(fù)載下，GPU 逐漸成為資源調(diào)度的一等公民，OpenPAI 提供了針對 GPU 優(yōu)化的調(diào)度算法，豐富的端口管理，支持 Virtual Cluster 多租機(jī)制，可通過 Launcher Server 為服務(wù)作業(yè)的運(yùn)行保駕護(hù)航。
提供豐富的運(yùn)營、監(jiān)控、調(diào)試功能，降低運(yùn)維復(fù)雜度
OpenPAI 為運(yùn)營人員提供了硬件、服務(wù)、作業(yè)的多級監(jiān)控，同時(shí)開發(fā)者還可以通過日志，ssh 等方便調(diào)試作業(yè)。
兼容AI開發(fā)工具生態(tài)
平臺實(shí)現(xiàn)了與 Visual Studio Tools for AI 等開發(fā)工具的深度集成，用戶可以一站式進(jìn)行 AI 開發(fā)。
本次會議微軟亞洲研究院還為大家提供了 OpenPAI 的入門教程。
首先是平臺部署：
編譯支持 GPU 調(diào)度的 Hadoop AI 容器，詳見https://github.com/Microsoft/pai/blob/master/hadoop-ai/README.md
部署 Kubernetes 以及系統(tǒng)服務(wù)（如 drivers、zookeeper、REST Server 等）。詳見https://github.com/Microsoft/pai/blob/master/pai-management/README.md
訪問 Web Portal 進(jìn)行任務(wù)提交和集群管理。
然后是提交深度學(xué)習(xí) Job 示例
將你的數(shù)據(jù)和代碼上傳至 HDFS：如用 hdfs 命令行將數(shù)據(jù)上傳至hdfs://host:port/path/tensorflow-distributed-jobguid/data
準(zhǔn)備 Job 配置文件：詳見https://github.com/Microsoft/pai/tree/master/job-tutorial
瀏覽 Web Portal，點(diǎn)擊"Submit Job"上傳配置文件，即可提交你的 Job。
具體學(xué)習(xí)和體驗(yàn) OpenPAI，請點(diǎn)擊https://github.com/Microsoft/pai
以上就是雷鋒網(wǎng) AI 科技評論對本次 MSRA 承辦的新一代人工智能開放科研教育平臺啟動儀式的全部報(bào)道。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
