0
| 本文作者： AI研習(xí)社 | 2019-07-15 16:18 |
雷鋒網(wǎng)AI研習(xí)社按：近年來，隨著深度學(xué)習(xí)在圖像和語音上的快速發(fā)展，更多領(lǐng)域的開發(fā)者們紛紛將目光投入到這個新興的領(lǐng)域，但是是否深度學(xué)習(xí)適用于大多數(shù)實(shí)際場景呢？是否深度學(xué)習(xí)一定優(yōu)于傳統(tǒng)的統(tǒng)計(jì)方法以及機(jī)器學(xué)習(xí)方法呢？在本次公開課中，作者結(jié)合實(shí)際在杉數(shù)科技的實(shí)際項(xiàng)目經(jīng)驗(yàn)，為大家解析深度學(xué)習(xí)的技術(shù)細(xì)節(jié)以及實(shí)際效果。
分享嘉賓：添然，杉數(shù)科技高級算法工程師，美國明尼蘇達(dá)大學(xué)本科及碩士學(xué)位，專業(yè)是自動化控制和計(jì)算機(jī)科學(xué)。2017年三月加入杉數(shù)科技，主要負(fù)責(zé)收益管理及需求預(yù)測。
公開課鏈接：http://www.mooc.ai/open/course/672?=from%20leiphone
分享主題：時序預(yù)測中深度學(xué)習(xí)介紹
分享提綱：
深度學(xué)習(xí)背景介紹
深度學(xué)習(xí)算法概述
實(shí)際案例分析
推薦閱讀
雷鋒網(wǎng)AI研習(xí)社將其分享內(nèi)容整理如下：
簡單自我介紹一下，我是杉數(shù)的算法工程師，主要負(fù)責(zé)機(jī)器學(xué)習(xí)、數(shù)據(jù)分析相應(yīng)的工作，有一定零售業(yè)預(yù)測的經(jīng)驗(yàn)，今天在這里主要跟大家分享一下相關(guān)經(jīng)驗(yàn)，這是今天的主要提綱，如圖：
首先背景方面，相信大家對深度學(xué)習(xí)這個詞語并不陌生，那什么是深度學(xué)習(xí)呢？如果結(jié)合圖的話，他有不同的層，并且不用的層協(xié)調(diào)處理一些特征篩選，達(dá)到最終的目的。
為什么使用深度學(xué)習(xí)呢？圖中這三篇論文奠定了近年來深度學(xué)習(xí)的基礎(chǔ)，不過我把為什么使用深度學(xué)習(xí)歸結(jié)為兩個點(diǎn)，第一個是大數(shù)據(jù)，企業(yè)中積累大數(shù)據(jù)為深度學(xué)習(xí)提供了燃料，第二個就是高性能計(jì)算，GPU在深度學(xué)習(xí)中大放異彩，這兩個點(diǎn)在我看來是重要的推動因素。
下面簡單過一下一些基本的應(yīng)用，如圖像上的應(yīng)用：
NLP上的應(yīng)用：
接下來會簡單提一下深度學(xué)習(xí)兩個基礎(chǔ)的框架構(gòu)成，首先就是卷積神經(jīng)網(wǎng)絡(luò)，總結(jié)下來有五個部分，另一些卷積神經(jīng)網(wǎng)絡(luò)的變種，也是萬變不離其宗，只是對這五部分做了一些針對性的調(diào)整，如下圖：
折射到今天的話題，假設(shè)要做一個持續(xù)預(yù)測，那如何利用卷積神經(jīng)網(wǎng)絡(luò)呢？一般遇到的預(yù)測問題都是偏一維的，比如預(yù)測天氣、商店的銷量等，借鑒這個思路，使用一維的卷積神經(jīng)網(wǎng)絡(luò)，據(jù)圖示output是預(yù)測的樣本點(diǎn)，可以利用之前的樣本點(diǎn)進(jìn)行輸入。作為卷積神經(jīng)網(wǎng)絡(luò)，有滑動窗口這樣一個概念，所以能夠通過滑動序列來產(chǎn)生這樣的特征。如何做到能夠提取更多特征呢？那就需要疊加更多的卷積層，這樣可以獲得更多的特征提取能力。簡單來說一維卷積神經(jīng)網(wǎng)絡(luò)是作為持續(xù)預(yù)測比較的一種方式，并且也是大家喜歡嘗試的一個方向。
接著就是循環(huán)神經(jīng)網(wǎng)絡(luò)，他天然具有某些時序處理的能力。圖中我列的是一個比較復(fù)雜的模型，不過原理幾乎差不多。
Google提出的Encoder-Decoder模型主要用于語音生成等相關(guān)的部分，Encoder將模型儲存成context，然后再傳給Decoder。這個模型在當(dāng)時Google翻譯中是非常成功的。雖然這個模型很簡單，但確實(shí)是一個非常經(jīng)典的預(yù)測模型，在實(shí)際應(yīng)用中也很常見。
下面我來介紹一下案例，一個案例就是某大型出行平臺的交通預(yù)測。要做的是預(yù)測給定地理區(qū)域未來某個時間段的出行供需缺口，比如北京東城區(qū)八點(diǎn)到八點(diǎn)半這段時間會有多少人要打車，訂單數(shù)據(jù)可能是得到的最基礎(chǔ)的數(shù)據(jù)，但還有一些其他數(shù)據(jù)，例如城市POI信息，交通擁堵信息、天氣信息等，這些數(shù)據(jù)是我們預(yù)測時主要考慮的幾個方面。
怎么構(gòu)建深度學(xué)習(xí)的模型呢？把一些固有的屬性用Embedding的方式處理，并將它們連接起來，就構(gòu)成了Identity Block,Older Block和User Block就是針對訂單相關(guān)的數(shù)據(jù)，Supply Block就是對應(yīng)天氣類交通類的特征。右邊圖示使用的殘差連接可以使訓(xùn)練得到更好的收斂性，還可以有效緩解梯度消失這個問題。圖示就是整個深度學(xué)習(xí)的框架。
那么效果如何呢？從這幅圖看出，深度學(xué)習(xí)在一些峰值的預(yù)測上效果是非常不錯的，有些可能跟機(jī)器學(xué)習(xí)的方式差不多，但在拐點(diǎn)的預(yù)測方式上優(yōu)勢還是比較明顯。
下一個例子就是件量預(yù)測，這也是時序問題，在預(yù)測的時候也會得到一些歷史數(shù)據(jù)，方法也與上面的例子類似，因?yàn)橹懒松疃葘W(xué)習(xí)一些大的框架，其他細(xì)節(jié)方面做一些小的調(diào)整就行，基本的建模思路跟前者差不多。
來看看結(jié)果，這張圖的結(jié)果可能比上一張更能反映深度學(xué)習(xí)的一些特性，同樣深度學(xué)習(xí)模型在一些峰值和谷值的預(yù)測更準(zhǔn)確一些。但從圖中可以看出，如果將兩種模型進(jìn)行簡單的融合，得到的結(jié)果會更準(zhǔn)確一些。
總體來看，以上是在實(shí)際經(jīng)驗(yàn)中比較有代表性的例子，在預(yù)測拐點(diǎn)這種問題上深度學(xué)習(xí)可能更容易發(fā)現(xiàn)某種規(guī)律，不過實(shí)際中如果想要一個更準(zhǔn)確的模型，深度學(xué)習(xí)模型和其他模型融合起來的方式會比較好一點(diǎn)。
接下來給大家推薦一些讀物，如圖示：
今天分享的內(nèi)容大概就這么多，謝謝大家。
以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請到雷鋒網(wǎng)(公眾號：雷鋒網(wǎng)) AI 研習(xí)社社區(qū)（https://ai.yanxishe.com/?=from%20leiphone）觀看。關(guān)注微信公眾號：AI 研習(xí)社（okweiwu），可獲取最新公開課直播時間預(yù)告。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
