1
| 本文作者： 章敏 | 2016-08-17 18:15 |
聯合編譯：高斐，章敏，陳楊英杰
導讀：KDD2016是首屈一指的跨學科會議，它聚集了數據科學，數據挖掘，知識發現，大規模數據分析和大數據方面的研究人員和從業人員。
卷積神經網絡(CNN)在計算機視覺的多個研究領域受到越來越廣泛的應用。由于卷積神經網絡能夠通過利用數以百萬計的參數，“吸收”大量的標記數據，這種神經網絡的應用受到普遍關注。然而，隨著模型尺寸不斷增大，對分類器的儲存與記憶要求也不斷提升，如此便對許多應用，如手機及其他設備的圖像識別，語音識別功能，形成阻礙。本文將呈現一種新型網絡建構----對頻率敏感的散列網（FreshNets），這種散列網是利用一個深度學習模型的卷積層與全面連接層之間固有存在的冗余建構形成，能夠極大程度上節省記憶與存儲消耗。學習卷積濾波器的權重通常是平穩和低頻的，基于這一重大觀察結果，我們首先將濾波器的權重轉變為帶有離散余弦變換的頻域，使用低成本的散列函數隨機將頻率參數劃分為散列桶位。被分配為同一個散列桶位的所有參數共享一個能夠運用標準反向傳播算法學會的單一值。為了進一步縮減模型的尺寸，我們將少數散列桶位分配給一些高頻率組分，這些高頻率組分通常不太重要。我們在八個數據集中對FreshNets進行評估，評估結果顯示，與其他幾種相關聯的基線相比，FreshNets具備更高的壓縮性能。
關鍵字：模型壓縮；卷積神經網絡；散列
Wenlin Chen
學校：圣路易斯華盛頓大學計算機科學與工程系博士
主要研究領域：機器學習，數據挖掘，人工智能，其中尤其對深度學習和大規模機器學習兩個領域感興趣
相關學術成果：
·Strategies for Training Large Vocabulary Neural Language Models（Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016. （ACL-16））
·Compressing Convolutional Neural Networks in the Frequency Domain,（Proc. ACM SIGKDD Conference, 2016. （KDD-16））
·Deep Metric Learning with Data Summarization.European Conference on Machine Learning（2016 （ECML-16））
論文鏈接：原論文下載
線性模型在各種各樣的數據挖掘與機器學習算法中均得到了廣泛應用。這類模型的一個主要局限性在于缺乏從特征交互過程中獲取預測性信息的能力。盡管引進高階特征交互術語能夠克服這一缺點，這一方法仍將在極大程度上增加模型的復雜性，并且為處理學習過程中過度擬合現象帶來重大挑戰。當出現多種相互關聯的學習任務，這些任務中的特征交互通常是相互關聯的，為這種關聯關系建模對于提高這些特征交互學習的普適性起到關鍵性的作用。本文我們提出一種新型多重任務特征交互學習（MTIL）框架，以在高階特征交互過程中利用各種任務之間的聯系。具體來講，我們用張量來表示多重任務中的特征交互，利用這一張量，我們將關于任務關聯的先前知識納入不同的結構化調整過程中。在此學習框架下，我們制定出兩種具體的方法，即共享式交互方法和嵌入式交互方法。前者認為，所有的任務具有共同的交互模式，后者則認為，多重任務的特征交互具有共同的子空間。我們為制定出這兩種方案提供了高效的算法。有關這類合成的且真實的數據集的廣泛實證研究證實了我們所提出的多重任務特征交互學習框架的有效性。
關鍵字：多重任務學習；特征交互；機構化調整；張量標準
Kaixiang Lin
學校：密歇根州立大學計算機科學與工程系助教
主要研究領域：機器學習與數據挖掘
相關學術成果：
·Online Multi-task Learning Framework for Ensemble Forecasting（ submitted to TKDE）
·Synergies that Matter: Efficient Interaction Selection via Sparse Factorization Machine
（SDM，2016）
·GSpartan: a Geospatio-Temporal Multi-task Learning Framework for Multi-location Prediction. （SDM，2016）
下載鏈接：原論文下載
在智能私人助理方面，一種新的建議形式正在興起如Apple’s Siri、Google Now和 Microsoft Cortana，它們可以“在恰當的時間推薦恰當的信息”，并積極主動地幫助你“把事情解決”。這種類型的推薦需要精確的跟蹤用戶當時的意圖，即，用戶打算知道什么類型的信息（例如，天氣，股票價格），和他們打算完成什么任務（例如，演奏音樂，打車）。用戶的意圖與語境是密切相關的，其中包括外部環境，如時間和地點，以及用戶的內部活動（可以由個人助理感覺到）。語境和意圖之間表現出復雜的共同發生和序列相關，且語境信號也非常混雜、稀疏，這使得建模語境—意圖之間的關系，變成了一項具有挑戰性的任務。為了解決意圖跟蹤問題我們提出了Kalman filter regularize PARAFAC2 (KP2) 實時預報模型，它可以細密的表示語境和意圖之間的結構和共同運動。KP2模型在用戶上利用了協同能力，并學習每個用戶的個性化動態系統，以確保高效的實時預測用戶意圖。大部分實驗使用了來自商業個人助理的真實世界數據集，結果顯示KP2模型明顯優于其它的所有方法，且在個人助理中部署大規模的主動建議系統方面，提供了鼓舞人心的啟示。
關鍵詞：建議；實時預測；多任務學習
Yu sun
學校：墨爾本大學計算與信息系統系
研究方向：語境行為挖掘，強化學習，最優位置發現，空間/時間索引，算法設計/分析。
相關學術成果：
·A Contextual Collaborative Approach for App Usage Forecasting,（UbiComp, 2016）
·Reverse Nearest Neighbor Heat Maps: A Tool for Influence Exploration,（ICDE，966-977， 2016）
下載鏈接：原論文下載
實時競價顯示廣告中，每個印像的廣告位是通過拍賣機制進行出售的。對于一個廣告主來說，廣告活動的信息是不完整的——只有在廣告主的出價贏得了相應的廣告拍賣后，用戶的反饋（例如，點擊或轉換）和每個廣告印像的市場價格才可以被觀察到。預測，如市場價分布預測，點擊率（CTR）估計，和投標優化，都是運行在預投標階段通過全量投標請求數據上的。然而，訓練數據是在后投標階段聚集的——對獲勝印象具有嚴重的偏向。學習這種刪失數據的普遍方法是重新加權數據實例，以糾正訓練和預測之間的不一致性。然而，在如何獲得獨立于投標策略的權重以及將它們整合到最終的CTR預測和投標生成步驟的研究非常很少。本文中，我們在這種刪失拍賣數據下制定了CTR評估和投標優化。通過在一個生存模型上的推導，我們表明，以前的投標信息被自然地納入到投標意識梯度下降（BGD）算法中，它控制了實現無偏學習的梯度的權重和方向。基于兩個大規模真實世界的數據集經驗學習，這種方法在我們的解法中顯示出了卓越的性能優勢。學習框架已部署在Yahoo的實時競價平臺，且在一個在線A/B測試上，得到了CTR預估2.97%的AUC上升，和投標優化任務中9.30% 的eCPC下降。
關鍵詞：無偏學習，刪失數據，實時競價，展示廣告。
第一作者簡介
Weinan Zhang（張偉楠）
學校：倫敦大學學院計算機科學系/2016年8月進入上海交通大學任職助理教授
研究方向:機器學習，大數據挖掘及其在計算廣告和推薦系統中的應用
相關學術成果：
·User Response Learning for Directly Optimizing Campaign Performance in Display Advertising（CIKM 2016）
·Learning, Prediction and Optimisation in RTB Display Advertising（CIKM，October 2016）
下載鏈接：原論文下載
在不同的推薦技術中，協同過濾通常因為稀疏的用戶-對象交互而性能受限。為了解決這些問題，我們通常用輔助信息來提高性能。由 于網絡上的信息快速收集，知識庫能提供異構信息，包括含不同語義的結構化和非結構化數據，它們可以被用到各類應用中。在本文中，我們研究如何利用知識庫中 的異構信息，來提高推薦系統的質量。首先，通過利用知識庫，我們設計了三個組件分別從結構內容，文本內容和視頻內容中提取對象的語義表述。具體來說，我們 采用的異構網絡嵌入方法，稱為TransR，考慮通過節點和關系的異質性來提取對象的結構表示。我們采用堆疊降噪自動編碼器和堆疊卷積自動編碼器，這是基 于嵌入技術的深度學習的兩種類型，來分別提取對象的文本表示和圖像表示。最后，我們提出了最終的集成框架，稱為協同知識庫嵌入（CKE），來聯合學習協同 過濾出的潛在表征以及知識庫中對象的語義表征。為了評估每個嵌入組件以及整個系統的性能，我們通過兩個不同情境的現實世界數據集，進行了廣泛的實驗。結果 表明，我們的方法優于幾種被廣泛采用的最先進的推薦方法。
關鍵詞：推薦系統；知識庫嵌入；協同學習
Fuzheng Zhang（張富崢）
機構：微軟亞洲研究院副研究員，中國科技大學計算機系博士。
研究方向：用戶模型、推薦系統、深度學習、情感檢測、社交網絡、時空數據挖掘、普適計算、大規模系統。
作者信息鏈接：https://www.microsoft.com/en-us/research/people/fuzzhang/
下載鏈接：原論文下載
在本文中，對于深入研究影響力最大化，我們在邊際影響力概率預估中提出了關于不確定性的重要問題，即在社交網絡中，找到可以最 大化傳播影響力的種子節點k的任務。我們提出的魯棒性影響力最大化的問題，就是給定輸入參數的不確定性，在所選種子設置和最佳種子設置的影響力傳播之間最 大化最壞情況下的比例。我們設計了一種算法，依靠方案相關邊界來解決這個問題。我們通過進一步研究均勻采樣和自適應采樣方法來有效減少參數不確定性，并提 高了影響力最大化任務的魯棒性。我們的實驗結果表明，參數不確定性可能會嚴重影響影響力的最大化，并且之前的研究也表明，經驗影響的概率會因為參數預估不 確定性較大，而導致魯棒性影響最大化的性能很差。基于自適應抽樣方法的信息疊加也許可以有效改善影響力最大化的魯棒性。
關鍵詞：社交網絡；影響最大化；魯棒性優化；信息傳播
陳衛
學校：微軟亞洲研究院高級研究員，清華大學客座教授，中國科學院計算所客座研究員，多個國際頂級數據挖掘和數據管理會議（KDD、 WSDM、 SIGMOD、 ICDE、 WWW等）的程序委員會成員，中國計算機學會大數據專家委員會首批成員，《大數據》期刊編委。
研究方向：社交與信息網絡算法和數據挖掘、網絡博弈論和經濟學、在線學習等。
近幾年在社會影響力最大化方面的一系列開創性研究成果：在KDD、 ICDM、SDM、 WSDM、 ICWSM、 AAAI、 VLDB等頂級數據挖掘、人工智能和數據庫學術會議上發表后得到良好反響，并引發這一方向眾多的后續工作。最早發表的KDD’ 2009論文被引用次數排同會議所有論文第二位，而第二篇KDD’ 2010論文被引用次數排同會議所有論文第一位。 2013年與另外兩位合作者合寫了一部關于影響力傳播和最大化的專著（Information and Influence Propagation in Social Networks, Morgan& Claypool, 2013），系統總結了這方面的研究成果和最新發展。另外，在與社會和信息網絡相關的方向，如社區檢測、網絡中心化度量排序、網絡博弈、網絡定價、網絡激勵機制等方面也都做出開創性的工作，其中將博弈論引入網絡社區檢測的論文獲得了2010年歐洲機器學習及數據挖掘會議最佳學生論文獎。
下載鏈接：原論文下載
PS : 本文由雷鋒網獨家編譯，未經許可拒絕轉載！
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
