0
雷鋒網(wǎng) AI 科技評論按：近日，美國艾爾弗·斯隆基金會（The Alfred P. Sloan Foundation）公布了2019年斯隆研究獎（Sloan Research Fellowships）獲獎名單，華裔學(xué)者鬲融獲此殊榮。
鬲融 2004 年從河北省保送至清華大學(xué)計算機(jī)系，是首屆清華姚班畢業(yè)生，普林斯頓大學(xué)計算機(jī)科學(xué)系博士，曾在微軟研究院新英格蘭分部做博士后，2015年至今在杜克大學(xué)擔(dān)任助理教授。
斯隆研究獎自1955年設(shè)立，每年頒發(fā)一次，旨在向物理學(xué)、化學(xué)和數(shù)學(xué)領(lǐng)域的這些“早期職業(yè)科學(xué)家和學(xué)者提供支持和認(rèn)可”，后來陸續(xù)增加了神經(jīng)科學(xué)、經(jīng)濟(jì)學(xué)、計算機(jī)科學(xué)、以及計算和進(jìn)化分子生物學(xué)。2019屆斯隆研究獎獲獎?wù)吖?26名，其中，含鬲融在內(nèi)共有19位華人學(xué)者獲獎。
斯隆研究獎歷來有“諾獎風(fēng)向標(biāo)”的美譽(yù)。因為迄今為止，已有47位該獎項獲獎人獲得了“諾貝爾獎”。另有17位獲獎人獲得了“數(shù)學(xué)菲爾茲獎”，69位獲獎人獲得“美國國家科學(xué)獎?wù)隆保?8位獲得“約翰·貝茨·克拉克獎”。
鬲融求學(xué)期間有許多突出事跡，可謂是天才少年，在這篇文章中有較為詳細(xì)的敘述，以及這之后在讀博期間獲得了 NIPS 2016 的最佳學(xué)生論文獎。下面我們著重介紹一下他近期的研究成果。
鬲融的研究領(lǐng)域為理論計算機(jī)科學(xué)和機(jī)器學(xué)習(xí)。他在個人主頁上寫道“深度學(xué)習(xí)等現(xiàn)代機(jī)器學(xué)習(xí)算法嘗試從數(shù)據(jù)中自動學(xué)習(xí)有用的隱含表示。那么我們要如何公式化數(shù)據(jù)中的隱含結(jié)構(gòu)，以及如何設(shè)計高效的算法找到它們呢？我的研究就以非凸優(yōu)化和張量分解為工具，通過研究文本、圖像和其他形式的數(shù)據(jù)分析中出現(xiàn)的問題，嘗試解答這些疑問?！?/p>
鬲融的研究有三個主要課題：表示學(xué)習(xí)（Representation Learning）、非凸優(yōu)化（Non-convex Optimization）以及張量分解（Tensor Decompositions）。此次獲得斯隆研究獎，正是基于鬲融在非凸優(yōu)化方面的研究。根據(jù)他本人介紹：“現(xiàn)在機(jī)器學(xué)習(xí)大多使用深度學(xué)習(xí)算法，這些算法需要通過解決一些非凸優(yōu)化問題來找到最優(yōu)的神經(jīng)網(wǎng)絡(luò)參數(shù)。理論上非凸優(yōu)化在最壞情況下是非常困難的，但是實際上即使是非常簡單的算法（比如梯度下降gradient descent）都表現(xiàn)很好。我最近的工作對于一些簡單的非凸優(yōu)化問題給出了一些分析，可以證明所有的局部最優(yōu)解都是全局最優(yōu)解。”
他還補(bǔ)充道：“科研中感覺有些問題一開始看來完全沒有頭緒，但是有幾個特別感興趣的問題我一般會每隔一段時間再看一下?，F(xiàn)在理論機(jī)器學(xué)習(xí)方向發(fā)展很快，往往過了一段時間就有很多新的技術(shù)可以嘗試。其實一開始研究非凸優(yōu)化的問題是為了解決張量分解的問題（這個是我之前做的研究），但是開始做了之后才發(fā)現(xiàn)我們用的工具在很多其他問題中也非常有效?！?/p>
不僅此次獲獎的研究結(jié)論“簡單的非凸優(yōu)化中所有的局部最優(yōu)解都是全局最優(yōu)解”對機(jī)器學(xué)習(xí)領(lǐng)域的研究人員們來說是一個令人欣慰的結(jié)論，鬲融更多關(guān)于別的課題的研究論文也發(fā)表在了NIPS、ICML、ICLR等頂級人工智能學(xué)術(shù)會議上。雷鋒網(wǎng) AI 科技評論下面列舉一些。
Learning Two-layer Neural Networks with Symmetric Inputs，借助對稱輸入學(xué)習(xí)雙層神經(jīng)網(wǎng)絡(luò). ICLR 2019. https://arxiv.org/abs/1810.06793
Understanding Composition of Word Embeddings via Tensor Decomposition，通過張量分解理解詞嵌入的成分. ICLR 2019. https://openreview.net/forum?id=H1eqjiCctX
Stronger generalization bounds for deep nets via a compression approach，通過壓縮方式為深度神經(jīng)網(wǎng)絡(luò)賦予更強(qiáng)的泛化邊界. ICML 2018. https://arxiv.org/abs/1802.05296
Minimizing Nonconvex Population Risk from Rough Empirical Risk，從粗糙的經(jīng)驗風(fēng)險中最小化非凸種群風(fēng)險. NeurIPS 2018. https://arxiv.org/abs/1803.09357
Beyond Log-concavity: Provable Guarantees for Sampling Multi-modal Distributions using Simulated Tempering Langevin Monte Carlo，超越對數(shù)凹面：通過仿真時序郎之萬蒙特卡洛實現(xiàn)采樣多模態(tài)分布的可證明保證. NIPS 2017 Bayesian Inference Workshop. NeurIPS 2018. https://arxiv.org/abs/1812.00793
Global Convergence of Policy Gradient Methods for Linearized Control Problems，用于線性化控制問題的策略梯度方法的全局收斂性. ICML 2018. https://arxiv.org/abs/1801.05039
Learning One-hidden-layer Neural Networks with Landscape Design，通過曲面設(shè)計學(xué)習(xí)單層隱層的神經(jīng)網(wǎng)絡(luò). ICLR 2018. https://arxiv.org/abs/1711.00501
Generalization and Equilibrium in Generative Adversarial Nets (GANs)，對抗性生成式網(wǎng)絡(luò)的泛化性和均衡研究. ICML 2017. https://arxiv.org/abs/1703.00573
No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis，低階非凸問題中不存在虛假的局部極小值：一個統(tǒng)一的幾何分析. ICML 2017. https://arxiv.org/abs/1704.00708
How to Escape Saddle Points Efficiently，如何高效地離開駐點. ICML 2017. https://arxiv.org/abs/1703.00887
On the Optimization Landscape of Tensor decompositions，關(guān)于張量分解的優(yōu)化圖像.NIPS 2016 非凸 workshop 最佳理論研究獎. https://sites.google.com/site/nonconvexnips2016/files/Paper8.pdf
Matrix Completion has No Spurious Local Minimum，矩陣期滿中不存在虛假的局部極小值. NIPS 2016 最佳學(xué)生論文獎. http://arxiv.org/abs/1605.07272
Provable Algorithms for Inference in Topic Models，話題模型中可證明的推理算法. In ICML 2016. http://arxiv.org/abs/1605.08491
Efficient Algorithms for Large-scale Generalized Eigenvector Computation and Canonical Correlation Analysis，幾個高效的大規(guī)模泛化特征向量計算和規(guī)范關(guān)聯(lián)分析算法. ICML 2016. http://arxiv.org/abs/1604.03930
Rich Component Analysis，富成分分析. In ICML 2016. http://arxiv.org/abs/1507.03867
Intersecting Faces: Non-negative Matrix Factorization With New Guarantees，相交的截面：帶有新的保證的非負(fù)矩陣乘法. ICML 2015. http://arxiv.org/abs/1507.02189
Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization，反規(guī)范化：用于經(jīng)驗風(fēng)險最小化的逼近近似點和更快的隨機(jī)算法. ICML 2015. http://arxiv.org/abs/1506.07512
此外他還有多篇論文發(fā)表在各年的 COLT（Annual Conference on Learning Theory，ACM 主辦，計算學(xué)習(xí)理論頂級會議） 中。
他的個人主頁見 https://users.cs.duke.edu/~rongge/。
雷鋒網(wǎng) AI 科技評論報道。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
