0
雷鋒網(wǎng) AI 科技評(píng)論按：近日，美國(guó)艾爾弗·斯隆基金會(huì)（The Alfred P. Sloan Foundation）公布了2019年斯隆研究獎(jiǎng)（Sloan Research Fellowships）獲獎(jiǎng)名單，華裔學(xué)者鬲融獲此殊榮。
鬲融 2004 年從河北省保送至清華大學(xué)計(jì)算機(jī)系，是首屆清華姚班畢業(yè)生，普林斯頓大學(xué)計(jì)算機(jī)科學(xué)系博士，曾在微軟研究院新英格蘭分部做博士后，2015年至今在杜克大學(xué)擔(dān)任助理教授。
斯隆研究獎(jiǎng)自1955年設(shè)立，每年頒發(fā)一次，旨在向物理學(xué)、化學(xué)和數(shù)學(xué)領(lǐng)域的這些“早期職業(yè)科學(xué)家和學(xué)者提供支持和認(rèn)可”，后來(lái)陸續(xù)增加了神經(jīng)科學(xué)、經(jīng)濟(jì)學(xué)、計(jì)算機(jī)科學(xué)、以及計(jì)算和進(jìn)化分子生物學(xué)。2019屆斯隆研究獎(jiǎng)獲獎(jiǎng)?wù)吖?26名，其中，含鬲融在內(nèi)共有19位華人學(xué)者獲獎(jiǎng)。
斯隆研究獎(jiǎng)歷來(lái)有“諾獎(jiǎng)風(fēng)向標(biāo)”的美譽(yù)。因?yàn)槠駷橹?，已?7位該獎(jiǎng)項(xiàng)獲獎(jiǎng)人獲得了“諾貝爾獎(jiǎng)”。另有17位獲獎(jiǎng)人獲得了“數(shù)學(xué)菲爾茲獎(jiǎng)”，69位獲獎(jiǎng)人獲得“美國(guó)國(guó)家科學(xué)獎(jiǎng)?wù)隆保?8位獲得“約翰·貝茨·克拉克獎(jiǎng)”。
鬲融求學(xué)期間有許多突出事跡，可謂是天才少年，在這篇文章中有較為詳細(xì)的敘述，以及這之后在讀博期間獲得了 NIPS 2016 的最佳學(xué)生論文獎(jiǎng)。下面我們著重介紹一下他近期的研究成果。
鬲融的研究領(lǐng)域?yàn)槔碚撚?jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)。他在個(gè)人主頁(yè)上寫(xiě)道“深度學(xué)習(xí)等現(xiàn)代機(jī)器學(xué)習(xí)算法嘗試從數(shù)據(jù)中自動(dòng)學(xué)習(xí)有用的隱含表示。那么我們要如何公式化數(shù)據(jù)中的隱含結(jié)構(gòu)，以及如何設(shè)計(jì)高效的算法找到它們呢？我的研究就以非凸優(yōu)化和張量分解為工具，通過(guò)研究文本、圖像和其他形式的數(shù)據(jù)分析中出現(xiàn)的問(wèn)題，嘗試解答這些疑問(wèn)?！?/p>
鬲融的研究有三個(gè)主要課題：表示學(xué)習(xí)（Representation Learning）、非凸優(yōu)化（Non-convex Optimization）以及張量分解（Tensor Decompositions）。此次獲得斯隆研究獎(jiǎng)，正是基于鬲融在非凸優(yōu)化方面的研究。根據(jù)他本人介紹：“現(xiàn)在機(jī)器學(xué)習(xí)大多使用深度學(xué)習(xí)算法，這些算法需要通過(guò)解決一些非凸優(yōu)化問(wèn)題來(lái)找到最優(yōu)的神經(jīng)網(wǎng)絡(luò)參數(shù)。理論上非凸優(yōu)化在最壞情況下是非常困難的，但是實(shí)際上即使是非常簡(jiǎn)單的算法（比如梯度下降gradient descent）都表現(xiàn)很好。我最近的工作對(duì)于一些簡(jiǎn)單的非凸優(yōu)化問(wèn)題給出了一些分析，可以證明所有的局部最優(yōu)解都是全局最優(yōu)解?！?/p>
他還補(bǔ)充道：“科研中感覺(jué)有些問(wèn)題一開(kāi)始看來(lái)完全沒(méi)有頭緒，但是有幾個(gè)特別感興趣的問(wèn)題我一般會(huì)每隔一段時(shí)間再看一下。現(xiàn)在理論機(jī)器學(xué)習(xí)方向發(fā)展很快，往往過(guò)了一段時(shí)間就有很多新的技術(shù)可以嘗試。其實(shí)一開(kāi)始研究非凸優(yōu)化的問(wèn)題是為了解決張量分解的問(wèn)題（這個(gè)是我之前做的研究），但是開(kāi)始做了之后才發(fā)現(xiàn)我們用的工具在很多其他問(wèn)題中也非常有效?！?/p>
不僅此次獲獎(jiǎng)的研究結(jié)論“簡(jiǎn)單的非凸優(yōu)化中所有的局部最優(yōu)解都是全局最優(yōu)解”對(duì)機(jī)器學(xué)習(xí)領(lǐng)域的研究人員們來(lái)說(shuō)是一個(gè)令人欣慰的結(jié)論，鬲融更多關(guān)于別的課題的研究論文也發(fā)表在了NIPS、ICML、ICLR等頂級(jí)人工智能學(xué)術(shù)會(huì)議上。雷鋒網(wǎng) AI 科技評(píng)論下面列舉一些。
Learning Two-layer Neural Networks with Symmetric Inputs，借助對(duì)稱(chēng)輸入學(xué)習(xí)雙層神經(jīng)網(wǎng)絡(luò). ICLR 2019. https://arxiv.org/abs/1810.06793
Understanding Composition of Word Embeddings via Tensor Decomposition，通過(guò)張量分解理解詞嵌入的成分. ICLR 2019. https://openreview.net/forum?id=H1eqjiCctX
Stronger generalization bounds for deep nets via a compression approach，通過(guò)壓縮方式為深度神經(jīng)網(wǎng)絡(luò)賦予更強(qiáng)的泛化邊界. ICML 2018. https://arxiv.org/abs/1802.05296
Minimizing Nonconvex Population Risk from Rough Empirical Risk，從粗糙的經(jīng)驗(yàn)風(fēng)險(xiǎn)中最小化非凸種群風(fēng)險(xiǎn). NeurIPS 2018. https://arxiv.org/abs/1803.09357
Beyond Log-concavity: Provable Guarantees for Sampling Multi-modal Distributions using Simulated Tempering Langevin Monte Carlo，超越對(duì)數(shù)凹面：通過(guò)仿真時(shí)序郎之萬(wàn)蒙特卡洛實(shí)現(xiàn)采樣多模態(tài)分布的可證明保證. NIPS 2017 Bayesian Inference Workshop. NeurIPS 2018. https://arxiv.org/abs/1812.00793
Global Convergence of Policy Gradient Methods for Linearized Control Problems，用于線(xiàn)性化控制問(wèn)題的策略梯度方法的全局收斂性. ICML 2018. https://arxiv.org/abs/1801.05039
Learning One-hidden-layer Neural Networks with Landscape Design，通過(guò)曲面設(shè)計(jì)學(xué)習(xí)單層隱層的神經(jīng)網(wǎng)絡(luò). ICLR 2018. https://arxiv.org/abs/1711.00501
Generalization and Equilibrium in Generative Adversarial Nets (GANs)，對(duì)抗性生成式網(wǎng)絡(luò)的泛化性和均衡研究. ICML 2017. https://arxiv.org/abs/1703.00573
No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis，低階非凸問(wèn)題中不存在虛假的局部極小值：一個(gè)統(tǒng)一的幾何分析. ICML 2017. https://arxiv.org/abs/1704.00708
How to Escape Saddle Points Efficiently，如何高效地離開(kāi)駐點(diǎn). ICML 2017. https://arxiv.org/abs/1703.00887
On the Optimization Landscape of Tensor decompositions，關(guān)于張量分解的優(yōu)化圖像.NIPS 2016 非凸 workshop 最佳理論研究獎(jiǎng). https://sites.google.com/site/nonconvexnips2016/files/Paper8.pdf
Matrix Completion has No Spurious Local Minimum，矩陣期滿(mǎn)中不存在虛假的局部極小值. NIPS 2016 最佳學(xué)生論文獎(jiǎng). http://arxiv.org/abs/1605.07272
Provable Algorithms for Inference in Topic Models，話(huà)題模型中可證明的推理算法. In ICML 2016. http://arxiv.org/abs/1605.08491
Efficient Algorithms for Large-scale Generalized Eigenvector Computation and Canonical Correlation Analysis，幾個(gè)高效的大規(guī)模泛化特征向量計(jì)算和規(guī)范關(guān)聯(lián)分析算法. ICML 2016. http://arxiv.org/abs/1604.03930
Rich Component Analysis，富成分分析. In ICML 2016. http://arxiv.org/abs/1507.03867
Intersecting Faces: Non-negative Matrix Factorization With New Guarantees，相交的截面：帶有新的保證的非負(fù)矩陣乘法. ICML 2015. http://arxiv.org/abs/1507.02189
Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization，反規(guī)范化：用于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的逼近近似點(diǎn)和更快的隨機(jī)算法. ICML 2015. http://arxiv.org/abs/1506.07512
此外他還有多篇論文發(fā)表在各年的 COLT（Annual Conference on Learning Theory，ACM 主辦，計(jì)算學(xué)習(xí)理論頂級(jí)會(huì)議） 中。
他的個(gè)人主頁(yè)見(jiàn) https://users.cs.duke.edu/~rongge/。
雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
