0
| 本文作者： 李梅 | 2022-07-12 10:18 |
人工智能算法在現實世界中的落地，從來都離不開兩個研究范疇：一是模型性能強大可用，二是設計邏輯安全可信。
訪談｜李梅、劉冰一
作者｜李梅
編輯｜陳彩嫻
2013 年 4 月 23 日的午后一點，美國各大交易所的平靜被驟然打破，辦公室里一臺臺電話響個不停，同時夾雜著工作人員急躁的咆哮聲，驚恐與不安的情緒四處竄開。
華爾街的金融精英們正在經歷著他們所能想象到的最可怕的危機：
短短 5 秒內，標普市值就被抹去了 1365 億美元！
股市突然遭遇如此瘋狂的大跳水，其直接的導火索是美聯社官方推特賬戶發出的一條僅包含 12 個詞的短快訊：
Breaking: Two Explosions in the White House and Barack Obama is injured.（突發：白宮發生兩起爆炸，貝拉克·奧巴馬受傷。）
這一重磅政治新聞給金融界投放了一顆「信息炸彈」，消息被大量傳播后，股票市場頓時陷入一片混亂。
然而，這場風波從開始到結束，只持續了大約 4 分鐘。
美聯社很快聲明白宮遇襲為虛假新聞，白宮發言人也出面表示「總統安然無恙」，各路股票指數旋即回歸常規水平，資本市場迅速恢復平靜。
數小時后，發布假新聞的幕后黑手也浮出了水面——一個叫做“敘利亞電子軍”（Syrian Electronic Army）的、罪行累累的黑客組織黑入了美聯社賬號。
回看整起事件，引人深思的是：為何社交媒體上的一點風吹草動就能在資本市場引發如此劇烈的反應？
這是因為，在算法賦能金融交易的場景下，股票交易算法在社交網站上抓取到「有價值」的新聞后，會自動執行股票交易行為，從而引發一系列連鎖反應。
對人類而言，其實不難識別和求證新聞的真實性，比如當時就有人提醒，美聯社一貫的風格是稱呼「奧巴馬總統」，而不是直呼其名。但對于缺乏常識信息的機器學習模型來說，辨別這一點卻很困難，以至于會在真實世界中造成巨大損失。這也是我們以「智能」代替「人工」所可能要承受的代價之一。
在九年后的今天，人工智能和機器學習在現實物理世界中的應用已經變得更加廣泛。但 AI 遠非萬能，機器學習模型在可信任性方面已經暴露出令人憂心的問題。在我們所生活的世界中，不僅有無法識別假新聞的愚蠢的 AI，更存在著危險的 AI。
比如在自動駕駛、智慧醫療等對安全性要求非常高的場景中，模型的「失之毫厘」會帶來「差之千里」的危險后果。同時，數據隱私的問題也日益突出。得益于生物信息識別技術的開發，在機場、火車站等場所，人們在機器上刷個臉、摁個指紋，就能方便快捷地完成安檢程序。但這些海量的生物信息被采集和存儲起來，也為不法分子提供了可乘之機，黑產鏈買賣盜用人臉信息去實施詐騙的新聞并不罕見。
所以，人類要如何信任 AI ？人類可以放心地把財產管理讓渡給算法、把生命健康托付給模型、把隱私信息拱手交給機器嗎？
可信 AI ，正是一個致力于讓 AI 更安全、讓人類對 AI 更放心的一個研究領域，目前也已經有越來越多的研究者意識到可信機器學習的重要性并投入其中，李博便是其中之一，而且是當中的一位佼佼者。
圖注：李博在新加坡高校舉辦的學術論壇上作演講，以2013年 AI 算法對美國股票的波動影響來詮釋可信機器學習研究的重要性
從本科就讀同濟大學信息安全專業開始，李博就關注到計算機安全問題。之后，她去美國范德堡大學攻讀博士，機器學習模型在真實世界中安全性不足的種種現象，讓她感到機器學習的安全問題已經非常急迫，便毅然投身于可信 AI 領域的研究。如今，她在伊利諾伊大學香檳分校（UIUC）計算機系領導著安全學習實驗室，致力于解決機器學習的可驗證魯棒性、隱私性、泛化性等問題 。
從過去到現在再到未來，李博所要探索的問題始終是：如何讓 AI 更安全、更可信？
1 初入「安全」門
李博出生于廣東湛江，降生人世還沒有多久，就被父母寄予希望，在未來會成為一位博學之才，于是給她取名為「博」。二十七年后，李博果然拿到博士學位，成為人工智能領域一位饒有建樹的博士。
上初中后，李博的父母工作繁忙，有時顧不到她的生活與學習，于是決定讓李博搬到山西的外婆家。那里的親戚都是三尺講臺上的老師，這為李博后來的成長創造了優質的環境。在教師家庭耳濡目染的李博，很早就培養了嚴謹的行為和思考習慣。
李博的家人十分支持她拓展自己的興趣愛好，比如跳體操、彈鋼琴，同時還有意去逐步建立她的科學素養。小時候，李博從《十萬個為什么》中獲得科學啟蒙，再大一些就去讀霍金的《時間簡史》、《果殼中的宇宙》等等。在好動的年紀，李博卻能夠沉浸在書本的世界中，去探索世界本質、思考自然原理。從科普讀物中，她領略到了自然學科的美妙，尤其是物理和數學。
2007年，李博進入同濟大學電子與信息工程學院就讀本科，學習信息安全專業。那時，信息安全還算是一個比較新的學科，盡管李博對于這個領域還沒有特別深入的認知，但她能強烈地感受到這是一個很重要、很有價值的研究方向。
除了與其他計算機類專業相同的課程外，李博還修讀了一些更貼合信息安全的核心課程，包括密碼學。作為網絡安全的基石，密碼學利用算法防范潛在的惡意攻擊，以保障信息的安全傳輸和安全存儲，極大地吸引了李博的興趣。
而大二去臺灣交換的一年，更讓她在科研實踐中真正見識到了關于安全研究的門道。
當時，逢甲大學的張真誠教授到上海訪學，就信息安全和計算機密碼學領域的發展等話題在高校開展了學術講座。張真誠主要從事信息安全、密碼學和多媒體圖像處理三大領域的研究工作，是臺灣信息安全界的引領人物、IEEE 和 IET 雙料院士，被稱為「臺灣密碼學之父」。十幾年過去，雖然李博已經記不清當時講座的具體內容，但她記得自己在臺下聽得津津有味、受益匪淺：「當時覺得這些研究非常好玩。」
不久后，李博就看到學校發布了臺灣交換生項目的選拔通知，而且還可以申請張真誠教授的交換生名額！于是李博毫不猶豫地填了報名表，最后如愿去了臺灣。
在臺灣交換期間，李博與張老師實驗室里的研究生和博士生們一起做研究、寫論文，大部分時間都是非常忙碌且充實的。李博回憶，團隊的成員都很努力，經常一起熬夜，通宵趕 deadline，餓了就訂一份臺灣夜市的海鮮粥來補充能量，然后繼續奮戰。大家對于科研的熱情投入讓她深受感動：「感覺那樣緊湊的生活非常有意義，覺得就是自己想要的生活。」
在參與科研的過程中，李博對信息安全方向的研究有了更深入的了解，并且還產出了科研成果，發表了一些密碼學方向的論文，內容涉及如加解密領域的數字水印研究（Digital water marking）、視覺密碼的加解密等。
李博在學術研究上的眼光無疑也是獨到且敏銳的。本科四年，李博的科研工作主要側重于信息安全方向，但她也逐漸開始了對 AI 的接觸和學習，并萌生了將 AI 與安全結合起來研究的興趣和設想。雖然對于未來的研究方向還不甚明確，但她可以確定的是，自己將來想做和計算機安全相關的研究。
彼時，深度學習技術還未崛起，「可信機器學習」這一領域更是尚未誕生，但李博已經頗具前瞻性地預見到它的必將出現：
安全的、可信任的 AI 才是造福人類的 AI。（公眾號：雷峰網）
2 AI 模型的「攻防戰」
本科畢業后，李博赴美國范德堡大學（Vanderbilt University）攻讀博士，師從 Yevgeniy Vorobeychik 教授。
在國內讀本科，接著去美國讀博，這是李博很早就為自己規劃好的道路。申請學校時，李博主要考慮與自己的科研興趣相匹配的學校。有著「南方哈佛」之稱的范德堡大學在安全領域的研究實力很強勁，所以李博沒有太多糾結，就選擇了這所學校。而且，之前在臺灣交換時，她憑借發表的論文，在參加一些會議時與領域內的前輩學者有過不少交流，她的科研成果給他們留下了深刻的印象，這也為她申博成功助推了一把。
李博的導師 Yevgeniy Vorobeychik 教授專注于對抗機器學習領域的研究，尤其是從博弈論的角度去解決機器模型的安全和隱私問題，他主導的研究機構 ISIS （Institute for Software Integrated Systems）在網絡物理系統安全領域首屈一指。他與德克薩斯大學達拉斯分校的 Murat Kantarcioglu 教授合著的 Adversarial Machine Learning（《對抗機器學習：機器學習系統中的攻擊和防御》）一書，全面論述了機器學習的安全性問題，討論了各種攻擊和防御技術。
圖注：李博的博士導師 Yevgeniy Vorobeychik 教授
李博入學后，將機器學習作為自己的科研方向，并思考選擇什么樣的角度去研究。導師建議她去嘗試機器學習安全方向。在當時，這個領域還非常小眾，全球從事該領域研究的學者加起來也是屈指可數。導師告訴她，如果她選擇這個方向，以她的能力肯定能做出很好的成果，但它在未來的前景如何還不好判斷，所以這是一個比較冒險的選擇。
聽完這番話，李博并沒有產生類似的憂慮，相反，這正是她所感興趣的研究。而且，經過本科在信息安全方面的學習和研究，她相信自己能將安全和機器學習很好地結合起來，能更準確地找到機器學習的安全痛點在哪里。她的選擇很有前瞻性，后來深度學習的大火推動了很多技術在真實世界中的落地，安全問題變得更加突出。
Vorobeychik 對于李博在科研上的進展并不急于求成，寬慰她說「第一、第二年只管好好上課，不用太著急」，但他沒想到這位中國學生并不想過得太「輕松」，反而 push 起導師來。
「我當時自己其實比較著急，想要趕快寫論文、發論文。」李博沒有藏著掖著，直接跟 Vorobeychik 表明自己在課程學習方面沒什么問題，想要盡快投入科研。經過交談，導師了解了她的訴求，開始讓她參與到科研項目中，而且是做比較難的項目。
李博最初跟著導師做了許多從博弈論角度研究安全問題的項目。博弈論是當時機器學習安全研究所采用的一個主流方法論。機器學習模型的交互過程可以建立為一個博弈模型，在一個博弈（Game）中，有兩個參與者，分別是攻擊者（Attacker）和防御者（Defender）。研究人員的目標是找出一個均衡博弈狀態，即最優解，讓防御者贏得博弈，從而提高機器學習模型的魯棒性。
沿著這個方向，李博做了一系列的研究。比如，在對垃圾郵件和惡意軟件進行檢測的研究上，對抗性環境中的攻擊者通常會故意避開用于檢測它們的分類器。為了解決這個問題，李博與導師研究了攻擊的目標建模算法，發現常用的「特征篩選」會導致模型更加容易被攻擊。為此，他們提出一個基于「Stackelberg Game」的優化學習模型，在特征篩選和對抗規避之間進行權衡，尋求最優解，從而獲得魯棒性算法。這篇論文被 NeurIPS 2014 接收，成為后來很多機器學習安全研究的主要參考工作之一，至今已被引用上百次。
論文地址：https://papers.nips.cc/paper/2014/file/8597a6cfa74defcbde3047c891d78f90-Paper.pdf
隨著研究的深入，李博在機器學習模型的安全性方面做出了許多開創性的重要成果。比方說，在被NeurIPS 2016 接收的一項工作中，李博首次提出了針對推薦系統的投毒攻擊。投毒攻擊（Poisoning Attack），是指在機器學習模型的訓練階段，惡意攻擊者可以修改一小部分訓練數據，從而使得模型在測試階段做出符合攻擊者預期的錯誤判斷。李博與導師以及 CMU 的學者合作，展示了對協同過濾（Collaborative Filtering）這種系統推薦技術的數據投毒攻擊，并提出了相應的防御算法，在真實世界中得到了有效性驗證。
論文地址：https://arxiv.org/pdf/1608.08182.pdf
目前，投毒攻擊（包括后門攻擊）已經在不同的深度學習模型中被廣泛研究，而李博的這項早期研究事實上為學界后續的一系列工作奠定了深厚的理論基礎。比如最近她和團隊提出的針對后門攻擊的、可驗證的深度學習模型魯棒性同樣是「史上首次」，為防御后門攻擊的模型的魯棒性提供了理論保證。
另外，在隱私數據保護方面，李博開發了可擴展的隱私保護數據生成模型，并用來生成具有隱私保護的醫療病例數據。這項工作還被集成在開源工具 MITRE Identification Scrubber Toolkit (MIST)中。
博士期間的李博一直保持著非常高產出的狀態：25篇會議論文，11篇期刊論文，還有各種榮譽獎項。2015年，李博還獲得了賽門鐵克研究實驗室獎學金，該獎項全球僅有 3 人入選，用于獎勵在計算機安全領域做出創新性工作的學者。這些成績都是李博在這五年抓緊每分每秒努力做科研的結果，相信「天才在于勤奮」的她，直到現在也是保持著每天從早上九點工作到凌晨的日常。
2016年，名字帶「博」的李博，終于正式成為了一名博士。
李博打算繼續留在學術界，這也是她一直以來的規劃。她認為，在學術界的好處是可以更自由地去探索一些自己特別感興趣的問題，即使這些探索可能沒法很快「變現」，但從長遠來看，它們可能具有很重要的價值。不過，李博也談到在工業界做研究亦有其不同的優勢，比如工業界可以提供更豐富的數據資源，也會提出更多具有實際應用價值的問題。所以，李博后來也去積極地嘗試與工業界展開一些合作。
申請教職時，李博在一個月里輾轉飛到美國各個城市去面試，最終獲得了包括伊利諾伊大學香檳分校（UIUC）在內的多個大學的錄取。
在 CS Ranking 上，UIUC 在 AI 領域排名全球第三，那里做機器學習和計算機安全方向的大牛非常多，但當時做「機器學習安全」的學者卻沒有多少。李博認為這其實是一個很好的機會，未來她的合作者都將是一群非常優秀的科學家，肯定能在科研上獲得高質量產出。就這樣，李博最終選擇了 UIUC。
拿到教職 offer 后，李博選擇花一年時間去加州大學伯克利分校做博士后研究，博士后的導師就是全球知名的「計算機安全教母」宋曉冬教授（Dawn Song）。這一年，李博接觸和認識了更多可信機器學習的研究者，還拓展了跟工業界的聯系，從而注意到更多真實世界中的問題。
李博與宋曉冬在對抗機器學習方面合作了許多重要研究，涉及視覺分類的物理攻擊、后門投毒攻擊、GAN 生成對抗樣本、對抗性子空間的局部內在維度表征、空間轉換的對抗樣本、物體檢測器的物理對抗、深度神經網絡的黑盒攻擊等等。
其中一項在魯棒機器學習領域堪稱為里程碑式的研究，這便是李博與宋曉冬等人合作的“Robust physical-world attacks on deep learning visual classification”。在這項工作中，他們以自動駕駛中的安全問題為切入點，最早證明了對抗樣本對深度神經網絡的攻擊可以存在于物理世界中。這項工作被 CVPR 2018 接收，在當時產生了極大的領域影響力，多次被《連線》、《紐約時報》、《財富》、IEEE Spectrum 等媒體報道，論文目前已經被引用1800余次，是李博所有論文中被引用次數最多的一篇。
論文地址：https://openaccess.thecvf.com/content_cvpr_2018/papers/Eykholt_Robust_Physical-World_Attacks_CVPR_2018_paper.pdf
以往的對抗機器學習研究主要囿于對數字世界里模型的觀察，比如研究者可以對圖像的像素加以肉眼無法識別的微小改動，模型就會因此被愚弄和攻擊。
而李博想要知道的是，模型的對抗攻擊在現實物理世界中是否也會發生？
當時已經有不少研究者都提出了這個重要疑問，但還沒有人真的去做驗證。李博對這個有趣又有挑戰性的問題躍躍欲試，決定選取自動駕駛的 AI 系統對路標的視覺識別作為證明角度。
一般情況下，如果一個 AI 模型在大多數條件下都管用，比方說 90%，那這個模型就已經足夠好了；但在性命攸關的自動駕駛場景中，90% 是遠遠不夠的。自動駕駛系統的安全性不足一直是這個行業的痛點，即使攻擊者無法攻破系統的「圍墻」，但仍可能通過對物理對象進行物理性改動來干擾系統，比如停車標志牌上的圖案被人為地涂抹、破壞后，可能會被系統錯誤地識別成限速標志牌，而車輛的每一次剎車或加減速的決策都需要絕對的安全，否則就有可能釀成慘劇。
因此，弄清楚 AI 系統的易受攻擊之處，并了解它為何會被攻擊、如何被攻擊，進而提高模型的魯棒性、最終提升自動駕駛系統的安全度，這些都是亟待解決的難題。
然而，要想證明物理世界中的模型同樣會有被攻擊的潛在危險，并不像在數字世界中那樣容易。路標這樣的物理對象使對抗性攻擊變得更加復雜，路標所處環境的多變性，光照、天氣、地面清潔度、距離等因素都會影響生成物理對抗樣本的魯棒性。因此，李博和她的團隊設計了新的優化方法來完成對黑盒 AI 系統的物理攻擊。
李博帶上團隊里的幾個博士生，去各種場地拍攝了大量的路牌照片來訓練模型。他們在停車牌上模擬人的隨手涂鴉，貼上黑色或白色的小塊貼紙，并且不遮擋路牌上 “STOP” 或右轉向箭頭的整體樣式。
這些貼紙看似隨意，但卻是經過精心設計的物理干擾，當人類司機看到這樣的路牌時，基本上不會認錯，但若是一輛自動駕駛汽車向一個寫著“STOP SIGN”的路牌駛近，攝像頭的感知系統就會將它們誤認為是 45 英里/小時的限速標志牌，而不會立即停車。另外，右轉向路牌也會被錯誤識別為停車路牌。
實驗顯示，無論拍攝標志牌的距離和角度如何，在所有場景下，對自動駕駛車輛系統的物理攻擊都是成功的！
掌握了關于這些可能存在的攻擊信息后，研究者就可以制定策略來訓練出更強大的模型。李博在攻擊者和防御者之間建立博弈模型，讓 AI 系統相互對抗，使用一個神經網絡來識別和利用另一個系統的漏洞。這樣一個過程可以讓目標網絡的訓練所具有的缺陷都顯露出來，然后就能有效地去修補這些缺陷、防御潛在的攻擊。
李博和她的合作者成功地向人們表明，圖像分類系統對物理對象的對抗性擾動具有很強的敏感性，這種敏感性在真實世界中的潛在后果是不堪設想的。
如李博所期望的那樣，這項研究喚起了人們對物理學習系統可能面臨攻擊這個事實的重視。不僅在學術界引起熱議，而且帶來了一波工業界的研究熱情。IBM 受到該研究啟發，開發了類似的技術為其「初代 AI 界老大哥」 Watson AI 系統提供安全保障。亞馬遜將該研究成果運用到智能音箱 Alexa 中。還有一些自動駕駛汽車公司，也在使用該研究來提高機器學習模型的魯棒性。
這項工作的影響力之大，還吸引了英國倫敦科技博物館的目光。2019年6月，博物館正在策劃一次藏品展出，鑒于該研究所具有的時代意義，他們聯系到李博的團隊，買下了對抗路標實物，將其存放在永久收藏柜里。
圖注：英國科技博物館展出李博團隊生成的對抗性路標
今天，這塊路牌仍然被陳列在這座有著一百五十多年歷史的老博物館里。在可信機器學習的新浪潮下，它仿佛一朵激揚的大浪花，向世人警醒著：AI 技術一次次地經歷著令人驚嘆的更新換代，但「水滿則溢」，技術背后的安全隱患也已經到了不能再假裝其不存在的地步。
「通過設計新方法來『愚弄』 AI ，從而使 AI 變得更安全」，這是李博在 2020 年憑借這項成果入選 MIT 科技評論「 35 歲以下的 35 位技術創新者」全球榜單的理由。31歲的她，在對抗機器學習領域已經做出了引領性的出色研究。
結束了一年的博士后研究，李博回到 UIUC 正式開始執教生涯、繼續創造新的科研突破。
在先前關于對抗攻擊策略的研究的基礎上，她提出了一系列新方法來提高 AI 系統的魯棒性。比如利用數據的時域相關性和空間相關性來檢測惡意樣本。她利用時域相關性去檢測惡意音頻樣本的工作被收錄在 ICLR 2019，后來還被 IBM 應用在 Watson 語音識別系統中。在利用空間相關性來檢測惡意對抗圖像樣本方面，李博也提出了第一個可以有效抵抗自適性攻擊的惡意樣本識別算法。
圖注：利用時域連續性檢測惡意語音樣本
圖注：利用空間連續性檢測惡意圖像
為了生成更加有效的對抗樣本，李博進一步提出了「對抗神經網絡」，在 MNIST 對抗攻擊挑戰賽（Adversarial Attack Challenge） 的排行榜上獲得了 Top 1 的成績，這再次證明了她提出的「對抗樣本建模」原則的價值與可行性。同時，在視覺任務上，李博引入一種「無限制對抗性攻擊」的方法，通過修改圖像的顏色、紋理等細節來對 AI 系統成功實現了攻擊，并設立了評估機器學習系統對抗各種攻擊的魯棒性的基準。
在機器學習模型的隱私保護上，李博也再次交出了「第一」的答卷。她和團隊提出的 DataLens 模型第一次實現了高維連續數據的具有隱私保證的數據生成。這項工作不僅證明了生成數據滿足差分隱私的要求，還首次在理論上證明了這類生成模型的收斂性，系統地分析了系統效率和生成數據質量之間的權衡問題。
圖注：具有差分隱私保證的高維數據生成模型
相關論文地址：
https://arxiv.org/pdf/1810.05162.pdf
https://arxiv.org/pdf/1904.06347.pdf
https://arxiv.org/pdf/2103.11109.pdf
3 可信 AI的未來：引入邏輯推理
如今，“可信機器學習/可信人工智能”成為一個熱門的研究領域，魯棒性、隱私性、公平性、可解釋性是可信機器學習的四個核心構成，每個方面都有許多學者在探索鉆研。李博在 UIUC 領導的「安全學習實驗室」小組也正在致力于解決這些子問題。
圖注：李博與實驗室的學生合影
李博的課題組目前主要開展的工作包括：
可驗證的魯棒性機器學習：優化機器學習模型以對抗惡意攻擊，并提供可驗證的魯棒性。
具有隱私保護的機器學習和數據分析：探索差分隱私、同態加密和信息理論分析等技術，在實踐中實現隱私保護。
機器學習的泛化性：基于泛化性與魯棒性、隱私性之間的聯系，通過優化其他屬性來改進機器學習的泛化性能。
在李博看來，這些問題之間緊密相關：「經過幾年研究，我深深地體會到這些子問題之間其實不是相互獨立的，它們之間有很本質的內在聯系。」
例如，他們證明了在聯邦學習中，如果模型滿足差分隱私，那么它的魯棒性也可以被表示為隱私對應的參數；此外，機器學習模型的魯棒性和模型泛化性在滿足某些條件下是可以互為充分條件的。
圖注：魯棒性、隱私性、泛化性之間的關系
目前的可信機器學習還未對這些子問題之間的互相關聯予以太多關注，但李博相信，如果可以更多地發掘這些子問題之間本質性的關聯，我們就不必重造車輪，而是可以利用一些子問題的研究成果來提供更多原則和理論基礎，給其他可信機器學習的子問題帶來解決方案。若只單獨研究其中的每一個，就會產生重復性勞動，也很難發現最基礎、最本質的問題。
秉持著這種研究思路，李博對于課題組內博士生科研方向的「排兵布陣」也是考慮良多。興趣優先，因材施教，組里11個博士生在可信機器學習的大框架下做著不同方向的研究，有的專攻可驗證魯棒性，有的研究自然語言處理方向的魯棒性和隱私性問題，還有的學生是從聯邦學習的角度來做魯棒性和隱私性研究，這樣大家就可以展開很多有效的合作。
圖注：在李博教授的Trustworthy Machine Learning課程期末，博士生展示項目海報
最近，在可信機器學習的研究上，李博又邁出了關鍵的一步。基于這幾年對相關問題的深入思考，她正在探索一種新的方法論——基于邏輯推理的可信機器學習。在李博看來，這就是可信機器學習的未來。
幾乎沒有模型不會被攻擊，問題是，如何防御攻擊？近年來，防御攻擊的工作正在面臨一個難題：當我們檢測到攻擊時，會研究相應的防御攻擊的手段；然而，新的攻擊形式很快又會出現，這就需要我們再去找出新的防御方法......所謂「道高一尺，魔高一丈」，攻擊防不勝防。這樣的循環什么時候才是盡頭？
李博認為，可驗證的魯棒性能夠終止這種「攻防循環」。
那么，機器學習魯棒性的可驗證性有什么用？
李博介紹，在某些攻擊條件下，可驗證性本質上可以為模型的精度設置一個下限。比如針對某種攻擊的防御手段，其下限為90%，那么就能保證模型的精度不會下降到這個數字以下。也就是說，無論攻擊者使出什么招數，只要攻擊防御不超過這個界限，就能保證模型的性能。
總體上，可驗證魯棒性有兩種研究范式，一種是決定論的，另一種是概率論的，兩種角度下各有許多不同的細分路徑。但整體來說，它們仍存在一個缺點，即攻擊的條件非常有限，目前只能去驗證很小一部分的防御方法。
圖注：可驗證魯棒性的研究路徑
推理，是李博提供給這個問題的解決思路。
目前，幾乎所有的機器學習模型都是純數據驅動的，人類的先驗知識、經驗、推理等信息都沒有被建立模型。這種現狀可以說是深度學習革命的大獲成功所帶來的。在2019年的圖靈獎演講中，Geoffrey Hinton 曾談到了兩種使計算機智能化的方法。其一，他稱之為「智能設計」，即將特定任務的知識傳授給計算機；其二，便是「學習」，即人類只向計算機提供示例。話里話外，Hinton 都表達了他對第一種方法的否定。
但不得不承認，已有的提高模型魯棒性所使用的統計方法已經遇到了一個瓶頸，有必要引入一些顯性信息，如域知識、邏輯推理等。比如在“Stop Sign”這項研究中，人類基于生活經驗，很容易就能從路牌圖案的整體輪廓中判斷出它是不是一個停車標志，但模型卻并不具備這種能力。
因此，李博想到，若能使用邏輯推理來幫助模型，就能獲得更好的魯棒性。我們可以用知識限定攻擊條件和場景，比如「在中國車輛靠右行駛」這樣的生活常識，以及「如果一個人在橫穿馬路，車輛行到跟前不停下的話，會發生什么？」這樣的因果推理知識。
李博告訴 AI 科技評論，目前，她的團隊已經有一些正在進行的項目在實踐這種方案，比如用馬爾科夫邏輯網絡（Markov Logic Networks）來將一階邏輯表達出來，然后利用概率圖模型（Probabilistic Graphical Models ）做推理，從而發現并自動糾正純統計型模型（Statistical Model ）被攻擊的預測。
他們的研究表明，將人的知識、推理邏輯與純數據驅動的模型結合起來，確實可以大幅度提高圖像和NLP模型的可驗證魯棒性，即使是在大規模數據集上效果也非常好。
圖注：感知-推理示例，感知組件由用于其子任務的不同神經網絡組成，推理組件是一個因子圖。
可信機器學習涵蓋機器學習的方方面面。在 NLP 任務中，可信機器學習可以解決錯誤分詞、錯誤翻譯等問題；在視覺方面，可信機器學習則旨在確保模型具有準確的預測能力，且不會被微小的惡意擾動所攻擊；在聯邦學習中，可信機器學習則更關注如何解決中心模型被惡意用戶破壞的問題。這些不同任務有著共同的底層邏輯，那便是預防在訓練或者判斷階段中的惡意攻擊，保障模型的魯棒性和數據的隱私性。
所以，李博對可驗證魯棒性的關注也自然地延伸到這些不同的機器學習任務當中，做了一些有益的探索。比如她的團隊提出了針對聯邦學習和自動駕駛中激光雷達點云識別的可驗證魯棒性，為可驗證AI提供了在真實世界場景中的可行性。
圖注：聯邦學習的可驗證魯棒性
圖注：激光雷達點云識別的可驗證魯棒性
在開發算法和可驗證方法論的同時，李博和她的團隊也為社區貢獻了各種基準來幫助訓練和評估針對不同任務的算法。例如，他們提出了針對自然語言的大型可信基準 AdvGlue、針對強化學習算法的可驗證魯棒性基準 CROP、 COPA ，以及針對自動駕駛真實場景的安全測試場景基準 SafeBench 等等。「currently data is the oil in the modern world，所以不同的benchmark也會更有效的提高可信AI的生產力」，李博這樣解釋這些工作的動機。
圖注：對抗自然語言基準（地址：https://adversarialglue.github.io）
圖注：自動駕駛惡意場景基準（地址：https://safebench.github.io/leaderboard/index.html）
4 人工智能，福兮
AI 的終極歸宿是應用在真實世界，造福人類，李博的研究都來源于、扎根在且落回到真實世界中。
在工業界，有許多機器學習模型應用于真實世界，所以安全性是工業界也同樣非常重視的問題。李博在這方面與工業界保持著積極合作，比如亞馬遜的欺詐檢測模型、Facebook廣告推薦系統的隱私保護、eBay的交易圖等等。
另外，她也與國內的互聯網公司如百度、騰訊、螞蟻等有過魯棒性和隱私性方面的合作。比如，在與螞蟻的可信 AI 研究團隊的合作中，為了測試他們的人臉識別系統的易受攻擊性，李博團隊設計算法，在螞蟻提供的API上進行評估，發現系統果然可以被攻擊。她進而提出一些防御攻擊的方案，在螞蟻的平臺上實現相應的算法，以防止人臉識別系統遭受惡意攻擊，最終收獲了不錯的效果。
在可信機器學習領域深耕數年，李博的卓越成就已經為她贏得了許多榮譽獎項，比如亞馬遜網絡服務機器學習研究獎、 Facebook 研究獎、NSF CAREER 獎、英特爾新星獎等等。
今年 2 月，因為在可信機器學習領域的杰出工作，李博獲得了具有「諾貝爾獎風向標」之稱的斯隆研究獎。值得注意的是，與她一同獲獎的還有另外三位人工智能領域的華人女性科學家，她們分別是陳丹琦、方飛和宋舒然。
李博對女性科研工作者的影響力不斷擴大感到欣慰：「其實我的組里就有蠻多女生的，我一直覺得女生很能夠focus，如果認真做（科研）的話，我覺得可以做得很好，所以我蠻鼓勵女性學者能夠不要在意周圍的眼光，如歲數大之類的評價，就去做自己喜歡做的事情，不要太在意別人，我覺得你就可以做得很好。我覺得女生和男生在科研能力上沒有什么差別。」
就在上個月，身為 AI 領域杰出青年科學家的李博，還被授予 IJCAI 2022 年計算機與思想獎，以表彰她在機器學習魯棒性方面的貢獻，包括發現 AI 魯棒性、隱私性和泛化性之間的內在聯系，揭示各種模型的易受攻擊性，以及提出數學方法來彌補模型的漏洞，為機器學習模型和隱私保護提供魯棒性保障。
未來，李博將繼續她在可信機器學習領域的探索，為 AI 在真實世界中的應用保駕護航。（公眾號：雷峰網(公眾號：雷峰網)）
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
