0
“天空為什么是藍(lán)的？螢火蟲為什么可以發(fā)光？為什么雙眼總是一起轉(zhuǎn)動(dòng)？”面對(duì)小朋友的十萬個(gè)為什么，父母、老師總會(huì)借助儲(chǔ)備的知識(shí)，或者查閱書籍解答疑問。
但隨著內(nèi)容的爆發(fā)性增長，想要得到一個(gè)問題精準(zhǔn)的答案難度越來越大。
早年使用網(wǎng)上購物平臺(tái)的用戶，需要一步步根據(jù)商品的分類搜索，才能在海量的商品中找到適合自己的商品。
2022年的雙十一，普通的消費(fèi)者不僅可以輕輕松松就篩選出自己想要的商品，還會(huì)收到非常符合自己喜好的商品、直播的推薦。
這背后隱藏了推薦系統(tǒng)的變遷，在小朋友問父母問題的場景里，父母其實(shí)就充當(dāng)?shù)氖切∨笥训耐扑]系統(tǒng)，但普通人的知識(shí)儲(chǔ)備畢竟有限。互聯(lián)網(wǎng)時(shí)代，有了搜索引擎，但還不足夠。
再后來，AI技術(shù)的興起，幫助了推薦系統(tǒng)大步前進(jìn)，無論是購物平臺(tái)的商品推薦，直播平臺(tái)的主播推薦，還是視頻平臺(tái)的視頻內(nèi)容推薦，越來越多的人開始感嘆，AI更懂自己。
AI推薦系統(tǒng)，也默默成為了互聯(lián)網(wǎng)公司業(yè)務(wù)中重要的組成部分。數(shù)據(jù)顯示，在一些全球大型在線網(wǎng)站上，即使推薦內(nèi)容的相關(guān)性僅提高 1%，其銷量也會(huì)增加數(shù)十億，AI推薦系統(tǒng)無疑是藏在眾多互聯(lián)網(wǎng)應(yīng)用背后的高價(jià)值系統(tǒng)。
不過，高價(jià)值的AI推薦系統(tǒng)目前還有被少數(shù)公司負(fù)擔(dān)得起，如何才能實(shí)現(xiàn)AI推薦系統(tǒng)的普及？我們又合適才能擁有完美的AI推薦系統(tǒng)呢？
推薦系統(tǒng)背后的算力演進(jìn)
推薦系統(tǒng)并不新鮮，互聯(lián)網(wǎng)公司們?yōu)榱四軌蛱嵘龢I(yè)績和客戶滿意度，十多年前就開始了推薦系統(tǒng)的研究與應(yīng)用，早年間他們采用傳統(tǒng)的方法，比如協(xié)同過濾等，CPU也足以滿足那時(shí)推薦系統(tǒng)的需求。
但隨著推薦系統(tǒng)應(yīng)用需求和算法的演進(jìn)，系統(tǒng)越來越復(fù)雜，需要更加強(qiáng)大的底層算力作為支撐，推薦系統(tǒng)的開發(fā)者發(fā)現(xiàn)一個(gè)問題，通信節(jié)點(diǎn)間的性能遇到了瓶頸。也就是說，在服務(wù)器達(dá)到一定的規(guī)模之后，繼續(xù)增加服務(wù)器的數(shù)量已經(jīng)很難提升推薦系統(tǒng)的效果。
這就促使推薦系統(tǒng)的推動(dòng)者們尋找更強(qiáng)大且更合適的算力支撐。當(dāng)然，這個(gè)過程中還有一個(gè)重要的推動(dòng)力——AI。在推薦系統(tǒng)中引入AI之后，能夠增加推薦系統(tǒng)的效果，但與此同時(shí)也讓推薦系統(tǒng)變得越來越復(fù)雜。
一個(gè)典型的推薦系統(tǒng)，包含了召回、過濾等過程，AI的引入，需要使用越來越多的數(shù)據(jù)進(jìn)行訓(xùn)練，以達(dá)到預(yù)期的效果。
“推薦系統(tǒng)中引入深度學(xué)習(xí)之后，大家還是會(huì)習(xí)慣性先用CPU，但后來發(fā)現(xiàn)在深度學(xué)習(xí)的算法里多加幾層神經(jīng)網(wǎng)絡(luò)可能就算不動(dòng)了。”NVIDIA亞太區(qū)開發(fā)與技術(shù)部總經(jīng)理李曦鵬在2022云棲大會(huì)期間對(duì)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))說，“GPU此時(shí)有明顯的優(yōu)勢，GPU的算力遠(yuǎn)高于CPU，同時(shí)GPU的帶寬比CPU高非常多，我們的Hopper架構(gòu)GPU的帶寬已經(jīng)達(dá)到3TB / s。”
但要加速推薦系統(tǒng)，不止是從CPU遷移到GPU這么簡單。
GPU如何加速AI推薦系統(tǒng)？
推薦系統(tǒng)中AI的引入，讓推薦系統(tǒng)變得更加復(fù)雜的同時(shí)，對(duì)算力的需求也呈現(xiàn)出指數(shù)級(jí)的上升。
在推薦系統(tǒng)中，有大量的嵌入表（Embedding），包含各種推薦系統(tǒng)所需的特征，比如性別、年齡等等，嵌入表被用于將輸入數(shù)據(jù)中的離散特征映射到向量，以便下游的神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，大小可以達(dá)到TB級(jí)。嵌入表通常是內(nèi)存帶寬和容量密集型，對(duì)于計(jì)算的需求不大，需要很大的內(nèi)容容量和帶寬進(jìn)行快速讀取，這對(duì)于CPU而言是一個(gè)明顯的挑戰(zhàn)。
此時(shí)，采用GPU有兩個(gè)顯著的優(yōu)勢，李曦鵬說：“一個(gè)是GPU的內(nèi)存帶寬遠(yuǎn)高于普通服務(wù)器，另一個(gè)是遷移之后將原來節(jié)點(diǎn)上的通信從原來CPU和GPU的PCIe通信，變成了GPU和GPU之間的NVLink通信，速度提升幾倍。”
接下來，就需要用AI模型進(jìn)行計(jì)算，此時(shí)可能是計(jì)算密集也可能是內(nèi)存帶寬密集。更麻煩的是，由于模型越來越大，超出了GPU板載的存儲(chǔ)容量，沒辦法存儲(chǔ)完整的模型，需要把它分塊，嵌入表就需要做模型并行，而DNN部分需要數(shù)據(jù)并行。在這個(gè)過程中，從模型并行到數(shù)據(jù)并行，需要做非常多數(shù)據(jù)交換，成了大量計(jì)算節(jié)點(diǎn)間密集的通信。
“推薦系統(tǒng)需要的不僅僅是GPU，而是加速計(jì)算。”李曦鵬指出，“加速計(jì)算不是一個(gè)簡單的芯片或者硬件，而是一個(gè)包含硬件、軟件以及上層應(yīng)用的一整套解決方案。”
比如英偉達(dá)為推薦系統(tǒng)推出的NVIDIA Merlin。在預(yù)處理方面，NVIDIA Merlin NVTabular可以實(shí)現(xiàn)加速。
針對(duì)嵌入表，Merlin Distributed-Embeddings可以方便TensorFlow 2 用戶用短短幾行代碼輕松完成大規(guī)模的推薦模型訓(xùn)練。并且，NVIDIA Merlin Distributed-Embeddings 的性能表現(xiàn)也十分突出，DGX-A100上的Merlin Distributed-Embeddings 方案比僅使用 CPU 的解決方案實(shí)現(xiàn)了驚人的683倍加速。
NVIDIA Merlin還有HugeCTR的開源框架，目標(biāo)是優(yōu)化 NVIDIA GPU 上的大規(guī)模推薦。
也就是說，NVIDIA Merlin是一個(gè)針對(duì)推薦系統(tǒng)，近似于一個(gè)端到端的解決方案。
即便如此，推薦系統(tǒng)的普及依舊面臨著巨大的挑戰(zhàn)。
普及推薦系統(tǒng)的兩大挑戰(zhàn)
推薦系統(tǒng)作為高價(jià)值的AI系統(tǒng)，普及面臨的兩大挑戰(zhàn)就是差異化以及高門檻。
“我們充分理解，由于業(yè)務(wù)的不同于推薦系統(tǒng)有很大的差異，我們會(huì)盡量把NVIDIA Merlin的功能進(jìn)行模塊化，客戶可以根據(jù)需求選擇不同的模塊，使用的模塊越多，效果也會(huì)更好。”李曦鵬說，“我們通過Merlin的模塊化解決問題的同時(shí)，也通過和像阿里云這樣的云計(jì)算服務(wù)商合作推動(dòng)推薦系統(tǒng)的普及。”
不同的推薦系統(tǒng)使用的算法并不相同，雖然如今AI大模型的應(yīng)用越來越廣泛，并且大模型在美國人工智能學(xué)術(shù)界將其稱為基礎(chǔ)模型（Foundation Model），但這并不意味著所有推薦系統(tǒng)都需要使用大模型。
李曦鵬的觀點(diǎn)是，大模型提供一個(gè)更大的嘗試空間，其表征能力也更強(qiáng)，所以主流公司的模型越來越大，但主流公司也會(huì)有一些小的業(yè)務(wù)，或許也會(huì)有一些小的模型。如今主流的公司已經(jīng)過渡到了GPU方案，比較重點(diǎn)的業(yè)務(wù)是全GPU的解決方案。所以，在算法上，即便主流公司也有階梯。
“先進(jìn)模型對(duì)于中小企業(yè)來說收益可能沒那么大，因?yàn)樗麄兊臉I(yè)務(wù)體量沒那么大，而通過云計(jì)算的方式，以及GPU的解決方案，可以幫他們降低門檻和成本。”李曦鵬進(jìn)一步表示。
差異化需求之外，推薦系統(tǒng)普及的另一大挑戰(zhàn)就是高門檻。
“互聯(lián)網(wǎng)巨頭有成百上千人的團(tuán)隊(duì)在做推薦系統(tǒng)，中小企業(yè)很難投入這么多。但通過我們和阿里云這樣有能力的云服務(wù)提供商合作，給中小公司開放一些更高級(jí)的API，有一些預(yù)定義的模型能夠?qū)崿F(xiàn)不錯(cuò)的推薦系統(tǒng)，投入一兩個(gè)數(shù)據(jù)科學(xué)家，這將有利于推薦系統(tǒng)的普及。”李曦鵬說。
推薦系統(tǒng)的普及，將能夠代表加速計(jì)算巨大的想象空間。
10年100倍，加速計(jì)算價(jià)值千億的巨大空間
過去幾十年間，得益于摩爾定律，算力在持續(xù)增長。但如今摩爾定律已經(jīng)放緩，從最初每年1.5倍性能的提升，下降到如今每年1.1-1.2倍的提升。摩爾定律帶來的算力提升已經(jīng)難以滿足包括推薦系統(tǒng)在內(nèi)應(yīng)用對(duì)算力指數(shù)級(jí)的性能增長需求。
“接下來的十年，所有的計(jì)算任務(wù)都將被加速。我們已經(jīng)加速了世界上5%的計(jì)算任務(wù)——價(jià)值百億美金。加速計(jì)算會(huì)降低計(jì)算任務(wù)的成本，提高能源利用率，給工業(yè)界帶來更多的能力做更多的事情。”英偉達(dá)CEO黃仁勛在今年十月時(shí)表示。
僅看推薦系統(tǒng)，Mordor Intelligence 發(fā)布的數(shù)據(jù)指出，推薦系統(tǒng)整體市場將從2020 年僅為 21.2 億美元提升至2026年的 151.3 億美元。加速計(jì)算顯然具有數(shù)千億的市場空間，但要加速如此之大的市場，需要性能的持續(xù)提升。
加速計(jì)算的目標(biāo)是保持每年1.6-1.7倍的性能增長，5年可以實(shí)現(xiàn)10倍的性能提升，10年就可以實(shí)現(xiàn)100倍的提升，這與摩爾定律10年可以實(shí)現(xiàn)的4倍性能提升形成了顯著的差異。
前面已經(jīng)提到，加速計(jì)算不止是從硬件的層面實(shí)現(xiàn)性能的提升，更加強(qiáng)調(diào)從硬件到軟件再到應(yīng)用的加速，實(shí)現(xiàn)性能的飛躍。
實(shí)際上，加速計(jì)算的價(jià)值已經(jīng)在AI應(yīng)用中體現(xiàn)出來，以前訓(xùn)練一個(gè)AI模型，周期以周來計(jì)算，調(diào)整模型訓(xùn)練至少又得等一周，而現(xiàn)在，即便模型越來越大，訓(xùn)練一個(gè)模型的時(shí)間也只需要幾分鐘了。
“幾年前難以訓(xùn)練的大模型，早已成為了過去式。更多更大規(guī)模的工作負(fù)載等著去加速。”李曦鵬對(duì)于加速計(jì)算能夠?qū)崿F(xiàn)目標(biāo)也十分有信心。雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
