0
以造出世界上最大加速器芯片CS-2 Wafer Scale Engine聞名的公司Cerebras昨日宣布他們已經在利用“巨芯”進行人工智能訓練上走出了重要的一步。該公司訓練出了單芯片上全世界最大的NLP（自然語言處理）AI模型。雷峰網(公眾號：雷峰網)
該模型具有20億個參數，基于CS-2芯片進行訓練。這塊全世界最大的加速器芯片采用7nm制程工藝，由一整塊方形的晶圓刻蝕而成。它的大小數百倍于主流芯片，具有15KW的功率。它集成了2.6萬億個7nm晶體管，封裝了850000個內核和40GB內存。
圖1 CS-2 Wafer Scale Engine芯片
單芯片訓練AI大模型新紀錄
NLP模型的開發(fā)是人工智能中的一個重要領域。利用NLP模型，人工智能可以“理解”文字含義，并進行相應的動作。OpenAI的DALL.E模型就是一個典型的NLP模型。這個模型可以將使用者的輸入的文字信息轉化為圖片輸出。
比如當使用者輸入“牛油果形狀的扶手椅”后，AI就會自動生成若干與這句話對應的圖像。
圖：AI接收信息后生成的“牛油果形狀扶手椅”圖片
不止于此，該模型還能夠使AI理解物種、幾何、歷史時代等復雜的知識。
但要實現這一切并不容易，NLP模型的傳統開發(fā)具有極高的算力成本和技術門檻。
實際上，如果只討論數字，Cerebras開發(fā)的這一模型20億的參數量在同行的襯托下，顯得有些平平無奇。
前面提到的DALL.E模型具有120億個參數，而目前最大的模型是DeepMind于去年年底推出的Gopher，具有2800億個參數。
但除去驚人的數字外，Cerebras開發(fā)的NLP還有一個巨大的突破：它降低了NLP模型的開發(fā)難度。
「巨芯」如何打敗GPU？
按照傳統流程，開發(fā)NLP模型需要開發(fā)者將巨大的NLP模型切分若干個功能部分，并將他們的工作負載分散到成百上千個圖形處理單元上。
數以千百計的圖形處理單元對廠商來說意味著巨大的成本。
技術上的困難也同樣使廠商們痛苦不堪。
切分模型是一個定制的問題，每個神經網絡、每個GPU的規(guī)格、以及將他們連接（或互聯）在一起的網絡都是獨一無二的，并且不能跨系統移植。
廠商必須在第一次訓練前將這些因素統統考慮清楚。
這項工作極其復雜，有時候甚至需要幾個月的時間才能完成。
Cerebras表示這是NLP模型訓練中“最痛苦的方面之一”。只有極少數公司擁有開發(fā)NLP所必要的資源和專業(yè)知識。對于人工智能行業(yè)中的其他公司而言，NLP的訓練則太昂貴、太耗時且無法使用。
但如果單個芯片就能夠支持20億個參數的模型，就意味著不需要使用海量的GPU分散訓練模型的工作量。這可以為廠商節(jié)省數千個GPU的訓練成本和相關的硬件、擴展要求。同時這也使廠商不必經歷切分模型并將其工作負載分配給數千個GPU的痛苦。
Cerebras也并未僅僅執(zhí)拗于數字，評價一個模型的好壞，參數的數量并不是唯一標準。
比起希望誕生于“巨芯”上的模型“努力”，Cerebras更希望的是模型“聰明”。
之所以Cerebras能夠在參數量上取得爆炸式增長，是因為利用了權重流技術。這項技術可以將計算和內存的占用量解耦，并允許將內存擴展到足以存儲AI工作負載中增加的任何數量的參數。
由于這項突破，設置模型的時間從幾個月減少到了幾分鐘。并且開發(fā)者在GPT-J和GPT-Neo等型號之間“只需幾次按鍵”就可以完成切換。這讓NLP的開發(fā)變得更加簡單。
這使得NLP領域出現了新的變化。
正如Intersect360 Research 首席研究官 Dan Olds 對Cerebras取得成就的評價：“Cerebras 能夠以具有成本效益、易于訪問的方式將大型語言模型帶給大眾，這為人工智能開辟了一個激動人心的新時代。”
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
