0
5月24日，騰訊“混元”AI大模型在CLUE（中文語言理解評測集合）總排行榜、閱讀理解、大規模知識圖譜三個榜單同時登頂，一舉打破三項紀錄。
據了解，CLUE總榜由分類任務和閱讀理解任務構成。騰訊“混元”AI大模型在一個月內先后實現分類任務、閱讀理解雙佳績，最終以 84.730的成績取得總榜第一。
作為中文最具權威的自然語言理解榜單之一，CLUE共開設了包含文本相似度、分類、上下文推理、閱讀理解在內的9項子任務，旨在推動NLP（自然語言處理預）訓練模型技術的不斷進步和突破。
NLP（自然語言處理）技術是人工智能領域的一個核心研究方向，其目的是使得計算機具備人類的聽、說、讀、寫等能力，并利用知識和常識進行推理和決策。目前，越來越多的科技企業和研發機構投入到該領域的研究當中，在CLUE等業界榜單的競爭也十分激烈。
在預訓練階段，除常規公開數據集之外，“混元”大模型還學習了商業領域特有的文本數據集。因此，相較于業界其他AI大模型，“混元”能夠更好地理解各種長度文本信息，應對搜索、廣告、新聞、問答等多樣化的場景任務，在閱讀理解、知識圖譜相關的下游任務中也更加具有優勢。
除性能提升之外，“混元”大模型通過借助數據及模型課程學習、多短句合并掩碼、改進PowerSGD（優化通信算法）等方法，有效壓縮低帶寬環境下GPU節點訓練的通信數據量和通信耗時，實現訓練效率的大幅提升。
目前，騰訊“混元”AI大模型研發團隊已經將改進的PowerSGD方法貢獻給PyTorch開源社區，將在PyTorch下個版本中正式上線。
得益于“混元”AI大模型在自然語言理解、跨模態檢索領域強大的技術能力，自今年4月以來，該模型已成功斬獲MSR-VTT、MSVD、CLUE等各大權威AI榜單榜首，這意味著，騰訊在人工智能領域的技術研發已取得突破性進展。
目前，“混元“NLP大模型已經應用于騰訊內部多個業務，并在騰訊廣告的數據挖掘任務中帶來超過5%的指標提升，提升廣告推薦的精準度，優化用戶體驗。未來，騰訊混元AI大模型研發團隊將根據具體場景需求持續推進大模型的研究和優化，加速AI技術在各個產業的應用和落地。
雷峰網(公眾號：雷峰網)
