0
| 本文作者： nebula | 2024-08-13 15:04 |
當?shù)貢r間8月11日至16日，為期6天的國際計算語言學年會（ACL2024）在泰國曼谷舉辦。ACL是計算語言學和自然語言處理領域國際排名第一的頂級學術會議，由國際計算語言學協(xié)會組織，每年召開一次，2024年是第62屆會議。
清華大學、浙江大學、西安電子科技大學、螞蟻集團、小米等國內(nèi)院校及互聯(lián)網(wǎng)企業(yè)均有論文被ACL2024收錄。比如螞蟻集團有14篇論文被收錄，研究課題涉及自然語言處理、知識推理、大模型、知識圖譜等領域，自然其中5篇被主會（Main）收錄。
被主會（Main）收錄的論文“分解與蒸餾大語言模型用于語義搜索”，提出了一種混合型語義搜索模型D2LLM，通過分解大語言模型和從大語言模型中蒸餾知識，實現(xiàn)了雙編碼器的運行效率與交叉編碼器的理解準確性的折中。實驗數(shù)據(jù)顯示，D2LLM在三項任務的指標上超過了五個領先的基準模型，特別是在自然語言推理（NLI）任務的性能至少提高了6.45%。
另一篇被被主會（Main）收錄的論文“構建大規(guī)模schema約束的信息抽取語料庫”，提出了一個叫IEPILE的中英雙語IE指令語料庫，它包含約0.32B的tokens。這一研究通過收集和清洗33個現(xiàn)有IE數(shù)據(jù)集構建了IEPILE，并引入基于schema模式的指令生成，構建出大規(guī)模的語料庫。實驗結果表明，使用IEPILE可提升LLMs在IE任務中，尤其在零樣本泛化抽取上的性能。
螞蟻另外兩篇被ACL2024主會收錄的論文，取得的研究成果分別是，降低了大模型的幻覺；以及提高了大模型的注意力，增強了大模型長下文的外推能力。
據(jù)了解，2024年，螞蟻集團有近百篇AI學術論文被全球各頂級會議收錄，研究成果主要用于優(yōu)化大模型訓練的性能，提高大模型的可靠性與可信度，持續(xù)降低AI訓練成本，以推動大模型在各行業(yè)，尤其嚴謹行業(yè)中得以規(guī)模化落地應用。如這與螞蟻“讓AI像掃碼支付一樣便利每個人的生活”的技術主張亦有直接關系。
《2023年中國科技論文統(tǒng)計報告》顯示，中國發(fā)表的高水平國際期刊論文數(shù)量和被引用次數(shù)均排在世界第一。2024年，喬治城大學安全與新興技術中心（CSET）的最新數(shù)據(jù)顯示，在人工智能最熱門的領域中，中國在一半以上的研究領域領先美國。這些數(shù)據(jù)表明，中國高校和企業(yè)的科研產(chǎn)出在數(shù)量和質(zhì)量上都在穩(wěn)步提升，在全球科研領域中占據(jù)越來越重要位置。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
