0
近日，國際機器學習大會披露了2024國際機器學習大會（ICML2024）收錄的論文。本屆會議共有9473篇有效論文投稿，創歷史新高，組委會最終錄用了2609篇，接收率為27.5%。
國際機器學習大會是全球機器學習領域的權威會議，迄今舉辦了41次會議。組委會成員來自卡內基梅倫大學、劍橋大學、谷歌、蘋果等世界名校及全球知名科技企業。今年的國際機器學習大會將于7月21日～27日在奧地利維也納舉辦。
據了解，螞蟻集團此次有11篇論文入選，覆蓋圖機器學習、網絡/信息安全、人工智能、計算機視覺等多個人工智能和機器學習領域的前沿主題。論文試圖改進和優化的技術問題，則聚焦在提高AI的經濟性和可靠性上。
提高AI的經濟性，主要看是否能把大模型做“小”，是否能持續工程提效，以及是否能持續度量和優化綠色指標，這決定大模型應用能否能成為主流。
《基于關鍵點的漸進式思維鏈蒸餾方法在大語言模型（LLMs）中的應用》正是一個把大模型做“小”的研究。該文提出了一種名為KPOD的新蒸餾方法，這是一種機器學習技術，能將大而復雜的模型（教師模型）所學到的知識遷移到一個小而簡單的模型（學生模型）中，以大大減少模型的規模和計算成本，同時盡可能保留原始模型的性能。研究團隊以GPT-3.5-Turbo作為教師模型，以LLaMA-7B和Flan-T5系列模型作為學生模型進行思維鏈蒸餾，結果表明，相較現有模型蒸餾技術，KPOD能將推理準確率提升5%。
《關注邊界：基于重構決策邊界的核心集選取》提出了一種新的核心集構建方法，首次在ImageNet-1K數據集上實現了使用50%的數據訓練，但是精度損失不超過1%。
還有幾篇論文就如何提高AI在計算、訓練、推理等過程中的效率，提出了新的技術解決方案。
《Ditto: 量化感知的Transformer模型安全推理》一文針對大模型密態推理場景展開了研究，以更高的效率實現密態數據類型的切換，進而帶來更優的密態推理性能。實驗結果表明，Ditto可以在不顯著降低模型可用性的情況下實現推理效率的提升，性能相較最新工作提升約2～4倍。
《多源噪聲標簽下的自感知去噪方法》一文，從理論上分析了神經網絡在面對多源噪聲標記時具備的對樣本級噪聲和源級標注質量的感知能力，進一步提出了一種名為自感知去噪的多源噪聲標簽學習方法，利用神經網絡的自我認知能力在訓練期間進行去噪；并構建了一個選擇性蒸餾模塊以優化計算效率。
《通過隨機微分方程統一貝葉斯流網絡與擴散模型》一文提出了一種新采樣方法 BFN-Solver，相比原始BFN采樣器實現了5-20倍的速度提升。
提高AI的可信性，則是要讓AI更準確專業、真實嚴謹、可控透明及安全可靠，終極目標是解決控制和“對齊”比人類聰明的模型。這對于AI在金融、醫療等嚴謹行業的落地應用尤為必要與重要。
《基于強化學習的檢索增強大語言模型可信對齊》一文針對檢索增強的大語言模型仍然會遭受幻覺困擾的問題，提出一種基于強化學習的算法“可信對齊”， 從理論上和實驗上證明了大型語言模型可以通過這種方法對齊到可信狀態，并將對齊的應用場景從滿足人類偏好擴展到創建可信的Agent等場合。結果表明，基于“可信對齊”的檢索增強大語言模型，無需人工標注，即可在natural question問答任務上帶來平均55%的EM提升和53%的記憶率降低。
公開信息顯示，此次被會議收錄論文的還有清華大學、復旦大學、上海交通大學、中國人民大學、騰訊、聯想等國內知名高校及企業。
雷峰網(公眾號：雷峰網)
