0
| 本文作者： Nemo | 2024-12-30 16:24 |
近日，一項關于大模型核心理論“Scaling Law”的起源討論正在外網熱烈展開。最新觀點和證據表明，中國科技巨頭百度比OpenAI更早實現了這一突破。
知名媒體《南華早報》在其報道《百度在OpenAI之前就發現了Scaling Law？AI領域的辯論重新燃起》中指出，盡管美國在AI模型創新方面一直被視為領先者，但最新的討論顯示，中國在探索這些概念上可能更為超前。
大模型發展的核心是“Scaling Law”——這一原則認為，訓練數據和模型參數越大，模型的智能能力就越強。這一思想廣泛歸功于OpenAI在2020年發表的論文《Scaling Laws for Neural Language Models》，自那以后，這個概念已成為AI研究的基石。
然而，OpenAI論文的合著者、前OpenAI研究副總裁 、Anthropic創始人Dario Amodei ，在11月的一期播客中透露，他在2014年與吳恩達在百度研究AI時，就已經發現了模型發展的規律Scaling Law這一現象。Dario Amodei表示，隨著提供給模型的數據量增加、模型規模的擴大以及訓練時間的延長，模型的性能開始顯著提升。這一非正式的觀察后來在OpenAI的GPT-1語言模型中得到了驗證，并被認為是大模型發展的“金科玉律”。
此外，行業人士也發文稱，關于Scaling Law的原始研究實際上來自2017年的百度，而不是2020年的OpenAI。Meta研究員、康奈爾大學博士候選人Jack Morris在X（前Twitter）上引用了一篇標題為《Deep Learning Scaling is Predictable, Empirically》論文，論文于2017年由百度硅谷人工智能實驗室發布，詳細討論了機器翻譯、語言建模等領域的Scaling現象。
但這篇論文的重要性被嚴重忽視，OpenAI在 2020年的Scaling Law研究中引用了百度研究人員在2019年發表的論文 《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》（超越人類水平的準確性： 深度學習的計算挑戰）。批評者稱，OpenAI 有選擇地引用了百度 2019 年的論文，而忽略了 2017 年早些時候的研究，而該研究才是Scaling Law概念的真正原始來源。
有研究者表示，正是百度的早期研究為AI大模型的發展奠定了理論基礎，并在2019年發布了第一代文心大模型，幾乎與OpenAI處于同一時期。“中國在大型模型方面的進步也獲得國際認可。”據《南華早報》，在上海舉行的百度世界大會2024上，百度宣布了新技術，用以減輕圖像生成中的幻覺問題——即生成誤導性或事實不一致的圖像。百度還透露，截至11月初，百度文心大模型的日均調用量已經達到了15億，相較一年前首次披露的5000萬次，增長約30倍。
隨著AI技術的不斷進步和應用的深入，中國在全球AI領域的影響力和領導地位將更加凸顯。
