報(bào)道

編輯：桃子 喬楊

來自微軟、MIT等機(jī)構(gòu)的學(xué)者提出了一種創(chuàng)新的訓(xùn)練范式，攻破了大模型的推理缺陷。他們通過因果模型構(gòu)建數(shù)據(jù)集，直接教模型學(xué)習(xí)公理，結(jié)果只有67M參數(shù)的微型Transformer竟能媲美GPT-4的推理能力。

「因果推理」絕對(duì)是當(dāng)前GenAI熱潮下的小眾領(lǐng)域，但是它有一個(gè)大佬級(jí)的堅(jiān)定支持者——Yann LeCun。

他在推特上的日常操作之一，就是炮轟Sora等生成模型，并為自己堅(jiān)信的因果推理領(lǐng)域搖旗吶喊。

甚至，早在2019年VentureBeat的采訪中，他就表達(dá)過這一觀點(diǎn)：我們需要在深度學(xué)習(xí)模型中引入事件的因果關(guān)系，才能增強(qiáng)泛化能力，減少訓(xùn)練數(shù)據(jù)使用。

對(duì)于當(dāng)前最流行的模型架構(gòu)Transformer，我們能教它因果推理嗎？

最近，來自微軟MIT等機(jī)構(gòu)的研究人員提出了一種訓(xùn)練大模型新范式——公理框架（Axiomatic framework）。

論文中，作者從頭開始訓(xùn)練了6700萬參數(shù)的模型，僅使用了簡單的因果鏈作為訓(xùn)練數(shù)據(jù)。

令人驚訝的是，在推斷復(fù)雜圖表中的因果關(guān)系時(shí)，67M模型的表現(xiàn)超越了十億級(jí)參數(shù)LLM，甚至可以與GPT-4相媲美。

論文地址：https://arxiv.org/abs/2407.07612v1

微軟MIT等團(tuán)隊(duì)最新方法的提出，是受到了圖靈獎(jiǎng)得主Judea Pearl啟發(fā)。

Pearl曾提出了結(jié)構(gòu)化因果規(guī)則中的因果無關(guān)性公理，即直接通過符號(hào)化公理示例來教Transformer模型學(xué)習(xí)被動(dòng)數(shù)據(jù)（passive data）。

這種方法不同于傳統(tǒng)機(jī)器學(xué)習(xí)模型，使用由公理推導(dǎo)出的數(shù)據(jù)。

正如結(jié)果所示，通過公理訓(xùn)練，研究證明了Transformer模型可以學(xué)習(xí)因果，從而推斷因果關(guān)系，并從相關(guān)性中識(shí)別因果性。

這暗示了，像GPT-4等大模型的訓(xùn)練，可以通過網(wǎng)絡(luò)數(shù)據(jù)中的帶噪聲的公理化示例學(xué)習(xí)因果知識(shí)，而無需進(jìn)行干預(yù)實(shí)驗(yàn)。

網(wǎng)友稱贊道，「研究者的觀點(diǎn)非常耐人尋味，因果推理一直是LLM的致命弱點(diǎn)，進(jìn)一步發(fā)展這一領(lǐng)域，勢在必行」。

「這類研究可能是通向半AGI的一條途徑」。

研究背景

因果推理（causal reasoning）是一種推理過程，遵守有特定因果性的預(yù)定義公理或規(guī)則。

圖靈獎(jiǎng)得主Judea Pearl曾通過如下的「因果關(guān)系階梯」（ladder of causation）定義了可能的因果推理類型。

通常因果推理所用的公理或規(guī)則并不會(huì)被直接引入，模型學(xué)習(xí)的只是數(shù)據(jù)。公理或規(guī)則作為歸納偏差被納入模型，比如通過正則化、模型架構(gòu)或變量選擇等方式。

而這篇論文想要探討的，就是模型能否從被動(dòng)的符號(hào)演示中直接學(xué)習(xí)公理或規(guī)則。作者將這種方法稱為「公理化訓(xùn)練」（axiomatic training）。

假設(shè)因果公理都可以以如下形式表示：<前提，假設(shè)，結(jié)果>，其中結(jié)果只有「是」和「否」兩種形式。

這基本類似于亞里士多德提出的「三段論」格式，比如Judeal Pearl書中提出的「碰撞公理」（collider axiom）就可以表示為：

前提：