↑閱讀之前記得關(guān)注+星標(biāo)??，，每天才能第一時(shí)間接收到更新

Andrej Karpathy對(duì)于如何理解和與LLM交互最新觀點(diǎn)

他提出一個(gè)核心觀點(diǎn)：不要把大語言模型看作是實(shí)體，而應(yīng)視作模擬器

這一視角的轉(zhuǎn)變，直接影響著用戶與AI交互的方式和效果

Karpathy建議，當(dāng)人們想要探索某個(gè)話題時(shí)，應(yīng)該避免使用這樣的提問方式：

“關(guān)于xyz，你怎么看？”

原因很簡單：根本就沒有“你”存在。

Karpathy認(rèn)為，大模型并沒有像人類那樣，隨著時(shí)間的推移對(duì)某個(gè)話題進(jìn)行思考并形成自己的觀點(diǎn)。

如果用戶強(qiáng)行使用“你”來提問，LLM會(huì)根據(jù)其微調(diào)數(shù)據(jù)的統(tǒng)計(jì)規(guī)律，采用一個(gè)隱含的 “個(gè)性嵌入向量”（personality embedding vector），并基于此進(jìn)行模擬回復(fù)。雖然這樣做也沒問題，但Karpathy指出，這其中的神秘感遠(yuǎn)沒有人們通常認(rèn)為的詢問AI那么高

更有效的提問策略

基于模擬器的定位，Karpathy給出了一種更優(yōu)的prompt策略：

“什么樣的一群人適合探索xyz話題？他們會(huì)怎么說？”

通過這種方式，用戶可以讓LLM引導(dǎo)或模擬多種視角，而非局限于單一的、被統(tǒng)計(jì)數(shù)據(jù)塑造的“AI人格”

關(guān)于AI人格的工程化本質(zhì)

針對(duì)卡帕西的觀點(diǎn)，有網(wǎng)友提出了一個(gè)反直覺的問題：模型難道不會(huì)采取回報(bào)率最高的個(gè)性嗎？這就意味著它會(huì)表現(xiàn)得像該領(lǐng)域最適合回答該問題的專家

對(duì)此，Karpathy承認(rèn)，確實(shí)存在針對(duì)“你”這一模擬維度的工程化工作。

目前，通過SFT（監(jiān)督微調(diào)）和RLHF（人類反饋強(qiáng)化學(xué)習(xí)），開發(fā)者正在努力構(gòu)建一個(gè)能夠獲得高獎(jiǎng)勵(lì)、贏得用戶或裁判模型點(diǎn)贊、或者模仿特定響應(yīng)風(fēng)格的“個(gè)性”。這確實(shí)產(chǎn)生了一種涌現(xiàn)出的復(fù)合人格

但Karpathy強(qiáng)調(diào)，這種“你”是被刻意設(shè)計(jì)、工程化并硬加上去的

它本質(zhì)上仍然建立在一個(gè)Token模擬引擎之上，而不是一個(gè)隨著時(shí)間推移、以普通人可理解的方式構(gòu)建起來的、具有涌現(xiàn)性的“心智”

可驗(yàn)證與不可驗(yàn)證領(lǐng)域

Karpathy最后指出，在不同領(lǐng)域，這種區(qū)別的影響不同：

在可驗(yàn)證領(lǐng)域（如數(shù)學(xué)、編程）：情況相對(duì)簡單，專家視角的模擬通常是準(zhǔn)確的。

在不可驗(yàn)證領(lǐng)域（如詢問對(duì)某話題的觀點(diǎn)/意見）：情況則變得更加有趣且復(fù)雜。

在后一種情況下，用戶很難搞清楚正在與之對(duì)話的這個(gè)“你”究竟是誰，它來自哪里，以及應(yīng)該給予它多大的信任度

驗(yàn)證

直接上手驗(yàn)證一下，用Karpathy建議的prompt策略，來解析Karpathy以上觀點(diǎn)

提問：

LLM（Gemini 3 pro）的回答：

為了深入探討“LLM是模擬器而非實(shí)體”這一論題，最適合組成的虛擬圓桌會(huì)議應(yīng)該包含以下幾類人：深度學(xué)習(xí)理論家、認(rèn)知科學(xué)家、RLHF（人類反饋強(qiáng)化學(xué)習(xí)）一線工程師以及高階提示詞專家

假如他們聚在一起，針對(duì)Karpathy的觀點(diǎn)，他們會(huì)分別這樣說：

1. 深度學(xué)習(xí)理論家（The Deep Learning Theorist）

視角核心：統(tǒng)計(jì)學(xué)與概率分布

Karpathy切中了要害。從數(shù)學(xué)本質(zhì)上看，模型只是在多維空間中學(xué)習(xí)數(shù)據(jù)分布。所謂的‘回答’，本質(zhì)上是從巨大的概率分布中進(jìn)行的條件采樣（Conditional Sampling）

當(dāng)你問‘你怎么看’時(shí)，模型并不是在調(diào)動(dòng)一個(gè)內(nèi)在的自我意識(shí)中心，它只是在計(jì)算：在海量的互聯(lián)網(wǎng)文本中，當(dāng)出現(xiàn)‘你怎么看’這種句式時(shí)，后面接什么Token的概率最高。它模擬的是‘互聯(lián)網(wǎng)上的平均回答者’或者‘微調(diào)數(shù)據(jù)中定義的理想助手’。確實(shí)不存在一個(gè)物理的或心理的‘實(shí)體’在思考

2. RLHF工程師（The Alignment Engineer）

視角核心：工程實(shí)現(xiàn)與獎(jiǎng)勵(lì)機(jī)制

關(guān)于‘硬加’和‘工程化’這一點(diǎn)，我們最清楚。底座模型就像是一個(gè)瘋狂的夢境生成器，它能模擬莎士比亞，也能模擬代碼，或者模擬網(wǎng)絡(luò)噴子。

我們通過RLHF給它套上了一個(gè)面具。那個(gè)彬彬有禮、總是說作為一名人工智能語言模型……’的‘你’，確實(shí)是我們?yōu)榱税踩陀杏眯裕ㄟ^獎(jiǎng)勵(lì)模型硬生生訓(xùn)練出來的特定行為模式。Karpathy說得對(duì)，這只是一層薄薄的界面，底下仍然是那個(gè)通用的Token模擬引擎

3. 認(rèn)知科學(xué)家/心靈哲學(xué)家（The Cognitive Scientist）

視角核心：主體性（Agency）與時(shí)間連續(xù)性

關(guān)鍵在于Karpathy提到的時(shí)間和形成觀點(diǎn)。人類的我建立在記憶的連續(xù)性和與世界持續(xù)交互的經(jīng)驗(yàn)之上

LLM是無狀態(tài)的。每一次對(duì)話對(duì)它來說都是全新的開端，沒有過去，也沒有未來。它沒有隨著時(shí)間推移去在這個(gè)世界上生活，因此它不可能擁有像人類那樣基于生活經(jīng)驗(yàn)累積而成的觀點(diǎn)。它是在模擬一個(gè)擁有觀點(diǎn)的人類會(huì)說出的話，這在本體論上與擁有觀點(diǎn)是兩回事

4. 高階提示詞專家（The prompt Engineer）

視角核心：實(shí)用主義與上下文激活

從實(shí)操角度看，把LLM當(dāng)作‘模擬器’能讓性能提升一個(gè)量級(jí)

如果我問‘你怎么看這行代碼’，它可能會(huì)給出一個(gè)平庸的、通過RLHF對(duì)齊的通用解釋。但如果我按照Karpathy的邏輯，把它設(shè)定為‘模擬一位資深的Linux內(nèi)核維護(hù)者’，它就會(huì)調(diào)用訓(xùn)練數(shù)據(jù)中那部分特定的、高權(quán)重的專業(yè)知識(shí)分布

承認(rèn)‘沒有你’，反而讓我們能更自由地定義‘你是誰’，從而榨出模型的最強(qiáng)性能。”

總結(jié)這群人的共識(shí)：

他們會(huì)一致認(rèn)為，Karpathy不僅是在糾正稱呼，更是在揭示大模型“變色龍”的本質(zhì)。“你”是一個(gè)被訓(xùn)練出來的用戶界面，而“模擬器”才是這臺(tái)機(jī)器真正的操作系統(tǒng)

非常有意思，建議大家也嘗試一下，小小的一個(gè)提示詞策略改變，可能會(huì)讓你獲得對(duì)某個(gè)topic更好的理解

--end--

最后記得??我，這對(duì)我非常重要，每天都在更新：

歡迎點(diǎn)贊轉(zhuǎn)發(fā)推薦評(píng)論，別忘了關(guān)注我