機器之心報道

編輯：Panda

昨天，蘋果一篇新論文在 arXiv 上公開然后又匆匆撤稿。原因不明。

不過觀看其提交歷史，可以看到該論文在 12 月 6 日（UTC）就已被提交到 arXiv，到 11 號已經(jīng)過去了 5 天，公開上線之后卻又被光速撤稿，這不由得地讓人好奇究竟發(fā)生了什么。

不過好在該論文有一個 v1 版本已經(jīng)被互聯(lián)網(wǎng)記錄，所以我們也能打開這篇論文一探究竟。

論文中，蘋果揭示了他們開發(fā)的一個基于 TPU 的可擴展 RL 框架RLAX

是的，你沒有看錯，不是 GPU，也不是蘋果自家的 M 系列芯片，而是谷歌的 TPU！還不止如此，這篇論文的研究中還用到了亞馬遜的云和中國的 Qwen 模型。

論文標題：RLAX: Large-Scale, Distributed Reinforcement Learning for Large Language Models on TPUs論文地址：https://arxiv.org/pdf/2512.06392v1

總之，這篇論文的貢獻還真不少。

不過，在具體介紹這篇論文的研究成果之前，我們有必要先關注一下其作者名單。

RLAX 的作者們

RLAX 論文共有四名核心作者：Runlong Zhou、Lefan Zhang、Shang-Chen Wu 和 Kelvin Zou。

通訊作者則是 Kelvin Zou 和 Cheng Leong。其中 Kelvin Zou 曾在蘋果擔任 Principal Engineer，現(xiàn)已經(jīng)入職 meta，成為了一位 AI 研究科學家。而 Cheng Leong 則是已在蘋果工作超過 13 年的老將，現(xiàn)任蘋果 AI Infra（人工智能基礎設施）主管。

截圖自 linkedIn

此外，我們還在作者名單中看到了龐若鳴的名字。

這位已經(jīng)加入 meta 的前蘋果 AI 負責人與其他六位作者的名字一起也出現(xiàn)了論文第一頁的最下方，并被描述為「已離開蘋果公司。他們在受雇于蘋果公司期間為這項工作做出了貢獻。」而且他們基本都是前幾個月才剛剛離職。

簡單搜索一下這六位作者的履歷，可以看到：

Kelvin Zou 加入了 metaHanzhi Zhou 已入職 OpenAIYe Ke 加入了 AnthropicFloris Weers 以創(chuàng)始工程師身份加入了一家正處于隱身狀態(tài)的創(chuàng)業(yè)公司Chong Wang 也加入了 metaYi Zhang 現(xiàn)在 xAI 研究模型推理。

RLAX：為了搶占 TPU 而生

回到技術本身。強化學習（RL）對現(xiàn)代推理語言模型的重要性已無需多言，幾乎所有的頂尖模型都是基于 RL 的推理模型，包括 OpenAI o3、Claude 4、Grok 4、Gemini 2.5、DeepSeek R1 以及 Qwen 3。

蘋果開發(fā)的RLAX 是一個專為在大規(guī)模分布式 TPU 集群上高效執(zhí)行最先進 RL 算法而設計的強化學習框架

極致解耦與搶占式調(diào)度

RLAX 采用了參數(shù)-服務器（Parameter-Server）架構。主訓練器（Master Trainer）會定期將更新后的模型權重推送到參數(shù)服務器。與此同時，一組推理工作器（Inference Workers）會拉取最新權重，并生成新的采樣數(shù)據(jù)（Rollouts）。

該團隊引入了一套系統(tǒng)級技術，將訓練器、推理工作器和驗證器（Verifiers）在邏輯上進行了分離。這種邏輯分離使得 RLAX 能夠靈活且獨立地為各個組件分配計算資源。

最重要的是，RLAX 完全支持搶占式調(diào)度。這意味著當有更高優(yōu)先級的任務（如在線推理負載）需要時，系統(tǒng)可以立即回收 TPU 資源，而不會導致訓練崩潰。

靈活的策略支持

RLAX 致力于解決大規(guī)模 LLM 后訓練 RL 過程中的關鍵挑戰(zhàn)，特別是如何高效處理 On-policy（在線策略）和 Off-policy（離線策略）RL。

為此，RLAX 提供了可編程的配置選項。用戶可以強制執(zhí)行「陳舊度界限」（Staleness Bounds），指定推理工作器拉取新權重的頻率，以及訓練器所能容忍的最大 Rollout 陳舊度。這使得用戶可以在 On-policy 和 Off-policy RL 之間靈活選擇。

Oubliette：把代碼扔進地牢

在驗證器（Verifiers）的設計上，蘋果工程師展現(xiàn)了一種特有的黑色幽默。

驗證器需要針對訓練語料庫中每種編程語言進行代碼執(zhí)行驗證。為了高效且確定性地驗證 Python 程序，他們將標準 Python 依賴項容器化。

為了跑通大規(guī)模代碼測試，他們調(diào)用了亞馬遜的 AWS Lambda 服務，并將其命名為 「Oubliette」。

「Oubliette」一詞源自法語，原意是指城堡中只有一個出口（通常是天花板上的活板門）的地下地牢，是專門用來「遺忘」囚犯的地方。

蘋果工程師用這個詞來隱喻他們的無狀態(tài)驗證環(huán)境：代碼和測試數(shù)據(jù)被扔進這個基于 AWS Lambda 的「地牢」里，跑完測試、吐出結果后，整個環(huán)境即刻銷毀，就像這段代碼從未存在過一樣。

表現(xiàn)如何？

有趣的是，在實驗階段，我們看到了一個「縫合怪」的誕生：

算力底座：如論文標題明示的那樣，不是自家芯片，也不是英偉達 GPU，而是谷歌的 TPU v5p（使用了 1024 張 TPU v5p 進行實驗）。驗證環(huán)境：為了跑通大規(guī)模代碼測試，他們調(diào)用了亞馬遜的 AWS Lambda 服務。基礎模型：他們用來驗證這套框架的模型，不是 Apple Intelligence 的底座，而是來自中國阿里團隊開源的 QwQ-32B。

沒錯，蘋果的工程師，在美國用著谷歌的 TPU，調(diào)著亞馬遜的 Serverless 服務，去優(yōu)化一個中國開源的 Qwen 模型。

結果倒是非常亮眼。RLAX 僅用 12 小時 48 分鐘，在 1024 個 v5p TPU 上將 QwQ-32B 的 pass@8 準確率提高了12.8%，同時在訓練期間保持了對任務搶占的魯棒性。

這種「美中技術大亂燉」的場景，在蘋果以往封閉的生態(tài)中簡直不可想象。這也側(cè)面印證了兩件事：第一，在 AI Infra 領域，實用主義正在壓倒門戶之見；第二，國產(chǎn)模型（尤其是 Qwen 和 DeepSeek）在代碼推理領域的統(tǒng)治力，已經(jīng)強到連蘋果都忍不住要拿來當「磨刀石」。

消失的 1.0：一個硬核的數(shù)值幽靈

在 RLAX 論文的第 4 頁和第 9 頁，蘋果披露了一個足以讓系統(tǒng)工程師脊背發(fā)涼的 Bug。

在強化學習中，On-policy（在線策略）訓練有一個理論基石：importance Sampling ratio（重要性采樣比率）r (θ) 應該恒等于 1.0。因為行為策略和當前策略是完全一致的。

但在 TPU 訓練實戰(zhàn)中，蘋果團隊發(fā)現(xiàn)：1.0 竟然不等于 1.0

這個問題的根源在于 bfloat16 浮點數(shù)格式的非結合律（Non-associative） 特性。簡單來說，在計算機里 (a+b)+c 和 a+(b+c) 的結果可能存在微小的比特級差異。

推理時：JAX 編譯器為了極致速度，會瘋狂融合算子（Kernel Fusion）。訓練時：為了反向傳播計算梯度，編譯器必須保留中間值，導致算子融合策略與推理時不同。

這種計算順序的微小差異，在 bfloat16 下被放大，導致推理端算出的概率和訓練端算出的概率無法對齊，進而導致訓練崩潰。

蘋果的解決方案非常暴力且有效：他們在訓練器中強制重算（Rematerialization），禁用了大部分激活值的保存，強行讓訓練端的計算圖去「模仿」推理端的計算順序。雖然犧牲了一點點速度，但消除了這個數(shù)值問題。

對于正在從事 LLM Post-training 的工程師來說，這個 Debug 過程極具參考價值。

雖然目前已被撤稿，但 RLAX 證明了蘋果在 AI 基礎設施上依然擁有世界頂級的工程能力。他們能駕馭最復雜的分布式系統(tǒng)，解決最底層的數(shù)值難題。

但隨著許多重要人物分散到 meta、OpenAI、Anthropic 和 xAI，這篇論文似乎也成為了蘋果 AI 這一階段的一個注腳。