字節跳動Seed團隊宣布推出實驗性擴散語言模型Seed Diffusion Preview，標志著在語言模型領域的一次重大技術突破。該模型旨在通過結構化的代碼生成實驗，驗證離散擴散技術路線作為下一代語言模型基礎框架的可行性。Seed Diffusion Preview在推理速度上取得了顯著提升，達到每秒2146個tokens，相比同等規模的自回歸模型提升了5.4倍，同時在多個代碼生成基準測試中表現出與自回歸模型相當的性能。

Seed Diffusion Preview的發布，旨在解決自回歸（AR）模型在推理速度和全局控制方面的局限性。擴散模型通過從粗到精的生成范式，在圖像和視頻合成等連續數據領域取得了顯著成功。然而，將擴散模型應用于自然語言等離散領域面臨根本性挑戰，主要在于標準擴散過程與離散狀態空間的不兼容性。盡管如此，離散擴散模型在可擴展性和效果上已展現出巨大潛力。

為應對這些挑戰，Seed Diffusion Preview采用了四項關鍵技術創新:兩階段課程學習、約束順序擴散、同策略學習以及塊級并行擴散采樣方案。兩階段課程學習策略包括基于掩碼的擴散訓練和基于編輯的擴散訓練，旨在提升模型的局部上下文補全能力和全局代碼合理性評估能力。約束順序擴散通過引入代碼的結構化先驗，引導模型掌握正確的依賴關系。同策略學習通過優化生成步數，提升模型的推理速度。塊級并行擴散采樣方案則在保持因果順序的同時，實現了高效的塊級推理。

實驗結果顯示，Seed Diffusion Preview在代碼推理速度上達到了2146tokens/s，相比同等規模的自回歸模型提升了5.4倍。這一速度提升并未以犧牲質量為代價，模型在多個業界基準上的性能與優秀的自回歸模型相當，并在代碼編輯等任務上實現了超越。這一成果不僅證明了離散擴散模型在推理加速方面的潛力，還展示了其在復雜推理任務中的應用前景。

項目頁面:https://seed.bytedance.com/seed_diffusion

體驗鏈接:https://studio.seed.ai/exp/seed_diffusion