IT之家 7 月 31 日消息,字節跳動 Seed 團隊今天宣布推出實驗性擴散語言模型 Seed Diffusion Preview,目標是以結構化的代碼生成為實驗領域,系統性地驗證離散擴散技術路線作為下一代語言模型基礎框架的可行性。
實驗結果顯示,Seed Diffusion Preview 代碼推理速度可達到 2146 tokens / s,速度相比同等規模的自回歸模型提升 5.4 倍。在多個業界基準上,Seed Diffusion Preview 性能與優秀的自回歸模型相當,并在代碼編輯等任務上實現超越。
IT之家從 Seed 團隊介紹獲悉,在實現高效采樣的同時,模型在多個代碼生成基準測試中,表現出與同規模自回歸模型相當的性能。此外,在代碼編輯(如 CanitEdit 等)這類需要全局視角規劃的任務中,模型展現了擴散模型框架的內在優勢,性能超過基于自回歸的模型,為解決更復雜的結構化推理問題提供了新的可能性。
官方表示,Seed Diffusion Preview 驗證了離散擴散模型在大型語言模型上的推理加速潛力。團隊同時認為,推理加速僅是這一技術路徑最直接的表層優勢。Seed Diffusion 項目將致力于挖掘其更深遠的價值,持續探索其規模化定律與在復雜推理任務中的應用。





京公網安備 11011402013531號