8月14日,字節(jié)跳動Seed團隊發(fā)布并開源了全模態(tài)PyTorch原生訓練框架——VeOmni。
據(jù)悉,VeOmni采用以模型為中心的分布式訓練方案,可將復(fù)雜的分布式并行邏輯與模型計算解耦,為全模態(tài)模型組合設(shè)置高效的并行訓練方案。
這一方式可大幅降低工程開銷,提升訓練效率和擴展性,將數(shù)周的工程開發(fā)時間縮短至幾天。
8月14日,字節(jié)跳動Seed團隊發(fā)布并開源了全模態(tài)PyTorch原生訓練框架——VeOmni。
據(jù)悉,VeOmni采用以模型為中心的分布式訓練方案,可將復(fù)雜的分布式并行邏輯與模型計算解耦,為全模態(tài)模型組合設(shè)置高效的并行訓練方案。
這一方式可大幅降低工程開銷,提升訓練效率和擴展性,將數(shù)周的工程開發(fā)時間縮短至幾天。
免責聲明:本網(wǎng)信息來自于互聯(lián)網(wǎng),目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點。其內(nèi)容真實性、完整性不作任何保證或承諾。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系我們,本站將會在24小時內(nèi)處理完畢。
熱門推薦