近日，字節(jié)跳動(dòng)旗下的Seed團(tuán)隊(duì)正式推出了其圖像編輯模型的最新版本——SeedEdit 3.0。目前已在即夢網(wǎng)頁端開啟測試，其移動(dòng)端應(yīng)用豆包App也即將同步上線。

在圖像編輯領(lǐng)域，利用AI根據(jù)指令進(jìn)行編輯的需求廣泛存在，但以往的技術(shù)在保持主體與背景的協(xié)調(diào)性、精準(zhǔn)遵循用戶指令等方面能力有限，導(dǎo)致編輯后圖像的可用率不高。針對這些挑戰(zhàn)，SeedEdit 3.0基于文生圖模型Seedream 3.0進(jìn)行開發(fā)，并疊加了多樣化的數(shù)據(jù)融合方法與特定的獎(jiǎng)勵(lì)模型。這些技術(shù)升級顯著改善了模型在保持圖像主體、背景及細(xì)節(jié)方面的能力，尤其是在人像編輯、更換背景、調(diào)整視角與光線等復(fù)雜場景下表現(xiàn)突出。

據(jù)悉，研發(fā)團(tuán)隊(duì)在SeedEdit 3.0中提出了一種高效的數(shù)據(jù)融合策略，并構(gòu)建了多種專用獎(jiǎng)勵(lì)模型。通過將這些獎(jiǎng)勵(lì)模型與擴(kuò)散模型聯(lián)合訓(xùn)練，團(tuán)隊(duì)針對性地優(yōu)化了人臉對齊、文本渲染等關(guān)鍵編輯任務(wù)的質(zhì)量。此外，團(tuán)隊(duì)還對模型的推理速度進(jìn)行了同步優(yōu)化，使得整個(gè)編輯過程更加快速流暢。

SeedEdit 3.0的一大亮點(diǎn)是其能夠處理并生成4K分辨率的圖像。在精細(xì)調(diào)整編輯區(qū)域的同時(shí)，模型能夠高保真地保留圖像其他部分的原始信息。特別值得一提的是，該模型在判斷“哪里需要修改、哪里需要保留”方面展現(xiàn)了更強(qiáng)的理解力和權(quán)衡能力，從而大幅提升了編輯圖像的可用性。例如，當(dāng)用戶下達(dá)“移除中間人物以外的所有行人”指令時(shí)，模型不僅能精確識別并移除無關(guān)人物，甚至能一并去除他們留下的影子，確保編輯結(jié)果的自然與完整。