近日,字節跳動旗下智能AI助手豆包升級文生圖能力,支持一鍵生成指定文本。用戶可以在生圖提示詞中加入文本要求,如“一張帶有「新年快樂」的圖”,即可生成帶有指定文字的圖片。目前該功能已經在豆包APP開啟測試,即夢也已小范圍測試。

(用豆包生成帶有文字的圖片)

對文生圖模型而言,如何在圖像中精準生成文本一直是難題,尤其是中文文字,經常出現亂碼。據介紹,相比英文字母,漢字字符結構更復雜,且字符數量要多兩個數量級。豆包大模型團隊相關負責人表示,豆包文生圖模型通過打通LLM和DIT構架,具備更好的原生中文數據學習能力,并在此基礎上強化了漢字生成能力,大幅提升了生成效果。

據觀察,已有不少用戶嘗試使用該能力制作表情包、梗圖漫畫,或輔助生成海報,并在社交媒體平臺發布。據介紹,當前該功能僅支持文生圖時添加文字,暫不支持上傳圖片生成文字。

豆包負責人表示,該能力剛剛推出,仍在完善和優化中。目前絕大多數情況下豆包能夠準確生成指定文字,但仍存在少部分錯字、漏字或小字亂碼等情況。“不管文字、圖片、還是音樂生成功能,豆包都希望能夠降低創作門檻,幫助人們更好地表達和創造。”據悉,豆包網頁及電腦版也將在近期上線該能力。

豆包是字節跳動基于豆包大模型推出的AI智能助手,支持手機App、PC 電腦版、網頁版、瀏覽器插件。作為全能AI 助手,豆包能為生活、學習、工作提供幫助。用戶可以通過豆包搜索信息,答疑解惑,分析總結,提供靈感,輔助創作,提高生活和學習效率。