基石智算 CoresHub 將 AI 算力云與模型開發部署服務完美融合,致力于為開發者打造完整的 AI 應用落地生態。對于初涉開發的用戶而言,平臺支持多模態模型及應用的一鍵啟動,為眾多 AI 愛好者賦予強大能量。目前,平臺已推出文本類、文生圖、文生視頻、語音轉換等模型,且支持一鍵啟動、一鍵部署以及在線微調,助力用戶打造專屬 AI 應用。

本期,將為大家詳細呈現基于基石智算 CoresHub 平臺的 FunAudioLLM 模型使用教程。

FunAudioLLM 模型介紹

FunAudioLLM 是阿里巴巴通義實驗室推出的一款開源語音大模型,它包含兩個核心模型:SenseVoice 和 CosyVoice 。SenseVoice 專注于多語言語音識別、情感辨識和聲音事件檢測,支持超過 50 種語言,尤其在中文和粵語的識別上表現優異,準確率提升超過 50%。它還能夠識別多種情緒和交互事件,如音樂、掌聲、笑聲、哭聲等。CosyVoice 則擅長語音合成,能夠根據少量原始音頻快速生成模擬音色,包括韻律和情感細節,并支持跨語言合成。

FunAudioLLM 的應用場景非常廣泛,如語音到語音翻譯、情感語音對話、互動播客和有聲讀物等。例如,在語音到語音翻譯場景中,它可以將中文語音翻譯成英文語音,同時保留原說話人的音色和情感色彩。在情感語音對話中,它可以與用戶進行帶有情緒色彩的交互,提升用戶體驗。此外,它還可以用于制作互動播客和有聲讀物,提供豐富多彩的聽覺體驗。

語音翻譯:將輸入語音翻譯成目標語言,并使用目標語言生成語音。

情感語音聊天:識別輸入語音的情緒和音頻事件,并生成與情緒相符的語音。

交互式播客:根據實時資訊、知識等內容生成播客腳本,并使用 CosyVoice 合成語音。

有聲讀物:分析文本中的情感和角色,并使用 CosyVoice 合成具有豐富情感的有聲讀物。

在 coreshub 上的使用方式

CosyVoice 模型使用

1.創建容器實例。

2.選擇資源與鏡像 FunAudio 下的 CosyVoice 模型(推薦選擇 1 卡 3090 )。

3.創建好容器實例后,選擇更多訪問,點擊端口 9001,進入 WebUI 界面。

4.根據頁面操作提示可以使用不同的功能生成音頻。

預訓練音色:使用模型本身預訓練音色,按照輸入文本生成音頻;

3s 極速復刻:上傳自己的音頻文件或在線錄制音頻,模型會根據你的音頻訓練出相同音色,輸入 prompt 文本,就可以使用你的音色讀出文字了;

跨語種復刻:將你上傳的普通話音頻,轉變成粵語、日語、英語等;

自然語言控制:可在語音中添加自然的笑聲,喘氣、生氣等語氣。

注意:使用自然語言控制功能時,需要更換模型,重新創建實例,選擇 FunAudioLLM 中的CosyVoice-300-instruct 使用。

SenseVoice 模型使用

同樣創建容器實例,選擇資源,但在選擇應用鏡像時,選擇 FunAudioLLM 中的 SenseVoice 模型。以同樣方式進入 WebUI 界面,使用流程與 CosyVoice 相同。

立即開啟你的創作之旅吧!!