CosyVoice是通義實驗室依托大規(guī)模預訓練語言模型，深度融合文本理解和語音生成的新一代生成式語音合成大模型，支持文本至語音的實時流式合成?？梢詰糜冢?/p>

智能設備/機器人播報的語音內容，如智能客服機器人、智能音箱、數(shù)字人、語音助手等。

音視頻創(chuàng)作中需要將文字轉為語音播報的場景，如小說閱讀、新聞播報、影視解說、劇本配音等。

CosyVoice則專注自然語音生成，支持多語言、音色和情感控制，支持中英日粵韓5種語言的生成，效果顯著優(yōu)于傳統(tǒng)語音生成模型。

僅需要3~10s的原始音頻，CosyVoice即可生成模擬音色，甚至包括韻律、情感等細節(jié)，包括跨語種語音生成。而且CosyVoice支持以富文本或自然語言的形式，對生成語音的情感、韻律進行細粒度的控制，生音頻在情感表現(xiàn)力上得到明顯提升。

CosyVoice是一款基于語音量化編碼的語音生成大模型。它對語音進行離散化編碼，并依托大模型技術，實現(xiàn)自然流暢的語音生成體驗。與傳統(tǒng)語音生成技術相比，CosyVoice具有韻律自然、音色逼真等特點。CosyVoice支持多達5種語言，同時還支持以自然語言或富文本形式對生成語音進行情感等維度的細粒度控制。研究團隊提供了基模型CosyVoice-300M、經過SFT微調后的模型CosyVoice-300M-SFT、以及支持細粒度控制的模型CosyVoice-300M-Instruct，可滿足不同場景下的使用需求。

通過與原始音頻以及最近大火的ChatTTS對比，可以發(fā)現(xiàn)CosyVoice的合成音頻在內容一致性上更高，并且沒有很少存在幻覺額外多字的現(xiàn)象。CosyVoice很好地建模了合成文本中的語義信息，達到了與人類發(fā)音人相當?shù)乃?。此外，通過對合成音頻進行重打分，能夠進一步降低識別的錯誤率，甚至在內容一致性和說話人相似度上超越人類。（文件包有預合成演示音頻，可自行聽?。?/p>

使用說明

1.選擇推理模式

2.點擊骰子按鈕(可選)，可以改變說話人的語調和韻律

3.按照提示步驟進行操作

稍微等待一下，程序就處理完畢了，可以在頁面底部的輸出音頻界面播放和下載合成后的語音

注意事項

①項目安裝路徑不要包含中文

②推薦使用GTX1060以上顯卡運行此項目

③使用過程中若不慎關閉軟件后臺，請重新打開，并刷新網頁

更新內容：

1、新增手動選擇參考音頻列表

將需要克隆的參考音頻拷貝到軟件根目錄下的 “參考音頻” 文件夾，并將文件名改名為音頻說話內容，如下圖

點擊“刷新參考音頻”即可。

2、自定義音色保存

克隆音色生成后，在下方輸入音色名稱，保存即可。如上圖。

比如我們將克隆后的“大冪冪”的音色保存下來，這里輸入 大冪冪

保存后，點這里的“刷新新增音色”

即可在新增音色里找到我們剛才克隆的“大冪冪”的音色

后期需要使用這個音色生成音頻，就直接在這里選擇“大冪冪”即可。

更新日志

增加了 triton trtllm 運行時支持和 cosyvoice2 grpo 訓練支持