Constme-Whisper是一款本地離線語(yǔ)音轉(zhuǎn)文字工具，支持 GPU、支持實(shí)時(shí)語(yǔ)音轉(zhuǎn)換。Whisper是由 OpenAI 訓(xùn)練并開(kāi)源的神經(jīng)網(wǎng)絡(luò)，在英語(yǔ)語(yǔ)音識(shí)別方面的穩(wěn)健性和準(zhǔn)確性接近人類(lèi)水平whisper.cpp 項(xiàng)目是將 Whisper 移植到 C/C++ 中，而今天介紹的 Const-me/Whisper 項(xiàng)目則是 whisper.cpp 在 Windows 上的實(shí)現(xiàn)，并增加了顯卡的支持，使得速度大幅提升。歡迎需要此款工具的朋友前來(lái)下載使用。

軟件介紹

Constme-Whisper是OpenAI的Whisper自動(dòng)語(yǔ)音識(shí)別ASR模型的衍生項(xiàng)目。

Constme-Whisper可以在Windows上使用，支持高性能GPGPU處理，可以利用GPU加速處理。

本體是個(gè)啟動(dòng)器，需要結(jié)合一個(gè)語(yǔ)言識(shí)別模型文件（ggml-tiny、ggml-small、ggml-base、ggml-medium、ggml-large）使用，模型越大，效果越好，但相對(duì)的速度也更慢。

軟件特點(diǎn)

基于DirectCompute的與供應(yīng)商無(wú)關(guān)的GPGPU;該技術(shù)的另一個(gè)名稱(chēng)是“Direct3D 11 中的計(jì)算著色器”

純C++實(shí)現(xiàn)，除了基本的操作系統(tǒng)組件外，沒(méi)有運(yùn)行時(shí)依賴(lài)關(guān)系

比OpenAI的實(shí)現(xiàn)快得多。

混合 F16 / F32 精度：Windows 需要自 D3D 版本 10.0 起支持緩沖區(qū)R16_FLOAT

內(nèi)置性能探查器，用于測(cè)量單個(gè)計(jì)算著色器的執(zhí)行時(shí)間

內(nèi)存使用率低

用于音頻處理的媒體基礎(chǔ)，支持大多數(shù)音頻和視頻格式（Ogg Vorbis除外）， 以及大多數(shù)在Windows上運(yùn)行的音頻捕獲設(shè)備（除了一些專(zhuān)業(yè)設(shè)備，它們只實(shí)現(xiàn)ASIO API）。

用于音頻捕獲的語(yǔ)音活動(dòng)檢測(cè)。

易于使用的 COM 樣式 API，nuget 上提供的慣用 C# 包裝器

提供預(yù)構(gòu)建的二進(jìn)制文件

下載 Whisper 模型

而 Const-me 的這個(gè)名為 Whisper 的項(xiàng)目，目前僅提供 Windows 版本，使用簡(jiǎn)單，需要先下載模型：

ggml-medium.bin

開(kāi)發(fā)者推薦 ggml-medium.bin，因?yàn)橐恢痹谑褂眠@個(gè)模型進(jìn)行測(cè)試，1.53 GB 大小。

使用 Whisper

在 Model Path 里面選擇你下載的模型，然后選擇 GPU 就能進(jìn)入軟件了。

之后，就可以選擇通過(guò)麥克風(fēng)實(shí)時(shí)轉(zhuǎn)換，或者使用音頻文件比如 MP3 來(lái)轉(zhuǎn)換為文字了：

青小蛙隨便測(cè)試了一個(gè)極客灣的視頻（僅下載了音頻），效果如下：

準(zhǔn)確度很高，基本上比較滿(mǎn)意。

由于是在虛擬機(jī)中測(cè)試，顯卡性能有限，所以時(shí)間不具有參考性。

不過(guò)，開(kāi)發(fā)者的測(cè)試是在裝有 GeForce 1080Ti GPU 的臺(tái)式電腦上，中型模型，3 分 24 秒語(yǔ)音使用 PyTorch 和 CUDA 轉(zhuǎn)錄需要 45 秒，但使用這個(gè)和 DirectCompute 只需要 19 秒。而 @JoeCubber 同學(xué)測(cè)試的是 11:31 分鐘的音頻，耗時(shí)1分26秒完成。

當(dāng)然，你需要有顯卡。

實(shí)在是沒(méi)想到，挖礦之后，顯卡又有了用武之地。

更新日志

更新了文檔和 GUI 中的模型源 URL

可靠性增強(qiáng)，麥克風(fēng)捕獲不太可能轉(zhuǎn)換到“停滯”狀態(tài)并丟棄音頻

注意：

需要不低于Win8.1的64位Windows

文件main.exe為命令行調(diào)用工具