如何在本地把语音转文字提速4倍：faster-whisper安装与调参完整指南
如何在本地把语音转文字提速4倍faster-whisper安装与调参完整指南【免费下载链接】faster-whisperFaster Whisper transcription with CTranslate2项目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisperfaster-whisper 是一个基于 CTranslate2 推理引擎的本地语音识别库重写了 OpenAI 的 Whisper识别精度不变速度最高提升 4 倍内存占用显著下降还支持 8 位量化。适合想在本地离线做语音转文字、不想调用云端 API 的开发者和团队。 3 步装好并跑出第一段文字环境要求只有一条Python 3.9 及以上。不用像原版 Whisper 那样先装 FFmpeg它用 PyAV 解码音频FFmpeg 库已打包在依赖里。pip install faster-whisper装完直接写代码。下面这段是最小可用示例能跑通音频文件 → 带时间戳的文本from faster_whisper import WhisperModel # 没有显卡就把 device 改成 cpu、compute_type 改成 int8 model WhisperModel(large-v3, devicecuda, compute_typefloat16) segments, info model.transcribe(audio.mp3, beam_size5) print(检测到的语言:, info.language, 概率:, round(info.language_probability, 2)) for segment in segments: print(f[{segment.start:.2f}s - {segment.end:.2f}s] {segment.text})几个新手最容易忽略的点首次运行会联网下载模型WhisperModel(large-v3)这类按尺寸加载时对应的 CTranslate2 模型会自动从 Hugging Face 拉取之后的运行走本地缓存。segments是个生成器调用transcribe后并不会立刻开始识别只有你for循环遍历或执行list(segments)时才会真正跑起来。想强制跑完就segments list(segments)。不指定语言时会自动检测默认用音频前 30 秒判断语种语种确定的场景直接传languagezh之类更稳。两个常用增强参数vad_filterTrue会先用内置的 Silero VAD 滤掉无语音片段默认只切除超过 2 秒的静音可用vad_parametersdict(min_silence_duration_ms500)调敏感word_timestampsTrue则能在segment.words里拿到每个单词的起止时间。 什么硬件选什么参数参数怎么选基本由机器决定。官方基准同一段 13 分钟音频用 large-v2 在 GPU 上跑fp16 约 1 分 03 秒显存约 4.5 GB改 int8 后 59 秒、显存降到约 2.9 GB。你的设备模型devicecompute_type说明显存充足的 NVIDIA 显卡large-v3 或 turbocudafloat16精度优先批量处理文件时换用BatchedInferencePipelinebatch_size16GPU 基准里 13 分钟音频可压到 17 秒显存有限的显卡medium 或 large-v3cudaint8_float16混合量化显存占用明显下降没有显卡的笔记本/服务器small 或 basecpuint8CPU 基准里 small 模型从 fp32 的 2 分 37 秒降到 1 分 42 秒内存从 2.3 GB 降到 1.5 GB补充几条CPU 线程数默认 4 线程。可以改环境变量OMP_NUM_THREADS4 python your_script.py或在构造WhisperModel时传cpu_threads后者优先级更高。多 GPUdevice_index可以传列表如[0, 1]把模型放到多卡配合num_workers让多线程调用transcribe时真正并行。蒸馏模型distil-large-v3与 faster-whisper 兼容官方建议搭配beam_size5, languageen, condition_on_previous_textFalse使用官方 GPU 基准里它比 transformers 实现快约一半WER 还略低。⚠️ 踩坑记录三个高频问题1. 加载模型时报 cuBLAS / cuDNN 相关错误原因最新版 ctranslate2 只支持 CUDA 12 cuDNN 9环境里的 NVIDIA 库版本对不上。 解法CUDA 11 环境执行pip install --force-reinstall ctranslate23.24.0CUDA 12 但只有 cuDNN 8 则降到ctranslate24.4.0用 Docker 最省事仓库的 docker/Dockerfile 基于nvidia/cuda:12.3.2-cudnn9-runtime-ubuntu22.04开箱即用。2. 调用 transcribe 后程序卡住没有任何输出原因segments是生成器不遍历就不执行。 解法segments list(segments)或者直接在for循环里消费。3. 显存或内存不够用OOM原因大模型 高精度 大 beam_size 叠加。 解法按优先级依次尝试——换小一号的模型large-v3 → medium → small把 compute_type 降到 int8 系调小beam_size默认 5可降到 1。另外提一句公平对比和其他 Whisper 实现比速度时确认 beam_size、CPU 线程数一致否则数字没有意义。 延伸阅读源码和脚本都在仓库里按需查阅模型封装与全部transcribe参数定义faster_whisper/transcribe.pyVAD 参数说明与默认值faster_whisper/vad.py音频解码逻辑PyAV 封装faster_whisper/audio.py性能与 WER 基准测试脚本benchmark/自训练模型转换安装转换依赖后用ct2-transformers-converter --model 模型名 --output_dir 目录 --quantization float16即可把 Transformers 格式的 Whisper 模型含微调模型转成本库可用的 CTranslate2 格式之后直接WhisperModel(本地目录路径)加载。社区常用扩展WhisperX说话人分离 更精确的词级时间戳、whisper-ctranslate2命令行客户端、WhisperLive准实时转写。需要源码时git clone https://gitcode.com/GitHub_Trending/fa/faster-whisper【免费下载链接】faster-whisperFaster Whisper transcription with CTranslate2项目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisper创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考