### 安装与配置 在使用 Python 进行 Whisper 语音识别之前，需要确保正确安装相关库和依赖项。Whisper 主要依赖于 PyTorch 和 FFmpeg。PyTorch 是深度学习框架，而 FFmpeg 负责音频格式的转换[^3]。 1. **安装 Whisper** 使用 pip 安装 Whisper 库： ```bash pip install openai-whisper ``` 2. **安装 PyTorch** 根据你的系统环境选择合适的 PyTorch 版本进行安装，通常可以通过以下命令安装最新版本： ```bash pip install torch ``` 3. **安装 FFmpeg** 在 Linux 系统上，可以使用 apt-get 或 yum 安装；在 macOS 上，可以使用 Homebrew 安装；Windows 用户可以从官网下载并安装。 ```bash # Ubuntu/Debian sudo apt-get install ffmpeg ``` ### 模型选择与加载 Whisper 提供了多种模型大小以适应不同的硬件条件和精度需求。模型越大，识别准确率越高，但处理时间也会相应增加[^1]。可用的模型包括 `'tiny.en'`, `'tiny'`, `'base.en'`, `'base'`, `'small.en'`, `'small'`, `'medium.en'`, `'medium'`, `'large-v1'`, `'large-v2'`, `'large-v3'`, `'large'`[^5]。 加载模型时，建议指定缓存目录以便管理模型文件： ```python import whisper # 指定模型缓存路径 cache_dir = "./whisper_ckpt/" # 加载 medium 模型 model = whisper.load_model("medium", download_root=cache_dir) ``` ### 语音识别实现 #### 基础识别 基础的语音识别功能可以通过简单的几行代码实现。以下是一个基本示例，展示如何对一个音频文件进行转录： ```python import whisper # 加载 base 模型 model = whisper.load_model("base") # 对音频文件进行转录 result = model.transcribe("zh.wav") print(result['text']) ``` #### 多语言支持与繁体转简体 Whisper 支持多语言识别，并且可以在识别完成后将繁体中文转换为简体中文。例如，在识别中文音频时，可以指定语言参数 `language='Chinese'` 来提高识别准确性[^1]。 此外，如果识别结果是繁体中文，可以使用 `opencc` 库将其转换为简体中文： ```python import whisper import opencc # 初始化 OpenCC 转换器（繁体转简体） m_cc = opencc.OpenCC('t2s') # 加载 medium 模型 model = whisper.load_model("medium", download_root="./whisper_ckpt/") # 对音频文件进行转录 result = model.transcribe("test.wav") # 输出识别的语言和文本内容 print("language:", result["language"]) print("text:", result["text"]) # 逐句打印并转换为简体中文 for ii in range(len(result["segments"])): m_ = result["segments"][ii] m_text = m_["text"] m_text = m_cc.convert(m_text) # 转换为简体 print(f" [{ii}] {m_text}") ``` ### 实时录音识别 除了对已有的音频文件进行识别外，还可以结合麦克风实时录音并进行语音识别。这需要额外的库如 `sounddevice` 和 `numpy` 来捕获音频流，并保存为临时文件后交给 Whisper 进行处理： ```python import sounddevice as sd import numpy as np import scipy.io.wavfile as wav import whisper # 设置录音参数 fs = 16000 # 采样率 seconds = 5 # 录音时长 # 开始录音 myrecording = sd.rec(int(seconds * fs), samplerate=fs, channels=1) sd.wait() # 等待录音完成 # 保存录音为 WAV 文件 wav.write('output.wav', fs, myrecording) # 加载模型并进行转录 model = whisper.load_model("base") result = model.transcribe("output.wav") print(result['text']) ``` ### API 调用方式（OpenAI） 如果你希望通过 OpenAI 的 API 使用 Whisper，可以使用 `openai` 库来调用云端服务。这种方式适合没有足够本地计算资源的情况： ```python import openai # 设置 API 密钥 openai.api_key = 'your_API_Key' # 打开音频文件 file = open("openai.mp3", "rb") # 调用 Whisper-1 模型进行转录 transcription = openai.Audio.transcribe("whisper-1", file) # 调用 Whisper-1 模型进行翻译（例如英文转中文） translation = openai.Audio.translate("whisper-1", file) print(transcription, translation) ``` ### 性能优化与注意事项 1. **模型大小选择**：根据硬件性能选择合适的模型大小。对于普通 PC，推荐使用 `base` 或 `small` 模型以获得较好的平衡性[^1]。 2. **GPU 加速**：确保已安装 CUDA 兼容的 PyTorch 版本，以利用 GPU 提升推理速度。 3. **FP16 推理**：在某些情况下启用 FP16 推理可以加快处理速度，但在部分设备上可能导致精度下降。可通过设置 `fp16=False` 来禁用它[^4]。 4. **语言指定**：明确指定 `language` 参数有助于提高特定语言的识别准确率，尤其是在非英语环境下。 ---