# Fun-ASR-MLT-Nano-2512环境部署：Ubuntu 20.04+Python 3.8+FFmpeg零依赖配置指南 ## 1. 项目概述 Fun-ASR-MLT-Nano-2512是阿里通义实验室推出的多语言语音识别大模型，支持31种语言的高精度语音识别。这个模型特别适合需要处理多语言语音场景的开发者，无论是中文、英文、日文、韩文还是粤语等方言，都能准确识别。 模型的核心特点包括： - **多语言支持**：覆盖31种语言，包括中文、英文、日文、韩文、粤语等 - **方言识别**：专门优化了方言识别能力 - **歌词识别**：对音乐歌词有很好的识别效果 - **远场识别**：在远距离和嘈杂环境下仍能保持较高准确率 - **轻量级设计**：800M参数规模，部署相对轻量 ## 2. 环境准备与系统要求 在开始部署之前，我们先确认一下系统环境要求。虽然模型支持多种环境，但为了获得最佳性能和稳定性，推荐使用以下配置： **最低系统要求**： - 操作系统：Ubuntu 20.04或更高版本 - Python版本：3.8或更高版本 - 内存：8GB以上 - 磁盘空间：至少5GB可用空间 - GPU：可选，但推荐使用（CUDA兼容显卡） **推荐配置**： - 操作系统：Ubuntu 22.04 LTS - Python：3.9或3.10 - 内存：16GB或更多 - GPU：NVIDIA显卡（8GB显存以上） - 磁盘：SSD存储，至少10GB可用空间 ## 3. 基础环境配置 ### 3.1 系统更新与依赖安装 首先更新系统并安装基础依赖： ```bash # 更新系统包列表 sudo apt-get update # 升级已安装的包 sudo apt-get upgrade -y # 安装基础编译工具和依赖 sudo apt-get install -y build-essential git curl wget # 安装Python开发环境 sudo apt-get install -y python3-dev python3-pip python3-venv ``` ### 3.2 Python环境配置 建议使用虚拟环境来管理Python依赖： ```bash # 创建项目目录 mkdir -p ~/funasr-project cd ~/funasr-project # 创建Python虚拟环境 python3 -m venv funasr-env # 激活虚拟环境 source funasr-env/bin/activate ``` ### 3.3 FFmpeg安装与配置 FFmpeg是音频处理的关键依赖，需要正确安装： ```bash # 安装FFmpeg sudo apt-get install -y ffmpeg # 验证FFmpeg安装 ffmpeg -version ``` 如果系统自带的FFmpeg版本较旧，可以通过PPA安装最新版本： ```bash # 添加FFmpeg PPA sudo add-apt-repository ppa:jonathonf/ffmpeg-4 -y sudo apt-get update sudo apt-get install -y ffmpeg ``` ## 4. 项目部署与依赖安装 ### 4.1 获取项目代码 可以通过Git克隆项目仓库： ```bash # 克隆项目（如果项目在GitHub上） git clone https://github.com/FunAudioLLM/Fun-ASR-MLT-Nano-2512.git cd Fun-ASR-MLT-Nano-2512 # 或者直接下载模型文件（如果项目不在GitHub） # wget [模型下载链接] ``` ### 4.2 安装Python依赖 安装项目所需的Python包： ```bash # 安装核心依赖 pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装其他依赖 pip install gradio transformers soundfile librosa # 如果有requirements.txt，直接安装所有依赖 pip install -r requirements.txt ``` ### 4.3 模型文件准备 确保所有必要的模型文件都已就位： ```bash # 检查项目文件结构 ls -la # 应该看到以下关键文件： # model.pt（约2.0GB） - 模型权重文件 # model.py - 模型定义（包含重要修复） # app.py - Web服务入口 # requirements.txt - 依赖列表 ``` ## 5. 关键问题修复 ### 5.1 解决model.py中的Bug 在部署过程中，你可能会遇到一个关键问题：`data_src`变量未初始化导致的推理失败。这个问题需要在model.py中进行修复： **问题位置**：model.py第368-406行 **修复前的错误代码**： ```python try: data_src = load_audio_text_image_video(...) except Exception as e: logging.error(...) # 这里使用data_src，但可能未定义 speech, speech_lengths = extract_fbank(data_src, ...) ``` **修复后的正确代码**： ```python try: data_src = load_audio_text_image_video(...) speech, speech_lengths = extract_fbank(data_src, ...) # ... 其他处理逻辑 except Exception as e: logging.error(...) continue # 跳过当前处理，继续下一个 ``` 这个修复确保了即使在异常情况下，也不会使用未初始化的变量，提高了代码的健壮性。 ## 6. 启动与验证服务 ### 6.1 启动Web服务 使用以下命令启动Gradio Web界面： ```bash # 启动服务（后台运行） cd /root/Fun-ASR-MLT-Nano-2512 nohup python app.py > /tmp/funasr_web.log 2>&1 & echo $! > /tmp/funasr_web.pid # 查看启动状态 tail -f /tmp/funasr_web.log ``` ### 6.2 验证服务运行 检查服务是否正常启动： ```bash # 查看进程状态 ps aux | grep "python app.py" # 检查端口监听 netstat -tlnp | grep 7860 # 测试服务访问 curl -I http://localhost:7860 ``` ### 6.3 访问Web界面 在浏览器中访问：`http://localhost:7860` 你应该能看到一个友好的Web界面，支持： - 上传音频文件进行识别 - 实时录音识别 - 多语言选择 - 识别结果实时显示 ## 7. 使用示例与测试 ### 7.1 Web界面使用 通过Web界面使用语音识别服务： 1. **上传音频**：点击上传按钮，选择要识别的音频文件 2. **实时录音**：点击录音按钮，直接录制语音 3. **选择语言**：根据需要选择识别语言（可选） 4. **开始识别**：点击"开始识别"按钮 5. **查看结果**：识别结果会实时显示在界面上 ### 7.2 Python API调用 你也可以通过Python代码直接调用模型： ```python from funasr import AutoModel # 初始化模型 model = AutoModel( model=".", # 模型路径 trust_remote_code=True, device="cuda:0" # 使用GPU加速 ) # 进行语音识别 res = model.generate( input=["audio.mp3"], # 音频文件路径 cache={}, batch_size=1, language="中文", # 指定语言 itn=True # 启用逆文本归一化 ) # 输出识别结果 print(res[0]["text"]) ``` ## 8. 常见问题与解决方法 ### 8.1 首次运行加载慢 **问题**：首次运行时需要加载模型，可能需要30-60秒 **解决**：这是正常现象，后续请求会很快 ### 8.2 音频格式不支持 **问题**：某些音频格式无法识别 **解决**：确保使用支持的格式（MP3、WAV、M4A、FLAC），推荐16kHz采样率 ### 8.3 GPU内存不足 **问题**：在使用GPU时出现内存不足错误 **解决**： - 尝试使用更小的batch_size - 确保GPU有足够显存（推荐4GB以上） - 或者使用CPU模式运行 ### 8.4 依赖冲突 **问题**：Python包版本冲突 **解决**： ```bash # 重新创建干净的虚拟环境 python -m venv --clear funasr-env source funasr-env/bin/activate pip install -r requirements.txt ``` ## 9. 服务管理与监控 ### 9.1 日常管理命令 ```bash # 查看服务状态 ps aux | grep "python app.py" # 查看实时日志 tail -f /tmp/funasr_web.log # 停止服务 kill $(cat /tmp/funasr_web.pid) # 重启服务 kill $(cat /tmp/funasr_web.pid) && \ nohup python app.py > /tmp/funasr_web.log 2>&1 & \ echo $! > /tmp/funasr_web.pid ``` ### 9.2 性能监控 监控服务的资源使用情况： ```bash # 查看CPU和内存使用 top -p $(cat /tmp/funasr_web.pid) # 查看GPU使用（如果有） nvidia-smi # 查看磁盘IO iotop -p $(cat /tmp/funasr_web.pid) ``` ## 10. 总结 通过本指南，你应该已经成功部署了Fun-ASR-MLT-Nano-2512语音识别模型。这个模型提供了强大的多语言语音识别能力，支持31种语言，包括各种方言和特殊场景的识别。 **关键要点回顾**： 1. **环境配置**：确保Ubuntu 20.04+、Python 3.8+和FFmpeg正确安装 2. **依赖管理**：使用虚拟环境管理Python依赖，避免冲突 3. **Bug修复**：注意修复model.py中的data_src变量初始化问题 4. **服务启动**：通过nohup后台运行Web服务 5. **使用方式**：既可以通过Web界面，也可以通过Python API调用 **下一步建议**： - 尝试不同的音频文件和语言，测试识别准确率 - 探索批量处理功能，提高处理效率 - 考虑集成到自己的应用中，实现自动化语音处理 - 监控服务性能，根据需要调整资源配置 这个模型在语音识别领域表现出色，特别是在多语言和方言识别方面。希望这个部署指南能帮助你快速上手并应用到实际项目中。 --- > **获取更多AI镜像** > > 想探索更多AI镜像和应用场景？访问 [CSDN星图镜像广场](https://ai.csdn.net/?utm_source=mirror_blog_end)，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。