# Fun-ASR-MLT-Nano-2512代码实例：Python API调用audio.mp3生成text字段完整示例 ## 1. 项目概述 Fun-ASR-MLT-Nano-2512是阿里通义实验室推出的多语言语音识别大模型，支持31种语言的高精度语音识别。这个模型特别适合需要处理多语言语音识别任务的开发者，无论是中文、英文、粤语、日文还是韩文，都能提供准确的识别结果。 在实际开发中，我们经常需要将语音识别功能集成到自己的应用中，而不是仅仅使用Web界面。通过Python API直接调用模型，可以实现更灵活的集成和批量处理。本文将手把手教你如何使用Python API调用Fun-ASR模型，将audio.mp3音频文件转换为文本内容。 ## 2. 环境准备与安装 ### 2.1 系统要求 在开始之前，确保你的系统满足以下基本要求： - **操作系统**: Linux (Ubuntu 20.04或更高版本) - **Python版本**: 3.8或更高版本 - **内存**: 至少8GB RAM - **磁盘空间**: 至少5GB可用空间 - **GPU**: 可选但推荐（CUDA兼容显卡） ### 2.2 安装依赖 首先安装必要的Python依赖包： ```bash # 安装Python依赖 pip install torch torchaudio transformers pip install funasr # 安装音频处理工具 sudo apt-get update sudo apt-get install -y ffmpeg ``` 如果你使用GPU加速，还需要安装CUDA版本的PyTorch： ```bash # 对于CUDA 11.8 pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118 ``` ## 3. 准备音频文件 在开始编码之前，我们需要准备一个测试用的音频文件。你可以使用自己的MP3文件，或者录制一段测试音频。 创建一个简单的测试音频： ```python # create_test_audio.py import soundfile as sf import numpy as np # 生成一个简单的测试音频（1秒的440Hz正弦波） sample_rate = 16000 duration = 1.0 # 1秒 t = np.linspace(0, duration, int(sample_rate * duration), endpoint=False) audio_data = 0.5 * np.sin(2 * np.pi * 440 * t) # 保存为WAV文件（MP3需要额外的编码器） sf.write('test_audio.wav', audio_data, sample_rate) print("测试音频已生成：test_audio.wav") ``` 运行这个脚本生成测试音频文件： ```bash python create_test_audio.py ``` ## 4. Python API调用完整示例 ### 4.1 基本调用方法 下面是一个完整的Python示例，展示如何使用Fun-ASR的Python API进行语音识别： ```python # funasr_demo.py import time from funasr import AutoModel def transcribe_audio(audio_path, language="中文"): """ 使用Fun-ASR模型转录音频文件 参数: audio_path: 音频文件路径 language: 语言类型，默认为中文 返回: 识别结果文本 """ print(f"开始加载模型...") start_time = time.time() # 初始化模型 model = AutoModel( model="FunAudioLLM/Fun-ASR-MLT-Nano-2512", trust_remote_code=True, device="cuda:0" if torch.cuda.is_available() else "cpu" ) load_time = time.time() - start_time print(f"模型加载完成，耗时: {load_time:.2f}秒") # 进行语音识别 print(f"开始识别音频: {audio_path}") recognition_start = time.time() result = model.generate( input=[audio_path], # 音频文件路径列表 cache={}, # 缓存设置 batch_size=1, # 批处理大小 language=language, # 语言设置 itn=True # 是否进行逆文本归一化 ) recognition_time = time.time() - recognition_start print(f"识别完成，耗时: {recognition_time:.2f}秒") # 提取识别结果 if result and len(result) > 0: text_result = result[0].get("text", "识别失败") print(f"识别结果: {text_result}") return text_result else: print("未获取到识别结果") return None if __name__ == "__main__": # 使用示例 audio_file = "test_audio.wav" # 替换为你的音频文件路径 transcribed_text = transcribe_audio(audio_file, language="中文") if transcribed_text: print(f"\n最终识别结果: {transcribed_text}") ``` ### 4.2 批量处理多个音频文件 如果你需要处理多个音频文件，可以使用以下批量处理示例： ```python # batch_process.py import os from funasr import AutoModel def batch_transcribe(audio_directory, output_file="results.txt"): """ 批量处理目录中的所有音频文件 参数: audio_directory: 音频文件目录路径 output_file: 结果输出文件 """ # 获取目录中的所有音频文件 audio_extensions = ['.mp3', '.wav', '.m4a', '.flac'] audio_files = [ os.path.join(audio_directory, f) for f in os.listdir(audio_directory) if os.path.splitext(f)[1].lower() in audio_extensions ] if not audio_files: print("未找到音频文件") return print(f"找到 {len(audio_files)} 个音频文件") # 初始化模型 model = AutoModel( model="FunAudioLLM/Fun-ASR-MLT-Nano-2512", trust_remote_code=True, device="cuda:0" if torch.cuda.is_available() else "cpu" ) # 处理每个音频文件 results = [] for i, audio_file in enumerate(audio_files, 1): print(f"处理文件 {i}/{len(audio_files)}: {os.path.basename(audio_file)}") try: result = model.generate( input=[audio_file], cache={}, batch_size=1, language="auto", # 自动检测语言 itn=True ) if result and len(result) > 0: text_result = result[0].get("text", "") results.append({ "file": audio_file, "text": text_result }) print(f" 结果: {text_result[:50]}...") # 显示前50个字符 else: print(" 识别失败") except Exception as e: print(f" 处理失败: {str(e)}") results.append({ "file": audio_file, "text": f"处理错误: {str(e)}" }) # 保存结果到文件 with open(output_file, 'w', encoding='utf-8') as f: for result in results: f.write(f"文件: {result['file']}\n") f.write(f"文本: {result['text']}\n") f.write("-" * 50 + "\n") print(f"处理完成，结果已保存到: {output_file}") if __name__ == "__main__": # 使用示例 audio_dir = "./audio_files" # 替换为你的音频目录 batch_transcribe(audio_dir) ``` ## 5. 高级功能与定制 ### 5.1 自定义识别参数 Fun-ASR提供了多个参数可以调整识别效果： ```python # advanced_usage.py from funasr import AutoModel def custom_transcribe(audio_path): """ 使用自定义参数进行语音识别 """ model = AutoModel( model="FunAudioLLM/Fun-ASR-MLT-Nano-2512", trust_remote_code=True, device="cuda:0" if torch.cuda.is_available() else "cpu" ) # 使用更多定制参数 result = model.generate( input=[audio_path], cache={}, batch_size=1, language="中文", # 指定语言 itn=True, # 逆文本归一化 hotword="", # 热词（优先识别特定词汇） use_timestamp=False, # 是否使用时间戳 beam_size=5, # 束搜索大小 penalty=1.0, # 长度惩罚 max_len=500, # 最大输出长度 min_len=1, # 最小输出长度 best_of=5, # 生成多个结果取最佳 temperature=0.8, # 温度参数 repetition_penalty=1.2, # 重复惩罚 top_p=0.9, # 核采样参数 top_k=50, # top-k采样 return_timestamps=False # 是否返回时间戳 ) return result[0]["text"] if result else None ``` ### 5.2 实时音频流处理 对于实时音频流处理，可以使用以下方法： ```python # stream_processing.py import pyaudio import wave import numpy as np from funasr import AutoModel class RealTimeASR: def __init__(self): self.model = AutoModel( model="FunAudioLLM/Fun-ASR-MLT-Nano-2512", trust_remote_code=True, device="cuda:0" if torch.cuda.is_available() else "cpu" ) # 音频录制参数 self.chunk = 1024 self.format = pyaudio.paInt16 self.channels = 1 self.rate = 16000 self.audio = pyaudio.PyAudio() self.stream = None def start_recording(self, output_file="recorded.wav"): """开始录制音频""" self.stream = self.audio.open( format=self.format, channels=self.channels, rate=self.rate, input=True, frames_per_buffer=self.chunk ) print("开始录音... (按Ctrl+C停止)") frames = [] try: while True: data = self.stream.read(self.chunk) frames.append(data) except KeyboardInterrupt: print("\n录音结束") # 停止并关闭流 self.stream.stop_stream() self.stream.close() # 保存录音文件 wf = wave.open(output_file, 'wb') wf.setnchannels(self.channels) wf.setsampwidth(self.audio.get_sample_size(self.format)) wf.setframerate(self.rate) wf.writeframes(b''.join(frames)) wf.close() return output_file def transcribe_recording(self, audio_file): """转录录制的音频""" result = self.model.generate( input=[audio_file], cache={}, batch_size=1, language="中文", itn=True ) return result[0]["text"] if result else None def cleanup(self): """清理资源""" self.audio.terminate() # 使用示例 if __name__ == "__main__": asr = RealTimeASR() try: audio_file = asr.start_recording() text = asr.transcribe_recording(audio_file) print(f"识别结果: {text}") finally: asr.cleanup() ``` ## 6. 常见问题与解决方案 ### 6.1 模型加载问题 **问题**: 首次运行时模型下载慢或失败 **解决方案**: ```python # 手动下载模型 from huggingface_hub import snapshot_download model_path = snapshot_download( "FunAudioLLM/Fun-ASR-MLT-Nano-2512", local_dir="./funasr-model", resume_download=True ) # 然后使用本地路径加载模型 model = AutoModel( model="./funasr-model", trust_remote_code=True, device="cuda:0" if torch.cuda.is_available() else "cpu" ) ``` ### 6.2 内存不足问题 **问题**: 处理大音频文件时内存不足 **解决方案**: ```python # 分段处理大音频文件 import librosa def process_large_audio(audio_path, segment_duration=30): """分段处理大音频文件""" # 加载音频 y, sr = librosa.load(audio_path, sr=16000) duration = len(y) / sr results = [] for start in range(0, int(duration), segment_duration): end = min(start + segment_duration, duration) segment = y[start*sr:end*sr] # 保存分段 segment_path = f"temp_segment_{start}.wav" sf.write(segment_path, segment, sr) # 识别分段 result = model.generate(input=[segment_path]) if result: results.append(result[0]["text"]) # 清理临时文件 os.remove(segment_path) return " ".join(results) ``` ### 6.3 音频格式兼容性问题 **问题**: 不支持的音频格式 **解决方案**: ```python # 音频格式转换函数 def convert_audio_format(input_path, output_path, target_format="wav"): """转换音频格式""" import subprocess if target_format.lower() == "wav": cmd = [ "ffmpeg", "-i", input_path, "-ac", "1", "-ar", "16000", # 单声道，16kHz采样率 "-y", output_path # -y 覆盖已存在文件 ] else: cmd = ["ffmpeg", "-i", input_path, "-y", output_path] try: subprocess.run(cmd, check=True, capture_output=True) return True except subprocess.CalledProcessError as e: print(f"格式转换失败: {e}") return False ``` ## 7. 总结 通过本文的完整示例，你应该已经掌握了如何使用Fun-ASR-MLT-Nano-2512的Python API进行语音识别。关键要点包括： 1. **环境配置**：正确安装依赖和设置运行环境 2. **基本调用**：使用AutoModel类进行简单的语音识别 3. **批量处理**：处理多个音频文件的高效方法 4. **高级功能**：自定义识别参数和实时处理 5. **问题解决**：常见问题的解决方案 Fun-ASR-MLT-Nano-2512作为一个支持多语言的语音识别模型，在实际应用中表现优秀。通过Python API集成，你可以轻松地将语音识别功能添加到自己的应用中，无论是处理中文、英文还是其他支持的语言。 记得在实际使用时，根据你的具体需求调整参数，特别是对于不同语言和音频质量的情况，可能需要调整识别参数来获得最佳效果。 --- > **获取更多AI镜像** > > 想探索更多AI镜像和应用场景？访问 [CSDN星图镜像广场](https://ai.csdn.net/?utm_source=mirror_blog_end)，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。