### 使用 Python 提取视频中的音频并转换为特征数据 要实现从视频中提取音频并将音频转换为特征数据的功能，可以借助多个强大的 Python 库来完成这一目标。以下是具体方法： #### 1. **提取视频中的音频** `pydub` 是一个简单易用的库，能够方便地操作音频文件。然而，它本身不支持直接处理视频文件，因此需要依赖 `ffmpeg` 来提取视频中的音频部分。 ```python from pydub import AudioSegment import os def extract_audio_from_video(video_file, output_audio_file="output_audio.wav"): audio = AudioSegment.from_file(video_file) # 自动检测输入格式 audio.export(output_audio_file, format="wav") # 导出为 WAV 格式以便后续处理 ``` 此代码片段利用了 `AudioSegment.from_file()` 方法自动识别视频文件格式，并通过调用 `.export()` 将其导出为标准的 WAV 文件[^2]。 --- #### 2. **加载音频数据** 一旦音频被成功提取出来，就可以使用 `librosa` 或者 `scipy` 加载音频数据用于进一步分析。 - 如果选择 `librosa`，可以通过以下方式加载音频： ```python import librosa def load_audio_librosa(audio_file): y, sr = librosa.load(audio_file, sr=None) # sr=None 表示保持原始采样率 return y, sr ``` 此处，`y` 是一维 NumPy 数组表示音频信号的时间序列，而 `sr` 则代表采样率[^1]。 - 若采用 `scipy.io.wavefile`，可按如下方式进行加载： ```python from scipy.io import wavfile def load_audio_scipy(audio_file): sample_rate, data = wavfile.read(audio_file) return data, sample_rate ``` 这两种方法各有优劣：`librosa` 更适合复杂的音频处理任务；而 `scipy` 的优势在于速度更快且更轻量级[^1]。 --- #### 3. **计算音频特征** 为了将音频转化为有意义的数据形式供机器学习模型训练或其他用途，通常会计算一些常见的声学特征。下面列举了几种常用的技术及其对应的函数实现： - **梅尔频率倒谱系数 (MFCC)**: ```python mfccs = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13) # 计算前13个MFCC分量 print(mfccs.shape) # 输出形状应类似于(n_mfcc, t)，其中t是时间帧数 ``` - **频谱对比度**: ```python spectral_contrast = librosa.feature.spectral_contrast(S=np.abs(librosa.stft(y)), sr=sr) print(spectral_contrast.shape) # 形状通常是(7, t) ``` 这些特征可以帮助捕捉声音的不同属性，比如音高、节奏以及语调变化等。 --- #### 4. **综合流程实例** 最后提供一段完整的脚本作为参考，展示如何串联以上各环节形成端到端的工作流： ```python # 综合工作流 video_input = "example.mp4" audio_output = "extracted_audio.wav" # Step A: Extract audio from video using PyDub and FFmpeg extract_audio_from_video(video_input, audio_output) # Step B: Load the extracted audio with LibROSA or SciPy data, sr = load_audio_librosa(audio_output) # Step C: Compute features such as MFCCs on loaded audio features = librosa.feature.mfcc(y=data, sr=sr, n_mfcc=13) print(f"Features shape: {features.shape}") ``` 注意，在运行该程序之前需确认已安装必要的外部工具（如FFmpeg），并且所有所需的Python包均已正确配置好环境路径[^2]。 ---