### 使用Python实现m3u8格式网页视频的爬取与下载 #### 准备工作 为了能够顺利地完成m3u8格式视频的抓取，需要先准备好必要的工具和环境。这包括但不限于安装`requests`, `re`以及可能需要用到的其他第三方库[^3]。 #### 获取m3u8文件链接 通过浏览器开发者工具中的网络请求监控功能定位到实际播放使用的m3u8文件路径是非常重要的一步。通常情况下，在加载含有在线视频资源的页面时，可以通过按下F12键开启调试窗口并切换至“Network”标签页来追踪这些动态产生的HTTP请求。当检测到`.m3u8`扩展名或类似的URL模式时，则表明找到了目标地址[^5]。 #### 编写函数获取m3u8列表文件 下面展示了一个简单的例子用于说明如何定义一个名为`get_m3u8_list()`的方法，此方法接收参数为包含m3u8清单文档位置的字符串形式的URL，并返回解码后的JSON对象及其对应的标题名称： ```python import json import re import requests def get_m3u8_list(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', 'Accept-Language': 'en-US,en;q=0.9' } response = requests.get(url, headers=headers) match_result = re.search(r'window\.pageInfo\s*=\s*window\.videoInfo\s*=(.*?);', response.text) if not match_result: raise ValueError("Failed to extract video information") info_str = match_result.group(1).strip() try: parsed_info = json.loads(json.loads(info_str)['currentVideoInfo']['ksPlayJson']) m3u8_url = parsed_info['adaptationSet'][0]['representation'][0]['url'] title = json.loads(info_str)['title'] return m3u8_url, title except KeyError as e: print(f"Error parsing JSON: {e}") return None, None ``` 这段代码实现了从特定结构化的HTML源码中提取出嵌套于JavaScript变量内的媒体信息，并进一步解析得到确切的.m3u8文件的位置及影片的名字[^2]。 #### 下载TS片段并将它们合并成完整的MP4文件 一旦获得了指向m3u8索引文件的有效链接后，下一步便是读取该文件内容以识别所有的分片（即.ts文件），接着逐个下载每一个分片直至全部收集完毕。最后一步则是利用FFmpeg或其他类似软件将所有已获得的小段落拼接起来形成最终可播放版本的多媒体档案[^1]。 以下是简化版的脚本框架供参考： ```python from pathlib import Path import os import subprocess def download_ts_files(m3u8_url, output_dir='downloads'): # 创建保存目录 save_path = Path(output_dir) save_path.mkdir(parents=True, exist_ok=True) # 请求m3u8文件 resp = requests.get(m3u8_url) lines = [line.strip() for line in resp.content.decode().split('\n')] ts_urls = [] base_url = '/'.join(m3u8_url.split('/')[:-1]) + '/' for line in lines: if line.endswith('.ts'): full_url = base_url + line ts_urls.append(full_url) filenames = [] for idx, url in enumerate(ts_urls): file_name = f"{idx}.ts" with open(save_path / file_name, "wb") as out_file: res = requests.get(url) out_file.write(res.content) filenames.append(str(save_path / file_name)) merge_command = ['ffmpeg', '-i', 'concat:'+'|'.join(filenames), '-c', 'copy', str(save_path/'output.mp4')] process = subprocess.Popen(merge_command, stdout=subprocess.PIPE, stderr=subprocess.PIPE) _, error_msg = process.communicate() if process.returncode != 0: print(error_msg.decode()) exit(-1) if __name__ == "__main__": m3u8_link, _ = get_m3u8_list('http://example.com/video_page') if m3u8_link is not None: download_ts_files(m3u8_link) ``` 上述示例展示了基本流程，但在真实环境中还需要考虑更多细节处理，比如错误重试机制、并发控制等优化措施。