### 编写用于抓取 m3u8 文件的爬虫程序 为了实现这一目标，可以采用 Python 结合 `requests` 和 `m3u8` 库来完成。下面是一个详细的方案说明以及相应的代码实例。 #### 准备工作 确保安装必要的库： ```bash pip install requests m3u8 ``` #### 获取 M3U8 文件并解析 TS 列表 M3U8 是一种播放列表文件格式，通常用来定义媒体资源的位置及其片段化信息。当遇到加密内容时，则需额外处理密钥(key)[^1]。 对于未加密的内容，可以直接获取 `.m3u8` 文件中的所有分片链接；而对于加密内容，在下载前还需先取得解密所需的 key 文件[^2]。 #### 下载 M3U8 及其关联资源 通过发送 HTTP 请求至指定 URL 来读取远程服务器上的 M3U8 文件，并利用第三方库对其进行解析以提取出各部分数据： ```python import os import requests from urllib.parse import urljoin, urlparse from concurrent.futures import ThreadPoolExecutor import m3u8 def fetch_m3u8(url): response = requests.get(url) playlist = m3u8.loads(response.text) base_uri = '{uri.scheme}://{uri.netloc}'.format(uri=urlparse(url)) segments_urls = [] keys_info = [] for segment in playlist.segments: full_segment_url = urljoin(base_uri, segment.uri) segments_urls.append(full_segment_url) if segment.key and not any(k['method'] == segment.key.method and k['url'] == segment.key.uri for k in keys_info): keys_info.append({ 'method': segment.key.method, 'url': urljoin(base_uri, segment.key.uri), 'iv': segment.key.iv }) return {'segments': segments_urls, 'keys': keys_info} ``` 此函数接收一个指向 M3U8 文件的 URL 参数，返回字典形式的结果集，其中包含两个键：一个是存储着每一片段绝对路径的列表 `'segments'` ，另一个则是有关于任何已发现密钥的信息集合 `'keys'` 。 #### 并行下载 TS 片段与 Key 文件 考虑到效率问题，建议并发执行多个请求操作以便加速整个过程。这里使用多线程池来进行批量下载任务管理： ```python def download_file(url, output_path=None): local_filename = url.split('/')[-1].split('?')[0] with requests.get(url, stream=True) as r: r.raise_for_status() file_dir = os.path.dirname(output_path or '') if file_dir != '' and not os.path.exists(file_dir): os.makedirs(file_dir) with open(os.path.join('.', (output_path or local_filename)), 'wb') as f: for chunk in r.iter_content(chunk_size=8192): f.write(chunk) def parallel_download(urls, target_folder='.', prefix=''): futures = {} downloaded_files = [] with ThreadPoolExecutor(max_workers=5) as executor: for idx, u in enumerate(urls): future = executor.submit(download_file, u, os.path.join(target_folder, f"{prefix}{idx}.ts")) futures[future] = u for fut in futures: try: fut.result(timeout=60*5) # 设置合理的超时时间 downloaded_files.append(fut) except Exception as e: print(f"Failed to download {futures[fut]} due to error: ", str(e)) return downloaded_files ``` 上述方法实现了对给定 URL 集合内的对象实施异步加载的功能，并支持自定义保存位置及命名规则。 #### 处理加密视频流 如果所要抓取的目标视频被 AES 加密保护，则需要事先调用之前提到过的 `fetch_m3u8()` 方法获得对应的 key 数据，之后再按照特定算法对接收到的数据包进行解码转换。这部分逻辑可以根据实际情况灵活调整。 #### 合并 TS 文件成 MP4 一旦完成了全部片段的收集工作，下一步就是把它们组合起来形成最终成品。这一步骤可通过 FFmpeg 工具轻松达成： ```shell ffmpeg -i "concat:file_0.ts|file_1.ts|..." -c copy output.mp4 ``` 或者借助 Python 调用子进程的方式自动化该流程： ```python import subprocess def merge_ts_to_mp4(ts_list, output_name="output"): input_option = '|'.join([str(i)+".ts" for i in range(len(ts_list))]) command = ['ffmpeg', '-y', '-safe', '0', '-f', 'concat', '-protocol_whitelist', 'file,http,tcp,crypto', '-i', f"concat:{input_option}", '-bsf:a', 'aac_adtstoasc', '-c', 'copy', f'{output_name}.mp4'] process = subprocess.run(command, check=True) ``` 综上所述，以上即为一套较为完整的针对 M3U8 流式传输协议下多媒体资源抓取的技术解决方案概述。