### 使用Python编写爬虫程序抓取网页视频 #### 抓取网页视频流程概述 为了实现这一目标，可以按照如下方法操作： - **获取m3u8文件链接**：通过分析页面源码或开发者工具中的网络请求记录来定位到`.m3u8`文件的位置[^1]。 - **解析m3u8文件并下载TS片段**：读取`.m3u8`文件的内容，提取其中所有的`.ts`分片链接，并逐个下载这些分片。对于简单的场景可以直接遍历下载；而对于更高效的方式，则可采用多线程或多进程加速下载过程。 - **合并TS片段为MP4格式**：当所有`.ts`片段都已成功下载之后，利用FFmpeg等工具将它们按顺序拼接起来形成最终的`.mp4`文件[^2]。 #### 示例代码展示 下面是一份基于上述思路编写的简化版本Python脚本，用于说明具体的操作方式： ```python import requests from concurrent.futures import ThreadPoolExecutor import subprocess import os def fetch_m3u8_content(url): response = requests.get(url) content = response.text.strip() return content.splitlines() def download_ts_file(ts_url, output_dir='.'): filename = ts_url.rsplit('/', 1)[-1] filepath = f"{output_dir}/{filename}" with open(filepath, 'wb') as file: resp = requests.get(ts_url) file.write(resp.content) print(f"Downloaded {filepath}") def merge_ts_files_to_mp4(output_filename='output', input_directory='.'): files = sorted([f for f in os.listdir(input_directory) if f.endswith('.ts')]) listfile_name = './list.txt' with open(listfile_name, 'w') as listfile: for fname in files: abs_fname = os.path.abspath(fname) listfile.write(f"file '{abs_fname}'\n") command = [ 'ffmpeg', '-y', '-safe', '0', '-f', 'concat', '-i', listfile_name, '-c', 'copy', f'{output_filename}.mp4' ] try: result = subprocess.run(command, check=True) print("Merge completed successfully.") except Exception as e: print(e) if __name__ == '__main__': m3u8_url = input('请输入m3u8地址:') video_title = input('请输入视频名称:') lines = fetch_m3u8_content(m3u8_url) base_url = '/'.join(m3u8_url.split('/')[:-1]) + '/' # 创建临时目录保存.ts文件 temp_folder = "./temp" if not os.path.exists(temp_folder): os.makedirs(temp_folder) executor = ThreadPoolExecutor(max_workers=5) tasks = [] for line in lines: stripped_line = line.strip() if not (stripped_line.startswith('#') or stripped_line == ""): full_url = base_url + stripped_line task = executor.submit(download_ts_file, full_url, temp_folder) tasks.append(task) # 等待所有任务完成 _ = [task.result() for task in tasks] # 合并.ts文件至.mp4 merge_ts_files_to_mp4(video_title, temp_folder) ``` 此段代码实现了从给定的`.m3u8` URL开始，自动处理整个下载和转换的过程。注意，在实际应用中可能还需要考虑更多细节问题，比如错误重试机制、代理设置以及合法合规性等问题。