### Python视频生成代码实现详解 下面我将基于多个技术方案，通过表格对比和具体代码示例，全面介绍Python生成视频的实现方法： | 生成类型 | 核心库/工具 | 主要功能 | 适用场景 | |---------|------------|---------|----------| | 幻灯片视频 | moviepy | 图片/动图+音频合成 | 相册视频、宣传片 | | 文本生成视频 | CogVideoX-2b | AI文本转视频 | AI创作、短视频生成 | | API调用生成 | ANIMATEDIFF PRO | HTTP接口调用 | 分布式视频生成 | | 字幕生成 | whisper+FFmpeg | 语音识别生成字幕 | 视频后期处理 | | 图片转视频 | OpenCV/FFmpeg | 图片序列转视频 | 简单视频制作 | #### 一、幻灯片式视频生成（基于moviepy） ```python from moviepy.editor import * import os def create_slideshow_video(image_folder, audio_file, output_path, duration_per_image=3): """ 创建幻灯片视频 :param image_folder: 图片文件夹路径 :param audio_file: 背景音频文件路径 :param output_path: 输出视频路径 :param duration_per_image: 每张图片显示时长(秒) """ # 获取所有图片文件 image_files = [f for f in os.listdir(image_folder) if f.lower().endswith(('.png', '.jpg', '.jpeg', '.gif'))] clips = [] for image_file in image_files: image_path = os.path.join(image_folder, image_file) # 处理静态图片 if image_file.lower().endswith(('.png', '.jpg', '.jpeg')): clip = ImageClip(image_path).set_duration(duration_per_image) # 处理动图 elif image_file.lower().endswith('.gif'): clip = VideoFileClip(image_path) clips.append(clip) # 拼接所有视频片段 final_clip = concatenate_videoclips(clips, method="compose") # 添加背景音乐 audio_clip = AudioFileClip(audio_file) final_clip = final_clip.set_audio(audio_clip) # 输出视频 final_clip.write_videofile(output_path, fps=24, codec='libx264') # 释放资源 final_clip.close() for clip in clips: clip.close() # 使用示例 if __name__ == "__main__": create_slideshow_video( image_folder="./images", audio_file="./background_music.mp3", output_path="./output_slideshow.mp4", duration_per_image=5 ) ``` **关键技术点说明：** - `ImageClip` 用于处理静态图片，可设置显示时长 - `VideoFileClip` 可处理GIF动图，保留原始动画效果 - `concatenate_videoclips` 实现多片段无缝拼接 - 音频与视频的同步设置确保音画同步 [ref_1] #### 二、AI文本生成视频（基于CogVideoX-2b） ```python import torch from transformers import CogVideoXProcessor, CogVideoXForConditionalGeneration from PIL import Image import warnings warnings.filterwarnings("ignore") def setup_cogvideox_model(): """初始化CogVideoX-2b模型""" # 检查GPU可用性 device = "cuda" if torch.cuda.is_available() else "cpu" # 加载处理器和模型 processor = CogVideoXProcessor.from_pretrained("THUDM/CogVideoX-2b") model = CogVideoXForConditionalGeneration.from_pretrained( "THUDM/CogVideoX-2b", torch_dtype=torch.float16, device_map="auto" ) return processor, model, device def generate_video_from_text(prompt, output_path="generated_video.mp4"): """ 从文本生成视频 :param prompt: 文本描述 :param output_path: 输出视频路径 """ processor, model, device = setup_cogvideox_model() # 编码提示词 inputs = processor( text=[prompt], return_tensors="pt" ).to(device) # 生成参数配置 generation_kwargs = { "num_inference_steps": 50, # 推理步数 "guidance_scale": 7.5, # CFG引导尺度 "max_sequence_length": 2048, # 最大序列长度 "height": 320, # 视频高度 "width": 512, # 视频宽度 "num_frames": 16, # 帧数 } # 执行视频生成 print("开始生成视频...") with torch.no_grad(): generated_video = model.generate(**inputs, **generation_kwargs) # 保存生成的视频 video_frames = generated_video.frames[0] video_frames[0].save( output_path, save_all=True, append_images=video_frames[1:], duration=100, # 帧间隔(毫秒) loop=0 ) print(f"视频生成完成: {output_path}") # 使用示例 if __name__ == "__main__": prompt = "一只可爱的猫咪在花园里追逐蝴蝶" generate_video_from_text(prompt, "cat_video.gif") ``` **参数优化建议：** - `num_inference_steps`: 值越大质量越好但耗时更长（推荐50-100） - `guidance_scale`: 控制文本遵循度（推荐7.5-15） - `num_frames`: 生成视频的帧数，影响视频时长 [ref_4] #### 三、API调用视频生成（ANIMATEDIFF PRO） ```python import requests import json import time import os class AnimatedDiffClient: def __init__(self, base_url="http://localhost:5000"): self.base_url = base_url self.session = requests.Session() def submit_generation_task(self, prompt, config=None): """提交视频生成任务""" default_config = { "prompt": prompt, "negative_prompt": "低质量,模糊,失真", "width": 512, "height": 512, "num_frames": 16, "num_inference_steps": 30, "guidance_scale": 7.5 } if config: default_config.update(config) # 提交生成请求 response = self.session.post( f"{self.base_url}/generate", json=default_config ) if response.status_code == 200: task_id = response.json().get("task_id") print(f"任务提交成功, ID: {task_id}") return task_id else: raise Exception(f"任务提交失败: {response.text}") def poll_task_status(self, task_id, interval=5, timeout=300): """轮询任务状态""" start_time = time.time() while time.time() - start_time < timeout: try: response = self.session.get(f"{self.base_url}/status/{task_id}") status_data = response.json() if status_data.get("status") == "completed": return status_data.get("result_url") elif status_data.get("status") == "failed": raise Exception(f"任务失败: {status_data.get('error')}") else: print(f"任务进行中... 进度: {status_data.get('progress', 0)}%") time.sleep(interval) except requests.RequestException as e: print(f"轮询请求失败: {e}") time.sleep(interval) raise Exception("任务超时") def download_result(self, result_url, output_path): """下载生成结果""" response = self.session.get(result_url, stream=True) with open(output_path, 'wb') as f: for chunk in response.iter_content(chunk_size=8192): f.write(chunk) print(f"结果下载完成: {output_path}") # 使用示例 def generate_video_via_api(prompt, output_path="api_generated.gif"): """通过API生成视频的完整流程""" client = AnimatedDiffClient() try: # 1. 提交任务 task_id = client.submit_generation_task(prompt) # 2. 轮询状态 result_url = client.poll_task_status(task_id) # 3. 下载结果 client.download_result(result_url, output_path) return True except Exception as e: print(f"视频生成失败: {e}") return False # 实际调用 if __name__ == "__main__": success = generate_video_via_api( "星空下的浪漫夜晚，流星划过天际", "starry_night.gif" ) ``` **错误处理机制：** - 网络异常自动重试 - 任务状态实时监控 - 超时自动终止 [ref_3] #### 四、视频字幕自动生成 ```python import whisper import ffmpeg import os from datetime import timedelta def extract_audio_from_video(video_path, audio_path): """从视频中提取音频""" try: ( ffmpeg .input(video_path) .output(audio_path, acodec='pcm_s16le', ac=1, ar='16k') .run(quiet=True, overwrite_output=True) ) return True except ffmpeg.Error as e: print(f"音频