优化 Python 代码以缩短运行时间可以从多个方面入手，以下是一些通用的优化策略，结合原代码包含的 PDF 下载与处理、数据提取、数据处理和可视化等功能，可按以下方式进行优化： ### 1. 并行处理 如果代码中的某些任务是相互独立的，例如多个 PDF 文件的下载和处理，可以使用并行处理来加速。Python 中的 `concurrent.futures` 模块提供了线程池和进程池，可以方便地实现并行操作。 ```python import concurrent.futures import requests import PyPDF2 import pandas as pd import matplotlib.pyplot as plt # 假设这是下载 PDF 的函数 def download_pdf(url): response = requests.get(url) with open('temp.pdf', 'wb') as f: f.write(response.content) return 'temp.pdf' # 假设这是处理 PDF 的函数 def process_pdf(pdf_path): with open(pdf_path, 'rb') as file: reader = PyPDF2.PdfReader(file) text = "" for page in reader.pages: text += page.extract_text() return text # 假设这是数据处理和可视化的函数 def process_and_visualize(data): # 这里简单示例为创建一个 DataFrame 并绘制简单图表 df = pd.DataFrame({'text_length': [len(data)]}) df.plot(kind='bar') plt.show() # 假设有多个 PDF 的 URL pdf_urls = ['url1', 'url2', 'url3'] # 使用线程池并行下载和处理 PDF with concurrent.futures.ThreadPoolExecutor() as executor: # 并行下载 PDF pdf_paths = list(executor.map(download_pdf, pdf_urls)) # 并行处理 PDF texts = list(executor.map(process_pdf, pdf_paths)) # 数据处理和可视化 for text in texts: process_and_visualize(text) ``` ### 2. 优化数据提取和处理 - **使用更高效的库**：例如，在处理 PDF 时，`PyMuPDF` 通常比 `PyPDF2` 更快。 ```python import fitz # PyMuPDF def process_pdf_fitz(pdf_path): doc = fitz.open(pdf_path) text = "" for page in doc: text += page.get_text() return text ``` - **避免不必要的循环和操作**：检查代码中是否有重复计算或不必要的操作，尽量减少循环次数。 ### 3. 缓存和复用数据 如果某些数据在多次操作中被重复使用，可以考虑缓存这些数据，避免重复计算。 ```python # 缓存数据的字典 cache = {} def get_data(url): if url in cache: return cache[url] # 下载和处理数据 pdf_path = download_pdf(url) text = process_pdf(pdf_path) cache[url] = text return text ``` ### 4. 优化可视化 如果可视化操作是性能瓶颈，可以考虑减少数据量或使用更轻量级的可视化库。例如，使用 `matplotlib` 的 `plot` 函数而不是复杂的 3D 图形。 ### 5. 代码优化 - **减少函数调用开销**：如果函数调用频繁，可以考虑将函数内联展开。 - **使用更高效的数据结构**：例如，使用 `set` 而不是 `list` 进行查找操作。 ### 6. 使用更高效的算法 对于数据处理部分，确保使用的算法是高效的。例如，在排序和查找操作中，使用 Python 内置的 `sorted()` 和 `bisect` 模块。