### 限制 Python 程序的最大内存使用 在某些场景下，Python 程序可能因为数据处理量过大或线程堆积导致内存占用过高，从而被操作系统强制终止。为了避免这种情况，可以通过系统调用限制程序的最大内存使用，或者通过优化代码结构来控制内存增长。 #### 使用 `resource` 模块设置硬性内存限制 在 Unix/Linux 系统中，可以利用 `resource` 模块设置进程的内存上限。该方法通过 `setrlimit()` 函数限制虚拟内存（RLIMIT_AS）的最大值，超过此限制的程序将被系统终止。 ```python import resource # 设置最大内存为 100MB max_memory = 100 * 1024 * 1024 # 100MB resource.setrlimit(resource.RLIMIT_AS, (max_memory, max_memory)) # 这里写你的程序代码 ``` 此方法适用于需要对整个进程施加硬性内存限制的场景，但需注意它仅在类 Unix 系统上有效，Windows 平台不支持 [^1]。 #### 动态监控与调节线程数量以控制内存增长 对于多线程程序，尤其是生产速度远高于消费速度的情况，可以采用动态调整线程数的方式控制内存增长。具体做法是定期检测当前内存使用情况，当内存超过设定阈值时减少生产者线程数量，反之则恢复[^2]。 以下是一个基于 `psutil` 和 `threading` 的实现示例： ```python import threading import time import psutil # 内存阈值（单位：字节） MEMORY_THRESHOLD = 500 * 1024 * 1024 # 500MB # 生产者线程数量控制变量 producer_count = 5 lock = threading.Lock() def producer(): while True: with lock: # 模拟生产数据 data = [i for i in range(100000)] time.sleep(0.1) def adjust_producer_threads(): global producer_count while True: mem_usage = psutil.virtual_memory().used if mem_usage > MEMORY_THRESHOLD: with lock: producer_count = 1 else: with lock: producer_count = 5 time.sleep(10) # 启动调节线程 adjuster_thread = threading.Thread(target=adjust_producer_threads, daemon=True) adjuster_thread.start() # 启动生产者线程 threads = [] for _ in range(producer_count): t = threading.Thread(target=producer, daemon=True) t.start() threads.append(t) # 主线程保持运行 try: while True: time.sleep(1) except KeyboardInterrupt: print("程序结束") ``` 上述代码每隔 10 秒检查一次内存使用情况，并根据是否超过设定阈值来动态调整生产者线程数量，从而避免内存持续增长。 #### 优化内存使用的通用策略 除了直接限制和动态调节外，还可以从以下几个方面优化内存使用： - **使用生成器代替列表**：在处理大量数据时，使用生成器（generator）可以避免一次性加载全部数据到内存。 - **及时释放不再使用的对象**：显式删除无用变量并调用 `gc.collect()` 触发垃圾回收。 - **使用更高效的数据结构**：例如使用 NumPy 数组替代嵌套列表、使用 Pandas DataFrame 替代字典等。 - **分批次处理数据**：将大数据集拆分为多个小批次进行处理，避免一次性加载所有数据。 ###