### 使用集成显卡加载大模型进行推理 在本地环境中使用集成显卡（如 Intel 的 iGPU 或 AMD 的 APU 集成显卡）运行大模型时，由于这些设备通常不具备专用的 GPU 加速功能，因此需要依赖 CPU 和高效的优化技术来完成推理任务。以下是具体的方法和注意事项： #### 1. **选择适合的模型** 为了适应集成显卡有限的计算能力和内存容量，应优先选用较小规模的预训练模型，例如 Qwen-1.8B[^2]或其他轻量化的变体。 #### 2. **安装必要的库** 确保安装了支持 CPU 推理的相关 Python 库版本： ```bash pip install torch==2.1.0 transformers==4.38.1 accelerate optimum bitsandbytes ``` 其中 `bitsandbytes` 是用于量化操作的核心工具，而 `accelerate` 和 `optimum` 则提供了额外的加速选项。 #### 3. **设置设备映射** 通过指定 `device_map="auto"` 参数让 PyTorch 自动分配张量至可用硬件资源；对于纯 CPU 场景，则需手动定义为 `"cpu"`。 ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch model_name_or_path = "your_model_path" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained( model_name_or_path, device_map={"": "cpu"}, # 强制全部放置于CPU上 load_in_8bit=True # 启用INT8量化以节约内存 [^1] ) ``` #### 4. **应用量化技术** 采用 INT8 或更低精度（如 INT4）对模型权重实施压缩处理，在几乎不损失准确性前提下大幅削减存储需求[^1][^2]。 #### 5. **调整批处理配置** 针对低功耗平台适当缩小批量尺寸有助于缓解瞬时负载峰值带来的影响。 ```python inputs = tokenizer(["你好"], return_tensors="pt", padding=True).to('cpu') outputs = model.generate(**inputs, max_new_tokens=64) # 控制生成长度不超过必要范围 [^3] print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` #### 6. **其他优化措施** - 实施 Prompt 截断以及严格限定输出序列的最大长度可进一步加快响应速度； - 定期清除无用对象并通过调用 `torch.cuda.empty_cache()` 来释放被占有的临时缓冲区 (尽管此处主要面向独立图形处理器)[^3]。 ---