### 3.1 模型序列化与本地加载 除了通过 API 或专用库调用大模型，还可以将模型以序列化形式保存并在本地加载运行。例如，使用 `dill` 或 `cloudpickle` 保存和加载包含复杂结构的模型对象。 ```python import dill # 保存模型 with open('model.pkl', 'wb') as f: dill.dump(model, f) # 加载模型 with open('model.pkl', 'rb') as f: loaded_model = dill.load(f) ``` 这种方式适用于本地部署和离线推理，尤其在模型结构较为复杂、包含自定义函数时表现良好[^1]。 ### 3.2 ONNX 格式与推理引擎 ONNX（Open Neural Network Exchange）提供了一种跨框架的模型表示方式，允许将模型导出为标准格式，并在不同推理引擎上运行。例如，使用 `onnxruntime` 加载 ONNX 模型进行推理。 ```python import onnx import onnxruntime as ort # 导出为 ONNX 格式（假设 model 是 PyTorch 模型） dummy_input = torch.randn(1, 10) torch.onnx.export(model, dummy_input, "model.onnx") # 使用 ONNX Runtime 推理 ort_session = ort.InferenceSession("model.onnx") outputs = ort_session.run( None, {'input': dummy_input.numpy()} ) ``` 该方法支持多种模型格式转换，便于在不同框架间迁移和部署[^1]。 ### 3.3 模型嵌入与本地执行 对于轻量级模型，可以将其嵌入到 Python 程序中，作为字节码或结构化数据直接执行。例如，使用 TensorFlow Lite（TFLite）模型进行本地推理。 ```python import tflite_runtime.interpreter as tflite # 加载 TFLite 模型 interpreter = tflite.Interpreter(model_path="model.tflite") interpreter.allocate_tensors() # 获取输入输出张量 input_details = interpreter.get_input_details() output_details = interpreter.get_output_details() # 设置输入并运行推理 interpreter.set_tensor(input_details[0]['index'], input_data) interpreter.invoke() output_data = interpreter.get_tensor(output_details[0]['index']) ``` 这种方式适用于资源受限的设备，如嵌入式系统或移动端，能够在本地高效执行模型推理[^3]。 ### 3.4 模型编译与优化工具 使用如 `TVM`、`TensorRT` 等工具对模型进行编译和优化，使其在特定硬件上高效运行。这些工具可以将模型转换为高效的中间表示，并在运行时进行即时编译。 ```python import tvm from tvm import relay import numpy as np # 加载模型并转换为 Relay 表达式 mod, params = relay.frontend.from_tensorflow(graph_def) target = "llvm" with relay.build_config(opt_level=3): graph, lib, params = relay.build(mod, target, params=params) # 创建运行时模块 ctx = tvm.cpu(0) module = graph_runtime.create(graph, lib, ctx) module.set_input(**params) module.set_input("input", input_data) module.run() output_data = module.get_output(0).asnumpy() ``` 该方式适用于高性能计算和边缘计算场景，能够显著提升推理速度。 ### 3.5 本地服务化部署（gRPC、ZeroMQ） 虽然模型服务通常涉及远程 API 调用，但也可以通过本地服务实现模型调用。例如，使用 gRPC 或 ZeroMQ 构建本地推理服务。 ```python import grpc from tensorflow_serving.apis import predict_pb2 from tensorflow_serving.apis import prediction_service_pb2_grpc # 建立 gRPC 连接 channel = grpc.insecure_channel('localhost:8500') stub = prediction_service_pb2_grpc.PredictionServiceStub(channel) # 构建请求 request = predict_pb2.PredictRequest() request.model_spec.name = 'my_model' request.model_spec.signature_name = 'serving_default' request.inputs['input'].CopyFrom(tf.make_tensor_proto(input_data)) # 发送请求并获取结果 result = stub.Predict(request, 10.0) # 10 秒超时 ``` 该方式适用于需要高性能、低延迟推理的本地服务架构。 ---