### TensorFlow SavedModel 和 Tag_Constants 使用方法 #### 什么是 SavedModel？ SavedModel 是一种灵活、可移植的方式用于保存和加载 TensorFlow 模型。它不仅保存了计算图的结构，还包括变量权重和其他元数据。 #### 如何使用 `tf.saved_model` API？ 以下是创建并保存模型的一个典型流程： 1. **构建模型** 首先需要定义一个完整的 TensorFlow 计算图以及训练好的参数。 2. **定义签名（Signature Definition）** Signature 定义了模型的输入和输出张量及其对应的键值对。这使得其他框架能够通过标准化接口调用该模型。 3. **实例化 `SavedModelBuilder` 并保存模型** 利用 `SavedModelBuilder` 对象可以将当前会话中的图形与变量序列化至磁盘上指定位置。 下面是一个具体的例子来展示如何操作上述过程[^2]: ```python import tensorflow as tf from tensorflow.python.saved_model import builder, signature_def_utils, utils, tag_constants # 假设我们有一个简单的线性回归模型 y = W * x + b W = tf.Variable([.3], dtype=tf.float32) b = tf.Variable([-.3], dtype=tf.float32) x = tf.placeholder(tf.float32) y = W * x + b sess = tf.Session() init = tf.global_variables_initializer() sess.run(init) # 创建签名定义 signature_inputs = {'myInput': utils.build_tensor_info(x)} signature_outputs = {'myOutput': utils.build_tensor_info(y)} method_name = tf.saved_model.signature_constants.PREDICT_METHOD_NAME prediction_signature = signature_def_utils.build_signature_def( inputs=signature_inputs, outputs=signature_outputs, method_name=method_name) export_path = './linear_regression_saved_model' builder_instance = builder.SavedModelBuilder(export_path) with sess.as_default(): builder_instance.add_meta_graph_and_variables( sess=sess, tags=[tag_constants.SERVING], signature_def_map={ 'predict': prediction_signature} ) builder_instance.save() ``` 这段代码展示了怎样设置好环境后导出一个基本的机器学习模型，并指定了特定的服务标记(tag)。 #### 关于 Tags (Tag Constants) Tags 提供了一种机制用来区分不同的 MetaGraphDefs 存在于同一个 SavedModel 文件夹下。最常用的标签之一就是 SERVING (`tag_constants.SERVING`) ，表示此版本适用于生产环境中运行推理任务的情况[^3]。 当从已存档的 SavedModel 加载某个具体实现时，则需提供匹配的一组tags以便定位正确的MetaGraphDef对象进行解析恢复工作。 #### 调整 TensorRT Server 上的应用场景配置说明 如果目标是在 NVIDIA 的 TensorRT Inference Server 中部署 TF SavedModels ,则还需要额外注意几个细节问题: - 确保按照官方文档要求整理好目录层次关系. - 正确填写 config.pbtxt 文件内容描述服务端口映射规则等必要信息.[^4] --- ###