### 统计 NCNN BatchNorm 算子读写带宽的 C++ 代码示例 为了统计 NCNN 中 `BatchNorm` 算子的读写带宽，可以通过自定义日志记录器或者修改源码的方式捕获算子执行期间的内存访问情况。以下提供一种基于拦截机制的方法，在不改动核心库的前提下完成这一任务。 --- #### 方法概述 1. 利用 NCNN 提供的 `Layer` 抽象类接口重载其虚拟方法。 2. 在继承后的类中插入时间戳和内存地址范围的日志记录逻辑。 3. 结合输入张量大小推导理论上的读取/写入字节数，并与实测耗时相结合得出带宽指标。 --- #### 示例代码 ```cpp #include "ncnn/net.h" #include "ncnn/mat.h" #include <iostream> #include <chrono> using namespace std; using namespace ncnn; // 自定义 BatchNorm 层以监控读写行为 class CustomBatchNorm : public Layer { public: CustomBatchNorm() {} virtual int forward(const Mat& bottom_blob, Mat& top_blob, const Option& opt) const override { auto start_time = chrono::high_resolution_clock::now(); // 调用原生实现 int ret = Layer::forward(bottom_blob, top_blob, opt); auto end_time = chrono::high_resolution_clock::now(); double elapsed_seconds = chrono::duration<double>(end_time - start_time).count(); // 输出统计数据 cout << "[BatchNorm] Input Size: " << bottom_blob.total() * bottom_blob.elemsize() << " bytes | Output Size: " << top_blob.total() * top_blob.elemsize() << " bytes | Time: " << elapsed_seconds * 1e3 << " ms" << endl; // 计算带宽 (MB/s) size_t total_bytes = bottom_blob.total() * bottom_blob.elemsize() + top_blob.total() * top_blob.elemsize(); // 总 I/O 字节 double bandwidth_mbs = static_cast<double>(total_bytes) / (elapsed_seconds * 1e6); // MB/s cout << "[Bandwidth] Total Bytes: " << total_bytes << " B | Bandwidth: " << bandwidth_mbs << " MB/s" << endl; return ret; } }; int main(int argc, char** argv) { Net net; net.load_param("mymodel.param"); net.load_model("mymodel.bin"); // 替换默认 BatchNorm 层为自定义版本 net.register_custom_layer("CustomBatchNorm", [](const string&) -> Layer* { return new CustomBatchNorm; }); // 准备输入数据 Mat in(224, 224, 3); for (int i = 0; i < in.total(); ++i) { in[i] = rand() % 256 / 255.f; // 随机初始化像素值到 [0, 1] } // 运行推理流程 ExExtractor ex(net); ex.input("data", in); Mat out; ex.extract("output", out); return 0; } ``` --- #### 关键点解释 1. **自定义层注册** 使用 `net.register_custom_layer()` 将原有 `BatchNorm` 替换为我们扩展过的版本。这样可以在保持其他部分不变的情况下单独分析目标操作符的行为[^1]。 2. **性能测量** 借助 `<chrono>` 头文件获取高精度的时间差值作为参考依据之一；同时考虑到现代 CPU/GPU 架构可能存在乱序执行现象，因此建议多次试验求平均值以提高准确性[^2]。 3. **带宽数学公式** \[ \text{Bandwidth (MB/s)} = \frac{\text{Total Data Transferred (Bytes)}} {\text{Execution Time (Seconds)} \times 10^6} \] --- ###