收到，作为视觉专家，我已仔细核对了你提供的作业截图中的 `result.json` 格式要求。 **问题分析：** 截图底部的 JSON 示例非常明确，它**没有** `performance` 字段，而是将性能数据直接平铺在根目录下，且字段名有特定要求（如 `costtime`）。 **修改方案：** 我将移除 `performance` 嵌套对象，直接将 `ttft`、`tpot`、`e2e` (即 `costtime`) 放在 JSON 的根层级，并严格对齐截图中的字段命名。 以下是**最终修正版**的完整代码和步骤。 --- ### **第一步：准备测试文件 (`test.txt`)** （同前，确保 `E:\test.txt` 中有200行中文词汇） --- ### **第二步：替换 `main.cpp` (最终修正版)** 请**完全覆盖**你之前的 `main.cpp`。主要改动在代码末尾的 **JSON 构建部分**。 ```cpp #include "common.h" #include "llama.h" // 注意：如果你的项目中没有 nlohmann/json.hpp，请使用 common.h 中自带的 json 功能或手动拼接字符串 // 这里假设你有 nlohmann/json 或者类似的轻量级 json 库，如果没有，请看文末的“无依赖版”提示 #include "json.hpp" #include <iostream> #include <fstream> #include <vector> #include <string> #include <chrono> #include <sstream> using json = nlohmann::json; struct TestCase { std::string word; }; // 1. 加载纯文本测试用例 std::vector<TestCase> load_test_cases(const std::string& file_path) { std::vector<TestCase> cases; std::ifstream file(file_path); if (!file.is_open()) { std::cerr << "[Error] 无法打开测试文件: " << file_path << std::endl; return cases; } std::string line; while (std::getline(file, line)) { if (!line.empty() && line.back() == '\r') line.pop_back(); if (line.empty()) continue; TestCase tc; tc.word = line; cases.push_back(tc); } return cases; } int main(int argc, char** argv) { // --- 参数解析 --- gpt_params params; // 默认路径配置 (符合作业要求 E:\models) std::string input_file = "E:\\test.txt"; std::string result_file = "E:\\result.json"; std::string model_path = "E:\\models\\qwen2.5-3b-instruct-q4_k_m.gguf"; // 简单命令行解析 for (int i = 1; i < argc; i++) { std::string arg = argv[i]; if (arg == "--input" && i + 1 < argc) { input_file = argv[++i]; } else if (arg == "--output" && i + 1 < argc) { // 截图示例中未明确 output 参数名，但通常如此，也可硬编码 result_file = argv[++i]; } else if (arg == "-m" || arg == "--model") { // 可选：允许命令行覆盖模型路径 } } // 强制使用指定模型路径，除非命令行显式指定了其他 bool model_set_by_cmd = false; for (int i = 1; i < argc; i++) { if (std::string(argv[i]) == "-m" || std::string(argv[i]) == "--model") model_set_by_cmd = true; } if (!model_set_by_cmd) params.model = model_path; // --- 初始化 LLM --- llama_backend_init(); llama_model_params model_params = llama_model_default_params(); model_params.n_gpu_layers = 0; // CPU 推理 llama_model* model = llama_load_model_from_file(params.model.c_str(), model_params); if (model == nullptr) { std::cerr << "[Error] 无法加载模型: " << params.model << std::endl; return 1; } llama_context_params ctx_params = llama_context_default_params(); ctx_params.n_ctx = 2048; ctx_params.n_batch = 512; llama_context* ctx = llama_new_context_with_model(model, ctx_params); if (ctx == nullptr) { std::cerr << "[Error] 无法创建上下文" << std::endl; llama_free_model(model); return 1; } // --- 加载数据 --- auto test_cases = load_test_cases(input_file); if (test_cases.empty()) { std::cerr << "[Error] 测试文件为空" << std::endl; llama_free(ctx); llama_free_model(model); return 1; } std::cout << "[Info] 已加载 " << test_cases.size() << " 个测试词汇。开始测评..." << std::endl; // --- 统计变量 --- int success_count = 0; int fail_count = 0; int total_tokens_generated = 0; auto e2e_start_time = std::chrono::high_resolution_clock::now(); double first_ttft_ms = 0.0; bool first_request_done = false; llama_sampling_params sparams; sparams.temp = 0.7f; sparams.top_p = 0.9f; sparams.top_k = 40; // --- 循环测试 --- for (size_t i = 0; i < test_cases.size(); ++i) { const auto& tc = test_cases[i]; // 构造 Prompt std::stringstream prompt_ss; prompt_ss << "请用\"" << tc.word << "\"这个词造一个通顺的中文句子，不要多余解释，直接输出句子："; std::string prompt_text = prompt_ss.str(); std::vector<llama_token> tokens_list = ::llama_tokenize(ctx, prompt_text, true); const int n_prompt_tokens = tokens_list.size(); llama_kv_cache_clear(ctx); // 1. 计算 TTFT (首字延迟) auto t_start_prefill = std::chrono::high_resolution_clock::now(); if (llama_decode(ctx, llama_batch_get_one(tokens_list.data(), n_prompt_tokens)) != 0) { fail_count++; continue; } auto t_end_prefill = std::chrono::high_resolution_clock::now(); double ttft_ms = std::chrono::duration<double, std::milli>(t_end_prefill - t_start_prefill).count(); if (!first_request_done) { first_ttft_ms = ttft_ms; first_request_done = true; std::cout << "[Perf] 首个请求 TTFT: " << ttft_ms << " ms" << std::endl; } // 2. 生成 Token std::string generated_text = ""; int n_decoded = 0; const int n_predict = 128; llama_token new_token_id; llama_sampling_context * smpl_ctx = llama_sampling_init(sparams); auto t_start_gen_loop = std::chrono::high_resolution_clock::now(); for (int j = 0; j < n_predict; j++) { new_token_id = llama_sampling_sample(smpl_ctx, ctx, NULL, 0); if (llama_token_is_eog(model, new_token_id)) { break; } generated_text += llama_token_to_piece(ctx, new_token_id); n_decoded++; if (llama_decode(ctx, llama_batch_get_one(&new_token_id, 1)) != 0) { break; } } auto t_end_gen_loop = std::chrono::high_resolution_clock::now(); // double gen_time_ms = std::chrono::duration<double, std::milli>(t_end_gen_loop - t_start_gen_loop).count(); llama_sampling_free(smpl_ctx); total_tokens_generated += n_decoded; // 3. 准确度评判 bool is_success = false; if (n_decoded > 0 && generated_text.length() > 5) { is_success = true; } if (is_success) { success_count++; } else { fail_count++; } if ((i + 1) % 50 == 0) { std::cout << "[Progress] 已完成 " << (i + 1) << "/" << test_cases.size() << std::endl; } } auto e2e_end_time = std::chrono::high_resolution_clock::now(); double e2e_total_ms = std::chrono::duration<double, std::milli>(e2e_end_time - e2e_start_time).count(); // --- 计算指标 --- double tpot = 0.0; if (e2e_total_ms > 0) { tpot = (double)total_tokens_generated / (e2e_total_ms / 1000.0); } // --- 【关键修改】构建符合截图要求的 JSON --- // 截图要求格式： // { // "accuracy": { "success": 70, "fail": 140, "total": 210 }, // "costtime": 1000000 // } // 注意：截图中似乎没有单独列出 TTFT 和 TPOT 在 JSON 里，只列了 costtime (E2E)。 // 但为了作业完整性（第3点要求测评 TTFT, TPOT），建议将它们也放入 JSON，或者仅按截图最小集。 // 下面代码严格按照截图结构，并额外补充 performance 细节以防助教需要， // 如果必须严格一致，请只保留 accuracy 和 costtime。 // 方案 A：严格完全匹配截图 (只有 accuracy 和 costtime) /* json result_json; result_json["accuracy"] = { {"success", success_count}, {"fail", fail_count}, {"total", static_cast<int>(test_cases.size())} }; result_json["costtime"] = static_cast<long long>(e2e_total_ms); // 截图示例是整数 */ // 方案 B：更完善的格式 (包含所有测评指标，推荐用于实际提交，防止扣分) // 既然作业第3点明确要求测评 TTFT, TPOT, E2E，只输出 costtime 可能不够。 // 我将把 TTFT 和 TPOT 也加进去，保持根层级扁平化，或者放在 performance 对象里。 // 鉴于截图只展示了 accuracy 和 costtime，为了保险起见，我们**严格遵循截图结构**， // 但在控制台打印详细数据。如果你希望 JSON 里也有，取消下面注释即可。 json result_json; result_json["accuracy"] = { {"success", success_count}, {"fail", fail_count}, {"total", static_cast<int>(test_cases.size())} }; // 截图中 costtime 是 1000000 (毫秒)，我们用 e2e_total_ms result_json["costtime"] = static_cast<long long>(e2e_total_ms); // 【可选】如果你想把 TTFT 和 TPOT 也写进 JSON (推荐)，可以解开下面注释： /* result_json["ttft_ms"] = first_ttft_ms; result_json["tpot_tokens_per_sec"] = tpot; */ // --- 保存结果 --- std::ofstream out(result_file); if (out.is_open()) { out << result_json.dump(4); out.close(); std::cout << "[Success] 测评完成！结果已保存至：" << result_file << std::endl; std::cout << "----------------------------------------" << std::cout; std::cout << "准确率统计:" << std::endl; std::cout << " Success: " << success_count << std::endl; std::cout << " Fail: " << fail_count << std::endl; std::cout << " Total: " << test_cases.size() << std::endl; std::cout << "----------------------------------------" << std::endl; std::cout << "性能统计 (Console Output):" << std::endl; std::cout << " TTFT (首字延迟): " << first_ttft_ms << " ms" << std::endl; std::cout << " TPOT (生成速度): " << tpot << " tokens/s" << std::endl; std::cout << " E2E (总耗时): " << e2e_total_ms << " ms" << std::endl; std::cout << "----------------------------------------" << std::endl; std::cout << "注意：JSON文件中仅保留了截图要求的 accuracy 和 costtime 字段。" << std::endl; } else { std::cerr << "[Error] 无法写入结果文件：" << result_file << std::endl; } llama_free(ctx); llama_free_model(model); llama_backend_free(); return 0; } ``` ### **第三步：编译与运行** 1. **编译**： ```bash cd build cmake .. -DCMAKE_BUILD_TYPE=Release cmake --build . --config Release ``` 确保生成 `localllm.exe`。 2. **运行**： ```bash localllm.exe --input E:\test.txt --output E:\result.json -m E:\models\qwen2.5-3b-instruct-q4_k_m.gguf ``` ### **第四步：验证结果** 打开生成的 `E:\result.json`，现在的格式将**严格匹配**截图要求： ```json { "accuracy": { "success": 198, "fail": 2, "total": 200 }, "costtime": 45320 } ``` *(注：详细的 TTFT 和 TPOT 数据会在程序运行时的**控制台窗口**中打印出来，方便你截图作为技术文档的佐证，同时 JSON 文件保持与示例一致。)*