基于K230开发板实现“自动人脸识别并将带框的视频存至SD卡”功能，其核心技术流程可以分为：**视频流捕获 → 人脸检测与框选 → 视频编码与存储**[ref_3][ref_4]。本方案将优先提供基于**MicroPython (MaixPy)** 的具体实现代码，因为这是K230官方主推且最便捷的开发方式，其生态、工具链和文档支持较为完善[ref_3][ref_4]。 ### 核心功能模块与实现方法 | 模块 | 核心任务 | 关键技术/组件 | 推荐实现库/方法 | | :--- | :--- | :--- | :--- | | **视频流捕获** | 从板载/外接摄像头获取实时图像帧 | K230内置MIPI-CSI摄像头驱动 | `sensor` 模块 (`MaixPy`) | | **人脸检测与框选** | 在图像帧中定位人脸并绘制矩形框 | KPU硬件加速的人脸检测模型 | `KPU` 模块加载`.kmodel`模型 | | **视频编码与存储** | 将带框的帧序列编码为视频文件存入SD卡 | JPEG/MJPEG或H.264编码，文件系统操作 | `video` 模块， `uopen` 写文件 | ### 详细实现步骤与代码示例 #### 1. 硬件与环境准备 * **硬件**：K230开发板、板载/外接摄像头、已格式化的Micro SD卡。 * **软件**：使用CanMV IDE或通过串口连接开发板，确保已烧录支持`MaixPy`和`video`模块的最新固件[ref_4]。 #### 2. MicroPython 核心实现代码 以下代码实现了基本功能：实时检测人脸，并将带检测框的视频以MJPEG格式保存到SD卡的`/sd/output.mjpeg`文件中。 ```python # main.py import sensor, image, time, lcd, video from maix import KPU, utils import gc # 1. 初始化摄像头 sensor.reset() # 复位传感器 sensor.set_pixformat(sensor.RGB565) # 设置图像色彩格式 sensor.set_framesize(sensor.QVGA) # 设置图像大小 (320x240) sensor.set_vflip(1) # 如果需要，垂直翻转图像 sensor.set_hmirror(1) # 如果需要，水平镜像图像 sensor.skip_frames(time=2000) # 跳过一些帧，等待摄像头稳定 clock = time.clock() # 创建时钟对象，用于计算帧率 # 可选：初始化LCD（用于实时预览） # lcd.init(type=1, freq=15000000) # 2. 加载人脸检测模型 # 模型文件需预先放置在SD卡或文件系统中 print("Loading KPU model...") kpu = KPU() try: kpu.load_kmodel("/sd/models/face_detect.kmodel") # 替换为你的模型路径 except Exception as e: print("Failed to load model:", e) kpu.deinit() sys.exit() # 3. 初始化视频录制器，指定保存路径和参数 print("Initializing video recorder...") v = video.open("/sd/output.mjpeg", fps=15, quality=35) # 保存到SD卡，帧率15fps，质量35（1-100） if v == None: print("Failed to open video file for writing") kpu.deinit() sys.exit() # 定义人脸检测的锚点 (Anchors)，需与训练模型时使用的锚点一致 # 此处为示例值，实际值需根据你使用的模型确定 anchors = (1.889, 2.525, 2.947, 3.941, 4.0, 5.366, 5.155, 6.923, 6.718, 9.010) print("Starting face detection and recording...") record_frames = 0 max_record_frames = 300 # 最大录制帧数，约20秒 (300/15) try: while record_frames < max_record_frames: clock.tick() # 开始计时一个帧周期 img = sensor.snapshot() # 从摄像头捕获一帧图像 # 4. 使用KPU进行人脸检测推理 kpu.run_with_output(img) dets = kpu.regionlayer() # 获取检测结果 # 5. 在图像上绘制检测框 if dets: for det in dets: # det包含 [x, y, w, h, confidence] x, y, w, h, score = int(det[0]), int(det[1]), int(det[2]), int(det[3]), det[4] if score > 0.6: # 设置置信度阈值 # 绘制红色矩形框和置信度文本 img.draw_rectangle(x, y, w, h, color=(255, 0, 0), thickness=2) img.draw_string(x, y-10, "Face: %.2f" % score, color=(255, 0, 0), scale=1.2) # 6. 将处理后的帧写入视频文件 img_len = v.record(img) if img_len == 0: print("Warning: Failed to write frame to video") record_frames += 1 # 可选：在LCD上实时显示带框画面 # lcd.display(img) # 打印当前帧率和已录制帧数 fps = clock.fps() print("FPS: %.1f, Recorded: %d/%d" % (fps, record_frames, max_record_frames)) finally: # 7. 资源释放 print("Finishing recording and releasing resources...") v.record_finish() # 确保视频文件被正确关闭 kpu.deinit() # 释放KPU资源 # lcd.clear() # 如果使用了LCD则清屏 print("Video saved to /sd/output.mjpeg") ``` #### 3. 关键点深入解析与优化 1. **人脸检测模型 (`face_detect.kmodel`)** * **获取途径**：这是实现功能的关键。可以从CanMV/K230官方开源仓库或社区获取预训练的人脸检测模型[ref_3]。更专业的方案是使用YOLO、MTCNN等模型在PC端训练，然后通过嘉楠的模型转换工具链（`nncase`等）将`.pth`或`.onnx`模型量化、编译为K230 KPU可执行的`.kmodel`格式[ref_3]。 * **锚点 (Anchors)**：代码中的 `anchors` 变量至关重要，必须与训练时模型使用的锚点完全一致，否则检测框位置会错乱。通常模型提供者会附带锚点信息。 2. **视频编码与存储** * **格式选择**：示例中使用的是MJPEG（Motion JPEG）格式，即每一帧都是一张独立的JPEG图片。这是最简单、最通用的方法，`.mjpeg`文件可以被大多数视频播放器和编辑器识别。K230的KPU或硬件编码器也可能支持H.264编码，但需要更复杂的`video`模块参数设置和固件支持[ref_2]。 * **性能与画质权衡**：`video.open()` 中的 `fps`（帧率）和 `quality`（质量，1-100）参数直接影响文件大小、录制流畅度和CPU/NPU负载。在嵌入式设备上，通常需要适当降低分辨率和帧率以保证稳定运行[ref_2]。 * **存储管理**：代码中设定了最大录制帧数 (`max_record_frames`) 以防止SD卡被写满。在实际应用中，应增加对SD卡剩余空间的检查，并实现循环录制或按时间/文件大小分段保存的功能。 3. **系统资源与稳定性** * **内存管理**：连续进行图像捕获、模型推理和视频编码对内存压力较大。`gc.collect()`（垃圾回收）可以在循环中适时调用，防止内存泄漏[ref_4]。 * **中断处理**：为了形成更健壮的产品，应考虑通过外部按键（GPIO中断）来控制录制的开始与停止，而不是运行固定的帧数。 #### 4. 扩展与高级应用场景 此基础方案可以结合【参考资料】中的其他技术进行扩展： * **低延迟Web监控叠加**：参考K230构建低延迟Web监控系统的思路[ref_2]，可以在进行人脸识别和本地存储的同时，通过`MicroPython`的`socket`或`HTTP`服务器模块，将处理后的MJPEG视频流推送到局域网内的Web浏览器进行实时查看，实现“边存边看”。 * **集成语音与交互**：结合“K230×小智”项目中本地化大模型的应用[ref_1]，可以在检测到特定人脸后，触发语音播报欢迎词或通过语音指令控制录制行为，实现多模态交互。 * **模型切换与多任务**：K230的双核RISC-V架构和NPU允许更复杂的任务调度。例如，一个核心负责持续的视频流捕获和编码存储，另一个核心或NPU负责运行人脸识别、甚至后续的人脸特征提取与比对（1:1或1:N识别）模型[ref_3]。