## 1. 为什么需要PCB缺陷检测系统 在电子制造业中，PCB（印刷电路板）的质量直接决定了电子产品的性能和可靠性。一块指甲盖大小的PCB板上可能密布着数百个元器件和走线，任何微小的缺陷都可能导致整机故障。传统的人工检测方式不仅效率低下，而且容易因视觉疲劳导致漏检。我曾亲眼见过一个工厂因为一块PCB上的微小短路未被发现，导致整批产品召回，损失高达数百万。 YOLOv8作为当前最先进的目标检测算法之一，在速度和精度上达到了很好的平衡。实测下来，在RTX 3060显卡上，YOLOv8s模型处理一张640x640的PCB图像仅需6ms，mAP（平均精度）能达到92%以上。配合PyQt5开发的图形界面，即使是没有任何编程经验的质检员也能快速上手使用。 ## 2. 环境搭建与依赖安装 ### 2.1 创建Python虚拟环境 我强烈建议使用conda创建独立的Python环境，避免与其他项目的依赖冲突。下面是我在Windows系统下的配置步骤： ```bash conda create -n pcb_defect python=3.8 -y conda activate pcb_defect ``` ### 2.2 安装PyTorch和YOLOv8 对于GPU用户，建议安装CUDA 11.8版本的PyTorch： ```bash pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118 pip install ultralytics ``` 如果只有CPU，可以用这个更轻量的安装方式： ```bash pip install torch==2.0.1 torchvision==0.15.2 pip install ultralytics ``` ### 2.3 安装PyQt5和其他依赖 图形界面开发需要安装以下包： ```bash pip install pyqt5 pyqt5-tools pip install opencv-python pandas matplotlib ``` 安装完成后，可以运行以下命令测试YOLOv8是否正常工作： ```bash yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg' ``` ## 3. 数据集准备与标注 ### 3.1 PCB缺陷数据集介绍 我们使用的是北京大学发布的公开PCB缺陷数据集，包含1386张图像，涵盖6种常见缺陷： - 缺失孔（missing_hole） - 鼠咬痕（mouse_bite） - 开路（open_circuit） - 短路（short） - 毛刺（spur） - 伪铜（spurious_copper） 数据集目录结构应该这样组织： ``` PCB_Defect/ ├── images/ │ ├── train/ # 训练集图片 │ └── val/ # 验证集图片 └── labels/ ├── train/ # 训练集标注 └── val/ # 验证集标注 ``` ### 3.2 数据标注与格式转换 如果你需要标注自己的数据，推荐使用LabelImg工具。标注完成后，每个图像会生成对应的XML文件。我们需要将其转换为YOLO格式的txt文件： ```python # xml_to_txt.py import xml.etree.ElementTree as ET import os classes = ["missing_hole", "mouse_bite", "open_circuit", "short", "spur", "spurious_copper"] def convert(size, box): dw = 1./size[0] dh = 1./size[1] x = (box[0] + box[1])/2.0 y = (box[2] + box[3])/2.0 w = box[1] - box[0] h = box[3] - box[2] x = x*dw w = w*dw y = y*dh h = h*dh return (x,y,w,h) def convert_annotation(xml_file, txt_file): tree = ET.parse(xml_file) root = tree.getroot() with open(txt_file, "w") as f: for obj in root.iter('object'): cls = obj.find('name').text if cls not in classes: continue cls_id = classes.index(cls) xmlbox = obj.find('bndbox') b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text)) bb = convert((int(root.find('size').find('width').text), int(root.find('size').find('height').text)), b) f.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n') ``` ### 3.3 创建数据集配置文件 在数据集根目录创建mydata.yaml文件： ```yaml # mydata.yaml train: PCB_Defect/images/train val: PCB_Defect/images/val nc: 6 names: ['missing_hole', 'mouse_bite', 'open_circuit', 'short', 'spur', 'spurious_copper'] ``` ## 4. YOLOv8模型训练与优化 ### 4.1 基础模型训练 使用以下命令开始训练： ```bash yolo detect train data=mydata.yaml model=yolov8s.yaml epochs=100 imgsz=640 batch=16 ``` 关键参数说明： - `imgsz`: 输入图像尺寸，越大精度越高但速度越慢 - `batch`: 批大小，根据GPU显存调整 - `epochs`: 训练轮数，通常100-300轮足够 训练过程中可以实时监控各项指标： - `box_loss`: 边框回归损失 - `cls_loss`: 分类损失 - `mAP@0.5`: IoU阈值为0.5时的平均精度 ### 4.2 训练结果分析 训练完成后，在runs/detect/train目录下会生成以下重要文件： - `weights/best.pt`: 最佳模型权重 - `results.png`: 训练指标曲线 - `confusion_matrix.png`: 混淆矩阵 我常用的改进策略： 1. 增加数据增强：在mydata.yaml中添加 ```yaml augmentation: hsv_h: 0.015 # 色调增强 hsv_s: 0.7 # 饱和度增强 hsv_v: 0.4 # 明度增强 degrees: 10 # 旋转角度 translate: 0.1 # 平移 scale: 0.5 # 缩放 shear: 0.0 # 剪切 ``` 2. 使用更大的模型：如yolov8m或yolov8l 3. 调整学习率：添加`lr0=0.01`参数 ### 4.3 模型评估与测试 使用最佳模型进行测试： ```python from ultralytics import YOLO model = YOLO('runs/detect/train/weights/best.pt') results = model.predict('test.jpg', save=True, conf=0.5) ``` ## 5. PyQt5界面开发实战 ### 5.1 主界面设计 使用Qt Designer设计主界面，保存为main_window.ui： ```python # ui_main.py from PyQt5 import uic from PyQt5.QtWidgets import QMainWindow class MainWindow(QMainWindow): def __init__(self): super().__init__() uic.loadUi('main_window.ui', self) # 初始化控件 self.btn_load_image.clicked.connect(self.load_image) self.slider_confidence.valueChanged.connect(self.update_params) def load_image(self): file_path, _ = QFileDialog.getOpenFileName() if file_path: self.display_image(file_path) def update_params(self): conf = self.slider_confidence.value() / 100 self.label_conf.setText(f"Confidence: {conf:.2f}") ``` ### 5.2 集成YOLOv8模型 将训练好的模型集成到界面中： ```python def detect_image(self, image_path): model = YOLO('best.pt') results = model.predict(image_path, conf=self.confidence) # 绘制检测结果 img = cv2.imread(image_path) for box in results[0].boxes: x1, y1, x2, y2 = map(int, box.xyxy[0]) cv2.rectangle(img, (x1,y1), (x2,y2), (0,255,0), 2) cv2.putText(img, f"{model.names[int(box.cls)]} {box.conf:.2f}", (x1, y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0,255,0), 2) # 显示结果 self.display_cv_image(img) ``` ### 5.3 多线程处理 为了避免界面卡顿，需要使用QThread进行异步处理： ```python class DetectionThread(QThread): finished = pyqtSignal(np.ndarray) def __init__(self, model_path, image_path, conf): super().__init__() self.model_path = model_path self.image_path = image_path self.conf = conf def run(self): model = YOLO(self.model_path) results = model.predict(self.image_path, conf=self.conf) img = cv2.imread(self.image_path) # ... 绘制检测结果 ... self.finished.emit(img) ``` ## 6. 系统功能扩展与优化 ### 6.1 批量检测与结果导出 添加文件夹批量处理功能： ```python def batch_detect(self, folder_path): model = YOLO('best.pt') results_list = [] for img_name in os.listdir(folder_path): if img_name.lower().endswith(('.png', '.jpg', '.jpeg')): img_path = os.path.join(folder_path, img_name) results = model.predict(img_path, conf=self.confidence) results_list.append({ 'filename': img_name, 'defects': [{'class': model.names[int(box.cls)], 'confidence': float(box.conf)} for box in results[0].boxes] }) # 导出到Excel df = pd.DataFrame([{ 'File': item['filename'], 'Defect': defect['class'], 'Confidence': defect['confidence'] } for item in results_list for defect in item['defects']]) df.to_excel('detection_results.xlsx', index=False) ``` ### 6.2 实时摄像头检测 使用OpenCV实现摄像头实时检测： ```python def camera_detect(self): cap = cv2.VideoCapture(0) model = YOLO('best.pt') while self.camera_running: ret, frame = cap.read() if not ret: break results = model.predict(frame, conf=self.confidence) annotated_frame = results[0].plot() # 显示实时画面 self.display_cv_image(annotated_frame) cv2.waitKey(1) cap.release() ``` ### 6.3 性能优化技巧 1. **模型量化**：将模型转换为FP16精度 ```python model.export(format='onnx', half=True) ``` 2. **TensorRT加速**：使用TensorRT部署 ```bash yolo export model=best.pt format=engine device=0 ``` 3. **多进程处理**：对于批量检测使用多进程 ```python from multiprocessing import Pool def process_image(img_path): model = YOLO('best.pt') return model.predict(img_path) with Pool(4) as p: results = p.map(process_image, image_paths) ``` ## 7. 实际应用中的问题与解决方案 在工业现场部署时，我遇到过几个典型问题： **光照条件变化**：车间的光照不稳定会影响检测效果。解决方法是在图像预处理阶段加入自动白平衡和直方图均衡化： ```python def preprocess(image): # 自动白平衡 result = cv2.cvtColor(image, cv2.COLOR_BGR2LAB) avg_a = np.average(result[:,:,1]) avg_b = np.average(result[:,:,2]) result[:,:,1] = result[:,:,1] - ((avg_a - 128) * (result[:,:,0] / 255.0) * 1.1) result[:,:,2] = result[:,:,2] - ((avg_b - 128) * (result[:,:,0] / 255.0) * 1.1) image = cv2.cvtColor(result, cv2.COLOR_LAB2BGR) # CLAHE增强 clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8)) lab = cv2.cvtColor(image, cv2.COLOR_BGR2LAB) lab[...,0] = clahe.apply(lab[...,0]) return cv2.cvtColor(lab, cv2.COLOR_LAB2BGR) ``` **小目标检测**：对于微小的缺陷（如0.5mm以下的短路），可以尝试以下改进： 1. 使用更高分辨率的输入（如1280x1280） 2. 在YOLOv8配置中增加小目标检测层 3. 添加注意力机制 **模型泛化**：遇到新型号的PCB板时，可以采用迁移学习快速适配： ```bash yolo detect train data=new_data.yaml model=best.pt epochs=50 imgsz=640 ```