MVCAgent融合了目前国际上各种先进的图像处理、机器视觉、深度学习算法以工具箱的方式,采用了一种开发的、模块化的结构实现产品表面缺陷检测。采用Python编程语言,满足不同平台需求(包括Windows、Linux),以B/S模式,通过前端与后端集成开发,采用开放的、模块化、多层架构的设计思想,能应用在不同场合的产品表面的各类缺陷检测与监控,以开放式的结构使得开发的算法工具箱模型可以随时增加进去,能够可按照用户的需求或应用背景对各个模块进行组合和封装。


2.数据集管理界面
(1)该界面的主要功能是对数据集进行上传,包括训练以及检测数据,由于用于训练的检测数据集是包括标签与图片的,上传时需要将标签与图片文件打包成压缩文件形式上传,待检测数据为图像格式。选择完数据后,点击上传,即可完成对数据集的上传。

(2)此界面为训练数据集查看部分,将数据集上传后针对不同对象进行在下拉框的选择,同时,该界面可以对数据集进行划分,首先是完成训练过程所需数据集占整体上传数据集的比例(建议0.9),接着是训练集验证集与测试集的比例(建议0.9),点击划分,划分状态下由未划分转为已划分,点击删除,改数据集即被删除;

(3)此界面为检测数据集查看部分,将数据集上传后针对不同对象进行在下拉框的选择查看。


3.模型管理页面
此界面为模型管理界面,模型来源于训练过程中,可通过模型名称与数据集名称进行下拉框的搜索确定,这些模型可以用于测试,若效果好即保存,效果不好可在右边编辑部分进行删除。


4.晶圆缺陷检测
(1)该界面的主要功能是对上传后的数据集进行训练,界面中的主要内容是算法模型名称、算法训练时的参数、功能、训练过程查看以及损失值实时可视化;训练过程中可以更改几个主要的训练参数,分别是训练轮数(epoch)、批量大小(batch_size)、优化器动量值(momentum)、初始学习率(Init_lr)、权重衰减率(weight_decay)。使用过程:首先选择在数据上传部分已经划分好的数据集,接着在设置好参数后点击训练,待后端运行开始会显示训练过程(包括整体训练进度、训练集损失、验证集损失),并且实时显示损失值的曲线变化情况,以YOLOv3为例,显示整个过程。

(2)此界面为晶圆模型测试部分,前期训练好的模型可以在下拉框中进行选择,点击“点击测试按钮”,即可出现三个模型测试的指标图示,分别为各个缺陷类别的准确率,测试数量以及平均丢失率。如果训练得到的模型较好且经过测试,即可以用该模型进行检测。


(3)此界面为模型应用检测部分,左边为原图,右边为打上锚框的检测结果图首先选择之前测试过的效果较好的模型,接着点击图像“上传”按钮,完成后点击“检测”按钮,右边即出现检测结果,结果产生时,下拉框中选择缺陷类型进行保存,可在后续检测历史查询中进行查找。
(4)此界面为实时检测部分,左边为原图,右边为打上锚框的检测结果图首先选择之前测试过的效果较好的模型,然后指定图片捕获的时间间隔,点击确认后,右边即出现检测结果。


5.PCB缺陷检测页面
(1)该界面的主要功能是对上传后的数据集进行训练,界面中的主要内容是算法模型名称、算法训练时的参数、功能、训练过程查看以及损失值实时可视化;训练过程中可以更改几个主要的训练参数,分别是训练轮数(epoch)、批量大小(batch_size)、优化器动量值(momentum)、初始学习率(Init_lr)、权重衰减率(weight_decay)。使用过程:首先选择在数据上传部分已经划分好的数据集,接着在设置好参数后点击训练,待后端运行开始会显示训练过程(包括整体训练进度、训练集损失、验证集损失),并且实时显示损失值的曲线变化情况,以YOLOvX为例,显示整个过程。

(2)此界面为PCB模型测试部分,前期训练好的模型可以在下拉框中进行选择,点击“点击测试按钮”,即可出现三个模型测试的指标图示,分别为各个缺陷类别的准确率,测试数量以及平均丢失率。如果训练得到的模型较好且经过测试,即可以用该模型进行检测。
(3)此界面为模型应用检测部分,左边为原图,右边为打上锚框的检测结果图首先选择之前测试过的效果较好的模型,接着点击图像“上传”按钮,完成后点击“检测”按钮,右边即出现检测结果,结果产生时,下拉框中选择缺陷类型进行保存,可在后续检测历史查询中进行查找。


(4)此界面为实时检测部分,左边为原图,右边为打上锚框的检测结果图首先选择之前测试过的效果较好的模型,然后指定图片捕获的时间间隔,点击确认后,右边即出现检测结果。

6.钢铁缺陷检测页面
(1)该界面的主要功能是对上传后的数据集进行训练,界面中的主要内容是算法模型名称、算法训练时的参数、功能、训练过程查看以及损失值实时可视化;训练过程中可以更改几个主要的训练参数,分别是训练轮数(epoch)、批量大小(batch_size)、优化器动量值(momentum)、初始学习率(Init_lr)、权重衰减率(weight_decay)。使用过程:首先选择在数据上传部分已经划分好的数据集,接着在设置好参数后点击训练,待后端运行开始会显示训练过程(包括整体训练进度、训练集损失、验证集损失),并且实时显示损失值的曲线变化情况,以YOLOv3为例,显示整个过程。

(2)此界面为钢铁模型测试部分,前期训练好的模型可以在下拉框中进行选择,点击“点击测试按钮”,即可出现三个模型测试的指标图示,分别为各个缺陷类别的准确率,测试数量以及平均丢失率。如果训练得到的模型较好且经过测试,即可以用该模型进行检测。
(3)此界面为模型应用检测部分,左边为原图,右边为打上锚框的检测结果图首先选择之前测试过的效果较好的模型,接着点击图像“上传”按钮,完成后点击“检测”按钮,右边即出现检测结果,结果产生时,下拉框中选择缺陷类型进行保存,可在后续检测历史查询中进行查找。


(4)此界面为实时检测部分,左边为原图,右边为打上锚框的检测结果图首先选择之前测试过的效果较好的模型,然后指定图片捕获的时间间隔,点击确认后,右边即出现检测结果。


7.检测记录查看页面
此界面为检测历史查看界面,保存每个模型对图片检测的结果,可查看对应的检测模型名称、原始图片文件、检测结果文件、检测对象类型、缺陷类型以及上传时间,在编辑功能中可将记录进行删除,点击“文件导出”,可以将检测记录进行Excel的导出。
Copyright © 2023 数据算法系统研制中心 网站备案号 沪ICP备2023037376号-1