神经网络测试综述《Detecting Defects in Deep Learning Systems: a Survey》

文章介绍了在复杂系统中测试通用深度学习(DL)模型的两种主要框架。一种是以DeepXplore为基础的白盒测试,通过神经元覆盖率寻找可能导致错误的测试场景。另一种是DeepTest代表的灰盒测试,利用图像变换生成对抗性样本。其他相关工作包括DLFuzz、DeepGauge、DeepRoad和DeepHunter,它们分别提出了不同的覆盖标准和测试技术。

        时间:2022年6月        会议:APIW

        3.2.1 DL模型

        近年来,复杂系统中通用DL模型或DL模块的测试有两种主要的不同框架。表1提供了一个概述。其中一个框架是DeepXplore[33]。DeepXplore提出了神经元覆盖率,这是神经网络的第一个测试指标。它同时测试多个DNN,通过联合梯度下降的方式提高神经元覆盖度,同时使每个DNN的预测结果尽可能不同,以找到可能导致错误的测试场景。基于DeepXplore,学者们进一步开发了新的白盒测试框架。DLFuzz[15]试图最大化神经元的覆盖率和预测原始输入与变量输入之间的差异,因此不再需要交叉验证dnn;DeepGauage[32]提出了k-多区域神经元覆盖和Top-k神经元覆盖等新的覆盖标准,并描述了4种生成对抗样本的方法;SADL[25]提出了出人意料的充分性作为一个新的标准,宣称测试用例应该“充分但不太出人意料”;Fabrice Harel et al.[16]指出神经元覆盖率不是一个合理的测试度量,自然度和输出公正性相结合更可靠。

        另一种是由DeepTest[50]表示的,这是一个灰盒测试框架。这类测试工具通过对视觉图像实现各种类型的转换,直接生成对抗性样本,进而诱发dnn中的错误行为。DeepTest通过模拟和改变真实的驾驶条件(如雨、雾和照明)来生成测试场景,同时使用神经元覆盖作为指导测试用例生成的标准。DeepRoad[61]将生成对抗网络(generative adversarial networks, GAN)应用于真实的天气场景中,生成不同天气条件下的驾驶场景,从而生成测试场景。它使用变形测试技术合成图像,以检查这些系统的一致性。DeepHunter[55]通过图像变化生成测试用例,并使用多个测试指标来指导和评估测试结果。Jaganmohan Chandrasekaran等人[9]提出了一种新的图像变换方法,结合基本的图像变换生成t-way组合测试集,再由t-way组合测试集生成测试样本。 

1.版本:matlab2014/2019a/2021a,内含运行结果,不会运行可私信 2.领域:智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、路径规划、无人机等多种领域的Matlab仿真,更多内容可点击博主头像 3.内容:标题所示,对于介绍可点击主页搜索博客 4.适合人群:本科,硕士等教研学习使用 5.博客介绍:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可si信 %% 开发者:Matlab科研助手 %% 更多咨询关注天天Matlab微信公众号 ### 团队长期从事下列领域算法的研究和改进: ### 1 智能优化算法及应用 **1.1 改进智能优化算法方面(单目标和多目标)** **1.2 生产调度方面** 1.2.1 装配线调度研究 1.2.2 车间调度研究 1.2.3 生产线平衡研究 1.2.4 水库梯度调度研究 **1.3 路径规划方面** 1.3.1 旅行商问题研究(TSP、TSPTW) 1.3.2 各类车辆路径规划问题研究(vrp、VRPTW、CVRP) 1.3.3 机器人路径规划问题研究 1.3.4 无人机三维路径规划问题研究 1.3.5 多式联运问题研究 1.3.6 无人机结合车辆路径配送 **1.4 三维装箱求解** **1.5 物流选址研究** 1.5.1 背包问题 1.5.2 物流选址 1.5.4 货位优化 ##### 1.6 电力系统优化研究 1.6.1 微电网优化 1.6.2 配电网系统优化 1.6.3 配电网重构 1.6.4 有序充电 1.6.5 储能双层优化调度 1.6.6 储能优化配置 ### 2 神经网络回归预测、时序预测、分类清单 **2.1 bp预测和分类** **2.2 lssvm预测和分类** **2.3 svm预测和分类** **2.4 cnn预测和分类** ##### 2.5 ELM预测和分类 ##### 2.6 KELM预测和分类 **2.7 ELMAN预测和分类** ##### 2.8 LSTM预测和分类 **2.9 RBF预测和分类** ##### 2.10 DBN预测和分类 ##### 2.11 FNN预测 ##### 2.12 DELM预测和分类 ##### 2.13 BIlstm预测和分类 ##### 2.14 宽度学习预测和分类 ##### 2.15 模糊小波神经网络预测和分类 ##### 2.16 GRU预测和分类 ### 3 图像处理算法 **3.1 图像识别** 3.1.1 车牌、交通标志识别(新能源、国内外、复杂环境下车牌) 3.1.2 发票、身份证、银行卡识别 3.1.3 人脸类别和表情识别 3.1.4 打靶识别 3.1.5 字符识别(字母、数字、手写体、汉字、验证码) 3.1.6 病灶识别 3.1.7 花朵、药材、水果蔬菜识别 3.1.8 指纹、手势、虹膜识别 3.1.9 路面状态和裂缝识别 3.1.10 行为识别 3.1.11 万用表和表盘识别 3.1.12 人民币识别 3.1.13 答题卡识别 **3.2 图像分割** **3.3 图像检测** 3.3.1 显著性检测 3.3.2 缺陷检测 3.3.3 疲劳检测 3.3.4 病害检测 3.3.5 火灾检测 3.3.6 行人检测 3.3.7 水果分级 **3.4 图像隐藏** **3.5 图像去噪** **3.6 图像融合** **3.7 图像配准** **3.8 图像增强** **3.9 图像压缩** ##### 3.10 图像重建 ### 4 信号处理算法 **4.1 信号识别** **4.2 信号检测** **4.3 信号嵌入和提取** **4.4 信号去噪** ##### 4.5 故障诊断 ##### 4.6 脑电信号 ##### 4.7 心电信号 ##### 4.8 肌电信号 ### 5 元胞自动机仿真 **5.1 模拟交通流** **5.2 模拟人群疏散** **5.3 模拟病毒扩散** **5.4 模拟晶体生长** ### 6 无线传感器网络 ##### 6.1 无线传感器定位 ##### 6.2 无线传感器覆盖优化 ##### 6.3 室内定位 ##### 6.4 无线传感器通信及优化 ##### 6.5 无人机通信中继优化 #####
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值