On the Danger of Coverage Directed Test Case Generation

Slides:



Advertisements
Similar presentations
模板的使用 教育学 江西教育学院教育系 冯芳 2012 - 10. 第二章 教育学的产生和发展 第一节 教育学的研究对象和任务 第二节 教育学的产生与发展 第三节 学习教育学的意义与方法.
Advertisements

103 學年度社工系生涯規劃課程 國考秘笈分享及學職涯多元開展 講座活動記錄. 活動日期: 102 年 11 月 25 日 活動地點:慈濟大學 2C108 主辦單位:慈濟大學 講師 : 刑志彬 花蓮縣社會處社工師 參與人數: 53 人.
1 课程介绍 报告人:谢兆贤 2015/9/X. 2 纲要  课程设置  教学内容  教学设计  教学组织与实施  课程特色与创新  实验项目.
用 藥 安 全 用 藥 安 全 護 理 師 張 嘉 芬. 前 言 前 言 正確用藥的方法 藥袋上的秘辛 為了減少重大疾病或是醫療處理、 用藥不當的相關事件發生。
阿尔伯特亲王 阿尔伯特亲王纪念碑 维多利亚女王夫妇 维多利亚女王一家 建造水晶宫 水晶宫初建时的照片.
梦想启航 ——大学生活与职业规划专题讲座.
贴着生活写作 慈溪中学 黄宏武.
壹 展会营销方式 在休闲娱乐产业中的分析. 壹 展会营销方式 在休闲娱乐产业中的分析 对于行业、企业、产品的作用 会展营销 的作用 会展营销 集行业资源要素、灵活多变的活动手段、面对面的展览展示等优点,已经发展成为所有行业开展营销工作的首选手段。 1、市场调研功能 5、注意力经济效应 2、产品创新功能.
河北保定外国语学校 高三家长会.
行政执法人员 综合法律知识培训 二OO六年八月.
第2框 文化创新的途径 考点:理解文化创新的重要途径.
第五章 主张超尘绝俗的 佛家.
以信息化带动教育现代化,打造教育的“南山质量”
指 导:高歌老师 责任编辑:汤杰林 杜峥 供 稿:课代表 班委会 团长 栏目创编:张廷信 技术编辑:汤杰林 杜峥 常务编辑:杜峥
个体税收征管政策讲解 浏阳市地方税务局.
安全自护我能行 ——八年(1)班主题班会.
义务教育语文课程标准 修定与发展趋势介绍 华中师范大学 雷 实.
封面 2015易驾考最新分享: 科目二考试方法秘诀 文章来源:易驾考官网.
基于行业的 企业技术创新信息保障体系研究 刘 华 博士 中国科学技术信息研究所.
第四讲 1949—1991年的中苏关系 及其经验教训.
麵包的秘密 作者:奧亨利.
“鼠标加水泥”的百货公司——武汉中百 朱巧巧 陆嘉怡 田泽宇.
合理控制索道游客流量 确保景区可持续发展 云南丽江玉龙雪山索道 陈加林 二0一五年十一月.
千里挑一的“征途” ——浅谈中国“国考”热.
臺南市104學年度 國民中小學新進教師研習課程 廉政宣導與案例研習 臺南市政府教育局政風室 科員 黃彥雄.
技職教育之人才培育 -以育達商業技術學院為例 王育文 戴美華 育達商業技術學院 吉林大學企業管理系 副校長 博士生
第二课 扬起自信的风帆 我能“行”.
研修4组 学习简报(第3期) 主编:左文玲 2015年2月7日.
  中国技术交易信息服务平台 中国技术市场管理促进中心.
每周物流资讯 苏州得尔达国际物流有限公司 第四十三期.
潘集小学英语班 学习简报(第5期) 主编:吴婷 2016年2月28日.
龙海公寓· 多城一家O2O项目 商业计划书 2015年7月.
99年成語200題庫(21-40).
《民法学》第七讲 债权法(下):合同法 中央党校政法教研部 李雅云教授.
临沂市华泰工艺美术有限公司 人事管理制度培训.
從性別天生到多元性別.
僑務委員會法規委員會 專門委員兼執行秘書徐佑伶
与领导、下级、同事的 沟通技巧.
潜能宇宙平衡法则 ——启动11.11天地人合新生命工程(分类系统) 凛然智慧(北京)教育咨询有限公司.
失眠的饮食及调理 北京国济中医院
中餐烹調實習Ⅲ 第九章中國菜系介紹 林可薇 製作.
法務部行政執行署彰化分署 行政執行官李垂章
扬州大学建筑科学与工程学院 青年共产主义学校 第十期暨主要学生干部培训班 二OO八年十二月.
班主任素质提升要走自主发展之路 广 东 技 术 师 范 学 院 外国语学院 英语(翻译)12级1班 李秀云.
引领民族复兴的战略布局 —— 关于“四个全面”若干问题之解读 福建省委党校 福建行政学院 曹敏华教授.
新高考研究介绍 湖北省教育考试院项目研究组.
如东中专 学校文化课现状及提升举措的思考
法務部行政執行署彰化分署 行政執行官李垂章
我們最常去的地方還是我的故鄉苗栗, 您知道春天的樟樹是什麼香味嗎?
第3讲 时间管理.
语文阅读领航—— 律师种类介绍 李泽键小组 组员:李泽键、谢力、郑皓、于济铭、江迎.
续班指导.
高等教育出版社 工作汇报 化学化工分社 翟怡.
主題: 測驗在評鑑中的角色 指導教授:丁文生老師 報告者:黃馨慧 資料來源: 王振世譯(2005)。評鑑模式:教育及 人力服務的評鑑觀點。
农作物病虫害图解 阜宁县农业干部学校 二OO九年四月.
克拉玛依职业技术学院klmyzyjsxy
臺北市立松山家商 103學年度第1學期 學校日 教學說明 簡報
成人發展與適應-參訪門諾醫院長期照護部:居家照服工作、日間照顧中心、 護理之家
国际关系的决定因素:国家利益 江苏省震泽中学 丛海啸.
報告人: 財政部採購稽核小組稽核委員 台灣菸酒股份有限公司王自來
黃壬來教授 臺灣文藻外語學院傳播藝術系系主任 李樂華博士 教育統籌局課程發展處藝術教育組 高級課程發展主任(視覺藝術)
大拇指游戏的类似经历 1、作息时间? 2、 考试成绩? 板书,表情典型性 3、心情?.
Symbolic Execution During Test Data Generation and Augmentation Top Paper Review Zhiyi Zhang.
地質篇 Unit_04_地質年代.
聚合型第一種:隱沒帶、島弧 例子:臺灣東方的琉球海溝、南美洲智利海溝. 聚合型第一種:隱沒帶、島弧 例子:臺灣東方的琉球海溝、南美洲智利海溝.
从“聚焦课堂”到  “关注教育教学全过程” 浙江省教育厅教研室 张 丰 二OO八年十二月.
臺北市私立大同高中105年 地震疏散演練 上午9時21分, 實施防災演練, 9月13日0730實施預演.
明湖國小 文書講習 時間: 地點:總務處.
Module_5_Unit_4_ppt Unit4:非线性系统的描述函数法 东北大学《自动控制原理》课程组.
请大家起立,练习“站桩”:两手平伸,两脚与肩间宽,双脚尽量下蹲,上身保持平直。
Presentation transcript:

On the Danger of Coverage Directed Test Case Generation Matt Staats, Gregory Gay, Michael Whalen, Mats Heimdahl

研究背景 1,自动化测试用例生成 2,生成准则(结构覆盖),评价 3,用结构覆盖指导随机生成比单纯用随机生成的效果要好。 4,生成满足结构覆盖的测试用例集的效果未知。

研究问题 结构覆盖(分支覆盖,MC\DC覆盖) 测试用例生成方法(counterexample-based test generation,随机测试生成) 评估标准(变异测试,size)

实验对象

实验步骤 (1) mutant generation(250个变异) (2) random and structural test generation 测试用例生成,测试用例集约减 (3) computation of fault finding 两种(output-only,max-oracle)

实验结果

结果分析和结论 假设结论 结论 1,使用分支或MC/DC覆盖来辅助随机测试生成比单纯用随机好

测试工具的不足 当前的测试用具 改进方法: 1,改进工具:比如在生成的时候多生成较长的测试用例。 2,改进已有的覆盖策略,比如用SAT来生成

Yi Wei Manuel Oriol Bertrand Meyer Is Coverage a Good Measure of Testing Effectiveness? An Assessment Using Branch Coverage and Random Testing Yi Wei Manuel Oriol Bertrand Meyer

研究背景 分支覆盖和发现的错误是直接相关的 研究分支覆盖和错误发现之间的关系

实验的设计 1,程序选择(OO程序里的Contract-Based Unit Testing) 2,自动执行工具(Auto Test Tool) 时间 2520个小时(6*30*14)

初期的研究

Predictability of coverage level 前10分钟长的 较快,后面较慢。

Similarity of coverage

如果一个 分支没有被 一个测试用 例覆盖到, 其他的测试 用例集也很 大概率覆盖 不到。 用不同的随机 Seed生成的测 试用例集覆盖 差不多。

Predictability of number of faults

Similarity of faults

不同的随机 生成seed对于 Fault影响的效 过比分支要大。

Correlation between branch coverage and number of faults

进一步研究和结论 Is branch coverage a good stopping criterion for random testing?(No) Is branch coverage a good measure of the testing effectiveness?(No) What are the unexercised branches?

Thanks