admin管理员组文章数量:1565353
文章数量:1565353
某位高人曾说过:日复一日地重复着既有的测试,然后被类似的Bug折磨得无可奈何,不如稍作停顿,分析总结找到Bug的源头,以除之。本篇文章我们就来聊聊如何通过可视化的数据进行分析,进而提升测试质量。
为了让产品的质量可度量、可视化,我们可以建立一些指标数据,以帮助我们发现产品质量的各种问题,比如:被测功能模块发现Bug太晚,某位开发同学的代码质量一直很低,某个功能总是在兼容性方面存在大量问题等。有了问题之后,我们就可以有针对性地进行改进,有的放矢,从而使得被测产品的质量逐步改善。以搜狗的项目为例,我们建立的指标有以下三个方向:Bug、代码行和漏测问题数量。
关于Bug的指标
Bug是软件开发过程中最基本的问题载体,在这一方向,我们可以细化为几种数据指标,例如:
1.Bug数量分布(功能模块维度):
按照功能模块维度,分别统计Bug的数量(也可以是严重Bug数量)情况,该项指标用以反映哪个功能模块的质量情况最低。例如:搜狗输入法有语音输入、拼音输入、手写输入,分别统计某个版本这三个模块的Bug情况。
解释说明:
首先我们可以判断Bug数量高的模块是否合理。如上图所示,本次版本开发主要实现和修改的是语音功能,那么Bug数量多是合理的。
其次我们可以有针对性的部署测试策略。语音功能的问题数量较多,功能比较复杂,只是按照既有的测试计划可能模块质量覆盖不够全面,所以我们有针对性地对这个模块进行二轮、三轮甚至四轮的回归测试,或者安排更多地人力。
2.Bug数量分布(开发人员维度):
按照开发人员维度,分别统计每个开发人员所产生的Bug数量情况,该项指标用以辅助评估开发人员的代码质量情况。
这一指标可以帮助我们了解哪位开发的Bug修复压力最大(压力越大,连带Bug的可能性也会越大),测试人员可以留意对应开发的Bug修复率。
如果某位开发的Bug数量常年居高不下,测试人员就要注意小心了~~。
需要特别说明的一点是,Bug数量不能作为唯一评判开发人员代码质量好坏的数据,Bug数量是与开发人员提交代码量和模块复杂度成正比的,综合地查看Bug数量和代码提交量是比较可行的方法。
3.Bug易发现分布(功能模块维度):
Bug易发现是指一个功能模块在用户可触及的主路径上就会遇到的Bug,例如:在输入法的键盘上按下语音键进行语音输入时,功能不能使用。该指标用以统计提测模块的开发自测情况,数据越多说明提测时质量越差。
4.Bug易发现分布(开发人员维度): 同上,以开发人员维度进行分析统计。
5.Bug往返率(开发人员维度):
该指标用于统计Bug在缺陷管理系统中的来回指派数量的情况。比如:某Bug在开发人员A和测试人员B之间来回指派了3次,那么则统计开发人员A的Bug往返平均数量。
6.Bug发现的阶段:
该指标可选项有预测试、一轮测试、二轮测试、回归测试、上线前测试、上线后几个可选项,它用于体现Bug的发现时间段。
预测试一般是开发提测后进行1天的测试,用以评估提测的版本是否符合测试的要求。如果大量的Bug在预测试阶段发现(甚至是阻塞的Bug出现),说明提测版本的质量可能不好,这就需要督促开发给出质量更高的版本提测,以节省Bug沟通处理的成本,从而大大提升测试效率。
正式提测后,按照预期的效果,我们希望是大量的Bug在一轮测试阶段发现,少量的Bug在二轮测试阶段发现,极少量的Bug在回归测试阶段暴露。但是实际情况可能有所不同,如果二轮和回归阶段的Bug数量很多,这有可能是测试人员的测试方法、测试策略有问题,导致Bug暴露发现得比较晚;也可能是开发修复Bug时连带其他Bug数量多,这间接反映了开发修复Bug的方式方法可能有问题。
7.Bug产生的原因:
这一选项是Bug在提交测试验证时,由由开发人员填写的字段,该字段可选内容有:服务器问题、第三方SDK问题、适配性问题、UI显示问题、程序逻辑问题、性能问题、沟通不足问题、需求理解问题。(具体字段可选项可根据实际项目进行设定),这一指标用来辅助开发人员分析Bug产生的原因。
服务端问题(本例因为是客户端程序,所以选项中有服务端问题)如果存在大量的Bug,这说明服务端的质量控制不足。
第三方SDK问题。因为App一般会使用其他方提供的SDK直接调用,对于SDK的质量情况可以通过该项指标数据来暴露,如果问题集中且较多,后续应该推动SDK方提升其质量品质。
沟通不足、需求理解问题一般是工作配合类问题,如果是此类问题集中,应该重新评估整体项目流程运转是否正常有效。
关于代码的指标
借助功能强大的StatSVN,我们可以方便地统计出与SVN相关的各种数据指标,如:每位提交者的情况、每月的代码提交情况,代码修改占代码总数的百分比、每天中哪几小时比较活跃、每周哪几天比较活跃、文件数量统计等,关于StatSVN的介绍网上有很多使用教程,本文不再赘述,请感兴趣的同学自行"搜狗 StatSVN"即可。
千行代码Bug率:
在搜狗输入法项目我们主要使用了StatSVN的一个数据项:开发人员代码行数量,再结合上述1中的Bug指标数据,我们可以得到一个新的指标数据:千行代码Bug率,该指标用于侧面体现开发人员的代码质量情况。
这一指标数据会定期发送给开发Leader,以便开发Leader对其下的开发人员质量情况有一个清晰的认识,同时也会督促开发人员提升代码质量意识。
关于漏测问题的指标
除了测试环节Bug及代码的统计分析,对于上线后用户反馈暴露的质量问题,也应加以统计分析。在搜狗测试部,我们通过Bug总结流程来进行这一环节的数据录入和统计。(Bug总结具体的流程和方法请见推文【质量管理改进】Bug总结流程)
1.漏测问题数量分布(模块维度)
该指标从功能模块的维度,对线上用户反馈的问题进行统计分析,例如:搜狗浏览器的线上用户反馈数量最多的问题是浏览网页这一功能。
2.漏测问题原因类型:
根据以往的工作经验,我们将线上用户反馈的问题归为以下六大类,每一大类下细分小分类。
序号
问题分类
问题小分类
1
需求了解不足
需求沟通不到位,理解出错,多方理解不一致
2
未通知导致测试不知情
3
产品未考虑周全(例如多个入口的需求,双拼方案英文修改为中文)
4
测试范围确认不足
测试角度,范围确认有误
5
测试角度,范围确认无误,开发修改影响到不相关模块
6
用例设计不足
设计层面了解不足(灰白盒)
7
基本用例设计方法考虑不足
8
测试经验,测试发散度不足.
9
容错性和异常环境考虑不足
10
模块间相互影响考虑不足
11
兼容性问题考虑不足
12
测试执行疏漏
13
上线出错
开发上错代码
14
相关数据、接口未同步更新
15
其他
开发误操作
16
不是问题
17
已知问题
通过分析线上漏测的问题原因,可以发现测试、开发或者流程上的不足,以PC浏览器的分析为例:
浏览页面功能是TOP1被用户反馈的功能模块(这也符合浏览器最主要的功能就是浏览网页),进而发现这一功能出现问题最多的是兼容性站点的问题,或者是用户的测试环境比较复杂特殊导致的。
(882590) : 【问题类】打开某链接会稳定崩溃 (Google Doc)
(832095) : 【问题类】玩4399的小游戏时狙击枪不能开镜
(967951) : 【问题类】交通银行信用卡页面首次打开时输入框和验证码输入界面显示不全
基于以上的数据分析,我们重新制定了详细的浏览器站点兼容性测试方案,每个版本加大兼容性站点的测试,在测试阶段即发现了大量的Bug。
总结
作为项目管理者,我们可以通过分析项目每个版本的Bug数据、代码行数据、漏测的问题数量,发现数据背后的问题(开发问题、测试问题、流程问题等),针对问题寻找解决方案并实施,从而提升整个产品的质量控制。
本文标签: 质量测试数据
版权声明:本文标题:通过可视化数据分析提升测试质量 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dongtai/1725690459a1037010.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
原文转载自「刘悦的技术博客」https:v3ua_id_196 Python自动化,大概也许或者是今年最具热度的话题之一了。七月流火,招聘市场上对于Python自动化的追捧热度仍未消减&a
在 Ubuntu 下面我编译 android 12 已经尝试过很多次,都失败了。 都是执行下面这步的时候,编译了几个小时以后报错 make sdk sdk_repo -j12一开始给虚拟机分配了
2015年春节刚过,各大手机应用市场都没闲着,360手机助手在春节期间发出2亿现金红包,腾讯应用宝也开启扫码抢红包活动,百度手机助手则亮相江苏卫视。据独
本文转载自: https:wwwblogsshlcnarchive201107202111391.html作者:shlcn 转载请注明该声明。 1.影音文件出现循环冗余检查的
https:blog.csdnweixin_45912307articledetails10866147901 软件测试理论部分1.1 测试概念1.2 软件开发模型1. 软件生命周期2. 瀑布模型3 . 快速原型模型(现在特
嗨,Linux新手们!你们在尝试运行命令时有没有搞坏过计算机系统?我确信你们有过这种经历。这一幕经常发生:你想尝试运行命令,或者安装测试更新版,结果下一
Special Issue: Artificial Cognitive Systems for Computer Vision 欢迎计算机大数据人工智能计算机视觉相关工作的投稿! 影响因子3.7ÿ
1 先附上效果图 上面界面的打开过程是,任意网页,按f12,然后选择跟多工具,里面的传感器选项即可 2 原理 web端提供了deviceorientat
输入法的相关功能(以搜狗输入法为例) 1. 设置: 输入习惯、键盘布局、手写设置、语音设置、词库设置、快捷短语、消息通知、帮助与反馈等 其中输入习惯包括:中文(联想词、繁体、拼音纠错、智能调频、五笔输入、生僻字显示等)、英文(英文预测
原标题:苹果手机三款输入法谁更牛?专业媒体评测后给出结果 苹果IOS系统的流畅性让很多果粉欲罢不能,可有一个细节被吐槽了多年,那就是iOS原生输入法。界
1.如果以前的数据库还要,您应该在停止Mysql后备份原来的整个mysql目录. 停止mysql的命令如下: Net stop mysql 2.在添加删除中删除Mysql,为了防止删除不干净,您可以运行以下命令: SC delete Mys
Windows 10 卸载并重装MySQL8(保留数据) 转储数据库数据卸载MySQL重装MySQL(我的版本是8.0.21)背景:在用github下载项目时没有注意其中数据库名字为mysql,导致项目中的数据存在mysql数据库内,破坏了
官网地址:http:jsonhandle.sinaapp 安装完成后运行如果所示: firefox addon firefox插件版 https:addons.mozillazh-C
文章目录 前言 0 1、「 网络的问题」0 2、「 第三方服务问题 」0 3、「 高流量 」0 4、「 代码错误 」0 5、「 DNS错误」0 6、「 网络被攻击 」0 7、「 服务器故障 」0 8、「 被百度列入黑名单 」0 9 、「
文章目录 1. 写在最前面2. 将事情做正确2.1 数据库的端到端原则2.1.1 正好执行一次操作2.1.2 抑制重复2.1.3 操作标识符2.1.4 端到端的原则2.1.5 在数据系统中应用端到端的思考 2.2 强制约束2.2.1 唯一性
U盘现在已经成为了我们学习和中重要的工具。小小体积的U盘大大方便了我们的生活。但 是,很多朋友都在使用U盘的过程中都遇到过U盘数据突然变成0字节的问题。这种问题的出现 常常让人措手不及。出现这种现象࿰
在数字化时代,U盘作为便携式的存储设备,承载着我们生活中的大量重要数据。然而,不慎删除数据的情况时有发生,让人焦虑不已。但幸运的是,
U盘数据格式化如何恢复? 步骤一:去Recuva官网下载工具 官网地址:http:wwwleanerrecuva 步骤二:安装Recuva 步
一般来说,用过U盘的朋友都知道,当我们要删除U盘中的文件时,往往显示的是“直接删除”,而无法将删除的文件移动到回收站,以致让不少误
u盘变成RAW格式怎么修复?有些朋友在使用u盘的时候,发现插入电脑后,在“此电脑”中双击打开u盘时提示系统错误,如使用之前需要将其格式化、文件或者目录损
发表评论