架构下的优酷视频搜索测试体系"/>
三层架构下的优酷视频搜索测试体系
一、简介
优酷搜索承担着内容分发场排头兵的重任,海量的视频内容都要依赖搜索触达和呈现给用户。同时,优酷搜索的使用范围正在扩大,已经开始为阿里文娱全系产品提供搜索服务和能力。
面对如此复杂且对稳定性、精准性要求极高的系统,质量保障工作显得尤为重要。本文将为大家介绍视频搜索的质量体系是如何构建和发挥作用的。
二、业务特点
1. 视频搜索架构特点
- 支持复杂多样的上层业务场景,业务逻辑复杂;
- 从搜索开始到结果返回的整个业务链路长,涉及的模块及外部依赖多;
- 算法依赖数据,底层数据变更会引起上层算法结果变化。
2. 测试难点
- 业务链路长且复杂,用例覆盖率等难以进行有效度量;
- 离线和实时数据变更如何影响业务,数据质量的监控如何和业务紧密结合?
- 算法模块存在复杂性及不可解释性,算法效果难以进行有效评估;
- 海量数据中单个 badcase 无法说明问题,如何有效发掘共性的 badcase?
3. 质量保障方案
三、工程质量
1.回归
回归测试主要是上线发布前的测试,目的在于提前发现 bug,保证发布质量。目前各模块的回归测试均已作为研发流程的一环,交由研发自行进行冒烟,不管是否走提测流程,均能在一定程度上把控业务质量。
我们根据链路的分层,针对各层模块进行了各模块自身的功能回归建设。各模块测试用例的自动化回归依托于冒烟平台,其可实现任意环境的快速回归,目前已积累回归用例 5000+,定时线上巡检,分钟级发现问题。
2.监控
(1)功能监控
仍然是根据链路的模块划分,进行分层监控。监控仍依托于冒烟平台,并存储各模块日常冒烟监控数据以及真实 bug 数据。目前通过巡检已累计发现线上 bug 50+,具体冒烟监控数据大盘如下图所示。
更多推荐
三层架构下的优酷视频搜索测试体系
发布评论