阿里总监：三板斧你知道多少？

一.测试稳定性问题

在最优状态下，我们期望每一个测试用例的失败均源于实际存在的缺陷。然而在现实操作中，测试失败往往由多种非缺陷因素导致：

a. 某些服务的版本部署存在偏差

b. 测试执行机器的硬盘空间不足，由于前次运行生成的日志未被清理

c. 数据库中存在不规范的数据

d. 测试用例本身设计存在缺陷

e. 在测试运行过程中，有人手动执行了定时任务，导致数据被提前处理

f. 消息传输出现混乱

…

每次排查过程中都会遇到大量此类问题。久而久之，开发与测试人员对此类问题逐渐产生疲态。部分人员仅对失败的用例进行简单查看，便将其归因于“环境问题”，不再深入分析。这种做法使得许多真正的缺陷被遗漏，影响了整体的质量把控。

二.测试稳定性三板斧

如何应对测试稳定性问题？许多人可能会提到：环境配置、流程管理、监控机制、工具支持、增加设备资源、设立专职人员等。这些观点无疑是正确的。然而，它们主要停留在具体解决措施的层面，而非方法论和理论体系的构建层面。

从方法论与理论体系的角度出发，在安全生产领域我们总结出三个核心原则：具备灰度发布能力、具备监控能力、具备回滚能力。同样地，针对测试稳定性问题，我也提炼出三个关键原则：

a. 高频次（Frequency）

b. 环境隔离（Isolation）

c. 一次性使用（Disposable）

三板斧之一