单元测试 – 测试失败时,代码库与测试的“正常”比率是否存在问

我目前正在开展一个具有相当重要业务规则的项目,因为我们正在编写解决方案(相当典型的混乱项目管理类型的事情),问题空间被“发现”.我们有体面的测试覆盖依靠他们相当一点,以确保我们的显着变化不会吹动任何东西.这种情况是单元测试狂热分子突出显示的一种事情,作为测试的一个典型例子,如果您不使用单元测试,帮助软件可以轻松修改,更少的缺陷和更快的完成.我很想知道如何在没有测试套件的情况下才能应付.

我的问题是,虽然我确信相信单元测试的价值(这个项目实际上是TDD,但并不是真正的问题),我想知道有关经验单元测试问题的更多编码和维护(即测试本身).再次.在我看来,毫无疑问,这个特定的项目比单元测试更好,没有它,我也关心测试的长期可维护性.

有一些我使用的技术,遵循他人的建议来帮助解决这个问题.一般来说,

>
我们创建了一个“依赖”vs“独立”桶中的测试列表.独立测试不需要任何不在源代码管理中的任何内容.所以对我们的数据访问层的任何调用都是嘲笑或从xml文件获取数据,而不是真正的数据库.作为名称建议的依赖测试取决于运行测试时可能未正确配置/可用的配置文件或数据库或网络的东西.将测试分成这样的组件已经非常有价值,允许我们为早期开发和独立任务关键测试编写依赖的“丢弃”测试,可以依赖和重新测试腐败.它也使CI服务器易于管理,因为它不必在db / db连接等上进行设置和维护.

>
我们针对不同级别的代码.例如,我们测试了“main”,并测试了“main”将调用的所有方法.这使我们有能力瞄准系统的细节和总体目标.如果“主要”测试发生故障,那么“主要”测试很难调试,但它们通常不是唯一的破坏(详细测试也会中断).仔细阅读详细的测试和调试方法比较容易,但如果它们破坏了,但是它们不足以知道重构器是否会杀死系统(这是“主要测试”).

>
感觉舒适的“主要”测试对于重构器并没有代码库来说至关重要.所以’main’测试就像许多测试一样,使用不同的args来映射到用例的方法.它基本上是最高级别的代码的入口点,因此可能不是真正的“单元”测试.然而,我发现我真的需要更高级别的测试,以便感觉到重构器没有炸毁代码库.较低级别的测试(真正是“工作单位”)是不够的.

所有这一切都得到了解.随着项目向前发展,我发现我需要对代码库实施更改(有时相当重要,有时是微不足道的),我发现当更改导致测试失败时,测试失败和实际退化业务逻辑故障与单元之间存在比例测试无效换句话说,有时测试失败是因为实际代码库中的回归错误,有时是因为单元测试断言不再有效,而是需要更改的断言.似乎大致上,当测试失败时,对于这个特定的项目,它已经在大约甚至(50％).

有没有人跟踪他们的项目的这个比例,如果是这样,你有什么知识(如果有的话)这个比例？我不知道它甚至表示任何东西,但是我注意到大约一半的时间,测试失败导致我调整测试断言,而不是真正修复真正的代码库中的回归错误.无论何时发生这种情况,都让我觉得我只是浪费了我的一天x我想知道我的测试方法是否可以更有效率.解决测试断言通常比实际的回归错误需要更长的时间,这些错误既反对又令人沮丧.

编辑

请注意,这个问题是关于探索这个比例意味着什么以及你对这个比例的看法.什么时候“臭”？