减少自动化测试中的误报:网络研讨会问答

QASource和Sauce Labs最近联合举办了一场网络研讨会，题目是:减少自动化测试中的误报”。以下是一些在网络研讨会之前和之后被问到的问题的答案。

测试网页元素是否存在的最好方法是什么?
检查web元素是否存在的最好方法是在你的框架中实现动态对象同步。这略微增加了执行时间，但却极大地提高了测试的可靠性，并节省了稍后用于分析误报的时间。因此，动态对象同步是一个值得在框架中实现的关键策略。
你如何处理已知的bug ?(已知的错误是存在于产品中，但不能立即修复的错误)您是将软错误写入测试以防止它们失败，而将构建标记为不稳定，还是始终让它们失败，还是完全从测试套件中删除它们?
您可以通过使用不同的名称或优先级对套件进行分组来处理这种情况。已知错误的案例可以分组到一个单独的套件中，然后按优先级进行修复。当所有其他的构建都通过时，这也可能是不稳定的。但是，从套件中删除测试并不是一个好主意，因为使用这种方法将会错过底层场景。
将依赖的测试放在同一个脚本中是否有助于减少套件的执行时间，而不是为每个测试创建单独的脚本，因为这将花费更多的时间登录、设置、运行测试和注销?
依赖测试更容易在失败的情况下留下痕迹，这可能导致假阳性。使用独立测试，您可以看到执行时间的边际增加，但它为识别和修复假阳性节省了大量时间，提供了可靠的测试运行和更好的自动化ROI。
常用的是什么自动化工具吗?
有许多商业和开源工具可用。然而，在确定一个特定的自动化工具之前，一定要根据您的需求做一个可行性分析。最常见的工具有Selenium、Telerik测试工作室、QTP (UFT)、test Complete、Watir、Squish、Appium、CodedUI等。您可以了解关于选择适当的自动化工具的更多信息在这里．
你能解释一下动态对象同步吗?我们的许多测试由于等待时间不足而失败/超时，这些等待时间被手动输入到中央测试配置文档中，然后由所有测试使用。
动态对象同步允许您在定义的时间限制内获取元素的存在。如果在时间限制内找到元素，则执行基础语句。这允许通过集中式配置成功实现。
是否单独测试了删除功能?如果“delete”作为AfterClass的一部分失败了，会发生什么?
是的，在实际测试之前，应该独立地测试记录的删除或截断。分解处理测试中的类似场景。
如何实现重复执行能力?这是如何报告给CI服务器的?
有许多方法可以实现重新执行功能。最常见的方法是编写一个测试执行器来侦听测试的状态，并在测试失败时重新执行它们。另一种方法是配置不同的CI构建，其中一个构建会在其他构建的状态下触发，然后将失败的测试分组以便执行。
一个未经维护的测试套件会导致假阳性吗?
如果测试彼此依赖，那么就需要在测试套件中维护流。如果有任何功能更改，则相应的测试将失败，底层功能将更改，从而可能导致误报。