AI的视觉自动化测试

在软件测试自动化中，我们经常发现测试方案，其中验证Web元素或其鼠标事件的存在不足以确保对应用程序功能的无缺陷实现。

在测试测试方案（例如在视频播放器中播放的视频验证，验证音频消息，缩放图像查看器的缩放功能，图像的亮度，机器人模拟器等，视觉或音频确认是必不可少的，以确保应用程序的应用是必不可少的，功能可根据需要工作。

通常，此类场景被标记为“不能自动化”，并在每个发行周期中都保留进行人体或手动验证。由于所需的体力劳动，这增加了整体成本和更长的回归周期。

诸如计算机视觉或语音分析（语音分析）之类的AI支持技术提供了可行的解决方案，可以在需要类似人类验证的情况下自动化此类测试方案。

基于AI验证的示例

假设我们想自动对视频播放器的变焦功能进行自动化。在存在“变焦”按钮的情况下，可以使用传统的Web驱动程序（如Selenium和Puppeteer）来验证其鼠标事件和属性。

我们如何验证在单击“缩放”按钮以及图像的正确部分放大时，图像正在缩放？

这些测试方案可以通过使用计算机视觉技术来验证。我们可以提供缩放图像作为计算机视觉引擎的输入，该输入将执行图像分析并根据所提供的测试要求验证图像。

为此，图像特征技术可用于生成图像向量并通过训练有素的AI模型运行以对图像进行分类。我们可以将该计算机视觉系统与UI自动化框架集成在一起，并在自动化套件中整体运行该系统。

验证对象或图像的最佳方法

轮廓分析方法应用于识别对象的形状并自动化边界框的验证。
使用Ramer -Douglas – Peucker（RDP）算法的轮廓近似值，可很好地近似轮廓形状到另一个具有更少顶点的形状。
为了验证两个对象是否重叠，请与高斯模糊操作员一起使用联合/交叉点操作。
“ ret_tree”方法是一种易于使用的方法，用于提取对象的内部和外部轮廓并将其整理成树图以进行分析。

关键要点

可以通过将UI自动化框架与AI系统（例如计算机视觉/语音到文本）集成，可以实现需要类似人类的视觉和视听验证的应用程序功能/功能。
各种深度学习技术可用于图像特征和分类。

Qasource的AI自动化专业知识

在Qasource，我们在设计和构建AI测试自动化解决方案方面具有丰富的经验，该解决方案针对需要类似人类验证的软件应用程序/机器人模拟器。

我们使用Resnet，Alexnet和Onenet以及自定义深层神经网络（例如Resnet，Alexnet和Onenet）等各种CNN体系结构具有计算机视觉技术和深层神经网络的专业知识。