测吧爱测智能测试平台是一款基于大模型与智能体技术的测试平台,平台的核心理念是:让 AI 去理解需求、生成用例、执行测试,从而帮助企业大幅提升测试效率、降低人力成本,提升软件质量的稳定性。
目前,爱测平台主要为企业提供四大核心能力: 第一:需求文档到用例的一键生成 支持需求说明书、用户故事、接口文档等多种格式, 通过 AI 自动生成覆盖率高、逻辑完整的测试用例,极大节省人力时间。 第二:手工用例的 AI 自动执行 通过自然语言编写的手工用例, 无需任何代码,AI 智能体即可模拟真实用户操作完成执行过程, 让手工测试轻松转化为自动化测试。 第三:智能遍历与模型驱动测试 提供一个被测产品,AI 可基于产品逻辑与交互关系,自动进行探索式遍历测试, 帮助发现潜在缺陷与隐藏路径。 第四:领域建模与知识图谱生成 AI 可通过解析被测系统的结构与接口关系,自动生成知识图谱,并据此推导出业务流程及测试用例。 这种方式能有效减少对需求文档质量的依赖,让测试过程更加全面。
为了便于大家理解,我们将爱测智能测试平台划分为四个层级:能力层、智能体层、工具层和模型层。 第一层:能力层,这是平台直接面向企业的业务功能层。通过爱测平台,您可以完成从测试用例生成、Web 与 App 自动化测试、接口测试、到智能遍历回归测试、健壮性测试等一系列测试能力的应用。 第二层:智能体层,这是爱测平台的核心引擎。目前,我们已经封装了多种智能体,包括:用例生成智能体、自动化测试智能体、接口测试智能体、知识图谱生成智能体、自动遍历智能体。这些智能体通过自然语言理解和模型推理,能够像测试工程师一样分析需求、推导用例、执行操作,真正让 AI 参与到测试全过程中。 第三层:工具层、在工具层,我们集成了多种主流的自动化测试框架和工具,例如 Selenium、Appium、Playwright,如果企业内部拥有自研测试工具,也可以通过接口与爱测平台进行适配,实现自研工具与 AI 智能测试流程的无缝融合。 第四层模型层是整个智能化测试体系的底座,我们支持企业使用私有化部署的大模型,包括像千问、DeepSeek 等开源模型,也可以对接企业内部已有的模型服务。接入方式非常简单,只需配置模型的接口链接和 Token 值,即可快速集成,让 AI 测试能力安全可控。 接下来我就给大家详细介绍一下平台的核心功能。
接下来,我们来看一下爱测智能测试平台的第一大核心功能——基于需求文档的测试用例自动生成。这一功能的设计初衷,是让AI真正参与到测试设计阶段,借助人工智能的这个强大的“大脑“推理生成更全面的测试点。让用例生成更高效、更标准、覆盖率更高。在爱测平台中,我们提供了两种智能生成逻辑:第一种方式,平台会自动分析需求文档或接口文档,通过语义理解提取出业务流程与测试点,直接生成结构化的测试用例。第二种方式,平台会先对文档进行深度解析,生成一个业务知识图谱,再通过对知识图谱的Review,确保覆盖所有关键业务路径,最终基于图谱自动生成测试用例。
这是一个用例生成之后的示例。
爱测平台目前支持多种文档接入方式: 需求文档上传平台: 目前爱测平台已经实现了对文本、 pdf 、markdown 、 excel、xmind 等多种需求文档格式的支持。 如果企业的需求文档托管在第三方平台上,也可以通过远程文档接入的方式来接入,只需粘贴远程地址或通过 API 适配,即可实现自动同步。 也可以通过平台的知识库功能,来构建企业自己的知识库,然后在生成用例的时候引用知识库里资料,让 AI 学习和借鉴已有知识,来提高用例生成的质量。
接下来我们来看一下从需求文档生成功能测试用例在平台里是如何实现的。首先我们要去新增一个需求文档,你可以选择上传文件、使用第三方链接、直接粘贴文本或者从已有的企业知识库中选择对应的文件,然后点击保存。接下来我们需要新建一个文档的套件,通过套件的模式将多个需求文档组合在一起。 然后点击套件右侧的详情,点击‘运行’,在任务页面,选择你想要使用的大模型,然后选择执行任务的智能体,功能测试用例生成选择‘需求文档生成测试用例’的智能体就可以,如果想生成接口测试用例,那选择‘接口测试用例生成智能体’即可。然后选择‘执行节点’,执行节点指的是用来执行我们用例生成任务的服务器,在平台里面,用户可以自由添加自己的执行节点。如果企业内部有自己的用例规范也可以在‘提示词’里告诉智能体,比如文档中有很多功能模块的介绍,但是你只想生成某个功能模块的,也可以在‘提示词’的环节去明确。填写完成后,我们可以点击保存并运行。 运行开始后在任务列表页,我们可以到这个任务的状态是‘进行中’,我们可以点击‘详情’查看任务运行的进度以及日志,当任务出现异常时,也可以通过日志去排查问题。 当任务运行完成后状态会被标记为‘已完成’,我们可以点击‘生成后的用例’去查看生成 case 。 我们从这个 case 列表中可以看到,生成的用例里包含了功能测试、性能测试、安全测试等用例类型,同时用例在设计的时候也使用到了边界值、等价类、场景法等常用的用例设计方法,跟咱们工程师自己去编写测试用例的流程是一致的。需求文档里提到的业务场景和约束条件,在生成的用例里也都有所覆盖,并且大模型也根据约束条件在测试用例构造了测试数据。
这个视频演示的就是一个接口测试用例生成的过程,它的输入是一个标准的 swagger 文档,我们通过一个远程链接的方式将这个文档提供给智能体,整个操作过程跟上面给大家介绍的功能测试的操作流程是一致的,唯一不一样的是在选择智能体的时候,我们需要去选择'接口用例生成智能体',同样的你也可以通过提示词板块去明确想要生成的哪些接口的测试用例,智能体在生成测试用例的时候会自动分析整个 swagger 中接口的调用关系以及参数,然后生成对应的测试用例。生成的测试用例里会包含请求方式、请求地址、请求体和请求头的数据,跟咱们人工去构造接口测试用例是一样的。生成的接口测试用例里也会包含对不同参数值约束条件的一些测试。
| 传统方法 | AI测试 |
|---|---|
| 高度依赖测试工程师的经验 | ✅ 高度规范化,新手可以快速写出专家水平的用例 |
| 用例覆盖度评估困难,容易遗漏 | ✅ 精准覆盖到文档段落与业务知识点 |
| 历史用例维护成本大 | ✅ 可以及时更新修正用例,支持快速重写 |
传统的用例设计依赖测试人员经验,标准不统一,常出现关键路径遗漏、边界覆盖不足、用例冗余等问题,导致效率低、复用性差。 而通过爱测平台的测试用例生成智能体,系统可自动识别测试点、批量生成高质量用例,结合系统提示词与用户自定义提示词, 企业还能精准控制用例生成规则与质量,统一规范、覆盖全面、减少漏测。
整个过程无需编写任何代码,完全由AI驱动完成。 首先,在平台上编写或导入一条自然语言编写的手工测试用例。例如:“打开测试人网站,输入正确的用户名和密码后,点击登录按钮,系统应成功跳转到首页。”, 在接收到这条测试用例后,AI智能体会自动识别这条用例每一步的操作意图,推理分析涉及的页面元素、接口调用、输入条件等,并自动生成对应的测试上下文,最后由智能体去驱动对应的自动化测试工具完成每一步的操作,完成整条测试用例的执行,最终生成详细的测试报告与执行日志。
接下来,我们来看爱测智能测试平台的第二大核心功能——手工测试用例的 AI 自动化执行。 这一功能的目标是:让传统的手工测试也能“一键自动化”,让没有编程经验的测试人员,也能轻松完成自动化测试。由智能体来模拟用例执行、用例断言并最终给出测试结果。 目前平台已经支持Web/App 自动化测试用例、接口测试用例的自动执行,同时我们也支持基于这些标准化的智能体做定制开发,来完成一些特定领域的产品测试工作,比如车联网、物联网领域。
我们来看一个 web 自动化测试智能体的示例,给定一条测试用例,比如:打开测试人网站的搜索功能,搜索一个关键词,并且点击第一条搜索结果,当我们把这条用例提交给智能体之后,智能体会先借助大模型去理解用户的意图,并且规划出响应的路径,比如我们的指令是:打开测试人网站,那智能体会规划为:启动 chrome 浏览器,在地址栏输入 ceshiren.com,点击回车,然后基于获取的页面结构,去推理哪一个是搜索框,跟这个控件的交互方式是什么,有什么样的测试数据,以此类推逐步完成一条测试用例的执行,并且给出最终的断言结果。 当然我们的平台也支持批量的去执行测试用例,只需要把这些测试用例放到一个测试套件里,然后去执行这个测试套件就可以。
这个示例是在禅道里创建一个测试任务的案例,同样也是把测试用例提交给智能体,由智能体去模拟用户操作完成用例执行并且给出对应的执行结果,。
用例执行-创建项目
这个示例是在禅道里创建一个项目的案例,案例里也涉及多种类型的控件,比如:输入框、按钮、下拉列表、日期等,可以看到我们的智能体对于这些控件的支持都是很完备的。
这个示例是在禅道中完成提交bug流程的测试。
用例执行-提交bug
App 自动化测试智能体可以将自然语言编写的测试用例,借助 ReAct 推理功能,自动推理识别页面元素,模拟用户操作完成测试用例的执行。比如视频中给定一个指令“添加时钟”,智能体会识别这个指令,拆解对应的步骤为“打开时钟 app,添加一个时区”,完成对应的操作,在这个过程中我们也融合了自己的算法来提高推理的效率,降低 token 的消耗量。
我们来看一个 App 测试的案例,这是我们之前给一个汽车厂商做的 POC,这个用例是对车企 App 里 3D 模型的车窗动效做一个测试,在这个案例中智能体模拟了用户执行了测试用例,并且在 case 断言阶段借助了多模态大模型,通过图像识别技术,分析最终页面及动态效果来对比用户给出的预期结果,给出最终的用例执行结果。
这个案例是车门动效识别的案例,在这个案例中为了让车门动态更清晰,首先我们做了一个滑动的操作把车身来摆正,然后执行对应打开、关闭车门的一些列操作,最后通过图像分析技术来给出最终的断言结果。
传统接口测试依赖人工编排调用流程,效率低、易出错。接口测试智能体通过自动路径规划,可以自动分析接口依赖关系,自主调用和组合接口来完成接口测试。 目前接口用例执行支持传统接口用例与自然语言用例两种模式,可以是包含请求地址、请求头、请求体的接口测试用例也可以是指令行的接口测试用例,就像ppt中给出的2种示例一下。 指令形的测试用例在执行时,如果测试用例里没有提及对应的测试数据,智能体也会根据接口参数的类型自动构建测试数据来完成测试。
智能体在执行完测试用例之后,会生成对应的测试报告,完整记录接口请求路径、参数、响应及依赖链,支持路径回溯与缺陷定位。
我们来看一个接口测试的示例,在这个示例中有一条指令形的接口测试用例,在这条用例中主要执行了3个步骤,一个是注册用户,一个是创建一个宠物类别,然后用创建好的宠物类别去创建一个宠物。我们在执行这条用例的时候选择:接口测试智能体,智能体在接收到这条接口测试的指令后,会依据测试工具中我们注册的接口文档自行推理需要调用的接口,比如“注册用户”这个指令,智能体会自动推理调用 Create user 这个接口,并且使用测试用例中提及的测试数据构造请求体,向对应的接口发起请求,然后在使用创建好的账号,通过登录接口来完成登录操作,以此类推,完成其他测试步骤的操作。 最后创建完宠物后,智能体会自动去调用read_pets接口,读取一下宠物列表,通过宠物列表的返回值来断言这条用例的执行结果,最终生成测试报告,在这个测试报告中会全链路的记录接口的调用,日志中也会详细记录发起请求的数据和返回值,方便用户去定位问题。
| 传统测试 | AI智能化测试 |
|---|---|
| 自动化测试脚本维护成本高 | ✅ 不需要维护自动化用例 |
| 自动化用例不稳定不健壮 | ✅ 智能处理异常 智能自愈 |
| 断言能力弱 | ✅ 断言灵活 |
在传统的自动化测试中,脚本开发门槛高、维护成本大,面对多端多场景测试时,脚本往往稳定性也不足,UI自动化测试整体的ROI比较低,而在爱测平台中,只需自然语言描述用例,AI就能理解测试意图,模拟真实用户操作,自动完成测试执行。 手工用例与自动化用例实现一体化管理,无需再维护脚本,只需维护用例本身,让自动化测试真正做到低门槛、高效率、强稳定。
用例执行完成后,智能体会自动断言case的执行结果,并最终生成测试报告,测试报告中也会记录每一个操作步骤及详细的日志,辅助用户去快速定位bug原因。
结合自然语言大模型与多模态推理技术,可自动识别测试页面中的图文内容、UI 变化与状态逻辑,精准完成断言判断。
在断言方面,平台会结合大语言模型与多模态模型,对用例执行后的页面结构、页面内容的变化跟测试用例的预期结果去对比,给出断言结果,也会使用图像分析技术区辅助断言,比如前面给大家看过的汽车3D模型执行后的状态对比就是用到了图像识别。
通过这张图片,我们也可以看到在最终的测试报告中我们会保留每一个操作的截图,包括操作前是什么页面,操作后是什么页面,用户可以非常方便的去定位到bug位置。
接下来我们来看一下平台的第三个功能——自动遍历,自动遍历测试智能体是一款基于模型测试的工具,支持Web、App及小程序等多场景自动遍历测试。用户只需要提供被测网站地址或者app的入口activity,定义好产品的遍历规则,自动遍历智能体就可以基于模型推理,对产品进行探索性测试。可以用来做全量的回归测试以及产品上线前的健康检查。
相比于传统的手工测试和自动化测试,智能遍历的测试覆盖度高,默认会遍历整个产品功能,遍历的执行效率也比较高,每个操作都是毫秒级别的,另外用不也不需要去维护脚本,员工习得性成本也比较低,只需要学会怎么去定义遍历规则就可以了,不需要具备编码能力。
平台的智能遍历功能支持用户自定遍历规则,比如自定义遍历深度、遍历的黑名单、添加一些测试数据、全局性的断言等等,用户可以通过更改遍历配置文件中的相关字段的值来定义自己的遍历规则,智能体在遍历的时候会去读取用户设置的一系列的规则,然后遵循对应的规则完成遍历操作。
智能体遍历完成后会生成对应的遍历报告,在遍历报告中遍历过的每一步操作都会有对应的截图,遍历的每一个控件也都会被标红,用户非常方便的就可以去回溯问题。
提供 web 或者 app 链接,智能体自动推理进行探索性测试
接下来,我们来看一个智能遍历的案例,这个示例里是对API Demos这个App进行遍历操作,在平台里我们只需要去创建一个智能遍历的测试用例,在测试用例中声明好测试用例的名称,App的入口activity以及我们想要使用的appium server的地址,还可以给遍历操作添加一些账号信息,以及定义一些遍历规则,然后点击「保存」即可。创建完成后,我们点击右侧的【查看详情】,然后点击【运行】,选择对应的大模型,在智能体的选择上我们需要选择:自动遍历智能体,然后点击【保存并运行】即可。 然后我们可以看到我们的智能体会自动启动对应的app,然后开始进行遍历操作。 遍历完成后,我们可以在相关的测试任务后面,点击【查看详情】来查看对应的测试报告。 到在测试报告中,我们可以看到智能体遍历了哪些包,点开每个报名后,也能看到详细的遍历的操作已经对应的截图。 同时智能体在这次遍历操作中发生了一个程序崩溃的的bug,我们的遍历测试也捕捉到了这个bug,这就是一个完成的自动遍历的示例。
智能体在对被测产品进行遍历的时候,会记录下大量的页面数据,基于这些数据我们衍生出来了一个Diff测试的功能,所谓的Diff测试就对比不同分支的遍历数据,来找出哪些数据被变更了,基于这些变更我们可以快速的识别到这次迭代被影响的界面有哪些,进而去提高回归测试的效率。实施方法就是我们可以先基于已经上线的版本去做一次遍历,保存下对应的数据,然后下一个版本的测试环境出来后,我们可以对测试分支做一次遍历,然后去对比两个分支的遍历数据,就可以快速找出变更的页面。 当然为了提高对比的准确性,减少噪声,我们也可以对同样的分支去遍历2次,做一些降噪处理,用降噪之后的数据作为基准再去跟另外一个分支做对比。
智能体在做完Diff操作后,会生成最后的一个测试报告,Diff测试报告里的failed代表的就是有变更的页面,点开这些页面,可以看到具体的被变更的页面元素,比如在这个示例中,我们可以看到页面有一个元素的值被改变了,有了这些数据,我们在回归测试的时候就可以重点去测试有变更的页面。
| 场景 | 传统方法 | AI测试 |
|---|---|---|
| 用例编写 | 高度依赖测试工程师的经验 | ✅ 高度规范化,新手与专家拉齐水平 |
| 用例覆盖度评估困难容易遗漏 | ✅ 精准覆盖到业务知识点 | |
| 历史用例维护成本大 | ✅ 更新、重写用例容易 | |
| 用例执行 | 自动化测试维护成本高 | ✅ 不需要维护自动化用例 |
| 自动化用例不稳定不健壮 | ✅ 智能处理异常 智能自愈 | |
| 断言能力弱 | ✅ 断言灵活 |
目前我们跟企业的合作方式也比较灵活,有科研合作、成品采购和定制开发三种形式。 如果是说咱们公司内部已经做了一些AI方面的建设,但是有些环节想交给外面的公司来做,那我们可以以科研合作的方式给你们提供技术支持,共同研发。如果咱们是想采购第三方工具来完成AI落地,那也可以走我们的成品采购,价格在18万-60万不等,看你们采购的功能模块。另外就是咱们如果想要定制开发智能体来解决一些特定领域的问题的话,我们也可以提供定制开发的服务,这个可以看大家的需求,灵活选择合作方式即可。
我们公司目前的AI产品在一些客户那边也已经有应用了,比如像芯片研究所、运营商、车企领域的一些客户。
这是我们之前合作过的一个客户,主要是围绕测试工具的建设的,测吧在测试工具和AI赋能测试这方面已经积累了很很多经验,相信我们在这些领域里一定会有一些合作的方向。