人工智能
在软件测试开发中的应用
黄延胜-思寒@测吧（北京）科技有限公司
https://ceba.ceshiren.com/
智能化测试
为什么测试工程师需要掌握 AI
随着 AI 技术的逐渐成熟，AI 对于测试工程师的影响日益加深。AI 已经成为继自动化之后的下一场技术革命。及时拥抱 AI 以获得更加强大的测试效能与生产力，已经成为当下每位测试工程师的必修课。
日益增多的 AI 测试开发工程师岗位需求
- 越来越多的 AI 产品涌现，需要精通 AI 系统的测试工程师。
- 越来越多的应用系统在接入 AI，需要 AI 测试工程师
- 越来越多的团队需要借助于 AI 提效
智能化测试应用方向
| 方向 | 应用 |
|---|---|
| 产品 | 领域知识库 业务知识图谱 |
| 测试设计 |
业务测试用例生成 测试数据生成
基于文档的测试用例生成 |
| 自动化 |
测试自动化智能体 模型驱动测试
基于探索的自动化测试用例生成 |
| 缺陷挖掘 | 缺陷挖掘 缺陷溯源 |
| 代码 | 代码分析 精准测试 |
| 工作流 | 工作流自动化 |
人工智能基础设施与架构
常用大语言模型对比
| 大模型 | 质量 | 性能 | 成本 | 开源 | 商业 | 合规 |
|---|---|---|---|---|---|---|
| OpenAI ChatGPT | 5 | 5 | 高 | 有 | ||
| Anthropic Claude | 5 | 5 | 高 | 有 | ||
| Google Gemini | 5 | 5 | 高 | 有 | ||
| 阿里千问 | 4 | 5 | 低 | 是 | 有 | 是 |
| DeepSeek | 4 | 5 | 低 | 是 | 有 | 是 |
| Zhipu GLM | 3 | 3 | 低 | 是 | 有 | 是 |
| Meta Llama | 3 | 3 | 低 | 是 | ||
| Mistral Mistral | 4 | 4 | 低 | 是 | 有 |
大语言模型部署方案
- Ollama 量化大模型管理框架，适合个人本地部署
- LM Studio 量化大模型管理框架，适合个人部署
- llama.cpp 大模型 c++高性能移植版本，适合低配设备上使用
- vLLM 高性能服务引擎，适合企业部署
- TGI TEI hugging face 大模型服务
大模型应用平台
- open-webui 知识库 智能体 适合个人部署
- Dify 知识库 智能体 工作流 插件体系强大 定制性强
- Ragflow 知识库 智能体 工作流
- FastGPT 知识库 智能体 作流
- n8n 侧重于工作流编排，强大的变量语法
大语言模型应用开发框架
- Microsoft Autogen 微软出品的大语言模型开发框架
- llama index 功能齐全
- Pydantic.AI 强调类型 更加 pythonic
- Langchain 功能齐全 生态丰富
- LangGraph 基于有向图设计的智能体开发框架
开源大语言模型硬件环境
- 消费级电脑 ollama + 7b
- 轻量级别方案 MacMini + 7b 14b
- 适合中等规模大模型推理的方案 MacStudio + 14b 32b
- 适合推理的方案 h20 华为昇腾 满血版本
- 适合训练的方案 h100 h800
适合自动化的智能体工具与框架
- Web 自动化 Agent：Agent-E Browser-Use
- App 自动化 Agent：AppAgent
- Windows Mac GUI 自动化 Agent: Eko
- Hogwarts Agent 专业版 ： 零代码 数据驱动 自动化测试
视觉识别模型 Yolo OmniParser
- yolo
- OmniParser
- 阿里 QWen VL
- 字节跳动 UI-TARS
多模态大模型可以让我们更好的分析通用的 UI 界面。不过缺点也很明显，响应慢，获取的信息量不够全，通常需要结合控件树进行综合分析。虽然很多团队使用了视觉识别大模型，但是我们仍然不建议只使用视觉识别大模型。因为在一些更加复杂的案例场景中，需要获取在可视 UI 之下的深层数据以实现更快更稳定的测试，这是视觉识别无法做到的典型场景。
智能化测试设计
业务知识库建设技术
- 检索增强生成 RAG GraphRAG 适合普通文档
- 向量存储 VectorStore
- 知识图谱 KG 适合保存测试执行数据
基于图谱的知识库构建与检索 GraphRAG
业务用例生成的常见策略
- L1 初级：基于提示词生成
- L2 中级：基于 RAG+提示词生成
- L3 高级：基于 agentic 的递归推导
- L4 资深：基于探索学习的生成方法
- L5 专家：基于图谱生成
基于提示词生成
基于 RAG 生成用例
基于 agentic 的递归推导模式
- 逐级分拆功能点与测试点
- 加入反思机制
基于探索学习的生成方法 腾讯 AppAgent
利用探索发现的 UI 与功能点，反向生成文档。并基于文档补充生成更多测试用例。弥补产品文档的不足。部分探索逻辑可以参考腾讯 app agent。
基于图谱生成流程
研发代码分析
- 代码意图分析
- 流程图分析
- 语法树分析
- 变更分析
- 基于代码生成用例
- 缺陷挖掘
智能化测试执行
测试执行智能体
- 在测试设计阶段生成的自动化测试用例，可以直接执行，在 UI 发生变更后，需要重新生成。
- 在测试设计阶段生成的业务测试用例，需要通过 AI 执行
智能体
Agent 智能体核心元素
- LLM 大语言模型 chatgpt qwen deepseek
- Planning ：规划 路由 ReAct
- Parser ：结构化输出解析 json
- Tools ：工具集合与调用能力 tool function mcp
- Memory 记忆 短期/长期
利用 Agent 根据任务进行探索测试
- Web 自动化测试智能体
- App 自动化测试智能体
- 接口自动化测试智能体
- 通用自动化智能体（MCP）
利用 AI 执行网页自动化搜索
App 自动化 Agent
基于业务图谱的深度智能遍历测试
- 使用智能体对手工测试用例进行智能执行探索
- 探索补充业务知识图谱
- 基于图谱自动生成深层测试场景
- 模型驱动测试
开源 Web Agent Browser Use
开源 UI Agent magentic-ui
智能化测试断言与分析
知识图谱与领域模型
知识图谱（英语：Knowledge Graph），是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系。其基本组成单位是“实体-关系-实体”三元组，以及实体及其相关属性-值对，实体间通过关系相互联结，构成网状的知识结构。知识图谱非常适合描述测试模型。
基于知识图谱的测试应用方向
基于业务路径生成测试用例
多维度测试数据关联
自动化测试用例生成
智能遍历测试
新老版本 Diff 测试
精准测试
AI 爬虫实现自动探索并创建知识图谱
模型驱动测试
模型驱动测试 Model-based testing
- 被测系统 SUT
- 领域模型 Domain Model
- 抽象测试套件 Abstract Test Suites
- 可执行测试套件 Executable Test Suite
基于模型的测试方法
- 将 app 的业务行为理解为一个有向图
- 有向图中的节点代表业务状态
- 有向图中的路径代表达到特定状态的行为
- 以充分遍历所有状态为目标
传统建模方式无法适应变化
altwalker
graphwalker
测试领域模型与知识图谱的统一维护
数据驱动/模型驱动/编程模型与知识图谱的关联
利用知识图谱构建软件测试开发领域模型
- 产品业务流程
- UI 交互流程
- 接口状态流程
- 测试用例流程
- 代码执行流程
手工测试与 AI Agent
当我们通过智能体执行测试用例的时候，UI 界面、接口、代码、数据库在执行时的状态是否正确，我们就可以通过向大模型引入工具进行查询。并通过知识图谱记录他们自身与他们之间的各种关联，从而可以更好的断言。
智能化测试开发
智能化测试体系
测吧爱测智能平台核心功能
需求文档分析与用例生成
根据产品文档生成业务测试用例。提高测试效率。 支持需求、用户故事、接口文档等多种文档类型。
手工用例 AI 自动化执行
自然语言编写的手工测试用例通过智能体自动化执行，无需编码，自动化成本大幅降低，极大提高测试效率。
智能遍历与模型驱动测试
无用例情况下，使用 AI 自动推理生成更多测试场景，有效提高测试覆盖度，降低漏测，提高测试质量。
领域建模与知识图谱
通过对被测系统的解析，自动生成测试用例。 支持 web、app、http 接口等多种产品形式。
About Me 黄延胜（思寒）
- 测吧（北京）科技有限公司 CTO
- 霍格沃兹测试开发学社创始人
- 先后任职于阿里、百度、雪球等企业，荣获多项创新奖与专利。
- 十五年以上从业经验的资深测试专家，在测试自动化、人工智能、模型驱动测试方面有资深的研究，首创测试开发体系课程获得十万测试工程师采购。
- 为数十家企业提供培训与咨询、工具平台定制开发服务，客户涵盖工信部、信通院、华为、小米、阿里、京东、中国移动、中国海关等知名企业与机构。
霍格沃兹测试开发学社 AI 测试开发训练营
企业级解决方案支持服务
