报告由蚂蚁集团李庆泉在2024 AI+研发数字峰会上分享,主要围绕质量大模型在软件研发质量测试领域的应用展开,涵盖大模型解决质量域问题的方式、构建路径、在接口测试场景的实践及未来展望。
1. 大模型如何解决质量域问题:大模型具备赋能软件研发全流程的能力,在质量域的应用场景广泛,包括故障定位、测试用例生成等。质量测试存在覆盖率要求高、自动化难度大、人工成本高、经验依赖度高等问题,大模型通过继续预训练注入领域知识、微调获取多任务能力,以严谨全面的特性满足质量测试需求,进而催生出质量大模型,其涵盖知识中心、执行中心和服务中心的功能 。
2. 质量大模型的构建路径:构建质量大模型需经过数据构建、模型训练、部署应用和更新迭代等流程。在继续预训练阶段,从业务域和质量域收集知识,经聚类、清洗和数据增强后用于训练开源模型底座。指令微调阶段,针对结构化数据任务设计指令,选取质量/业务基础知识和特定质量任务数据,平衡数据分布、规约格式并增强鲁棒性。应用方式上,大模型可作为端到端Bot以对话形式执行质量任务,也能作为工作流组件提升质量工具的能力,如实现NL2SQL功能 。
3.质量大模型在接口测试中的实践:接口测试具有专业性、场景化和复杂性的特点,人工成本和时间成本较高。质量大模型在接口测试场景下有多种应用。在校验点生成方面,依据接口入参、出参信息和专家经验,遵循特定格式规范生成校验点列表;在业务知识问答上,通过爬取知识文档、切片、向量检索等方式,实现接口测试知识增强问答;在工具执行上,以对话形式调用工具集合,由大模型进行参数解析和工具调度,执行工作流并返回结果 。
4. 未来展望:质量大模型在产品内容上聚焦质量与大模型结合的提效工作,产品设计提供通用的垂直领域大模型解决方案,算法设计构建通用的垂类领域大模型提效框架。未来技术趋势包括处理海量质量知识与业务经验、应对多样质量任务、实现前置问题发现,以及兼顾代码能力与问答能力等 。
免责声明:我们尊重知识产权、数据隐私,只做内容的收集、整理及分享,报告内容来源于网络,报告版权归原撰写发布机构所有,通过公开合法渠道获得,如涉及侵权,请及时联系我们删除,如对报告内容存疑,请与撰写、发布机构联系