AI会取代测试工程师吗?用真实项目做一次自动化测试实验
西楚极客
0:00 / 0:00
AI会取代测试工程师吗?用真实项目做一次自动化测试实验
35 просмотров · 8 дн. назад
西楚极客
190 подписчиков
35 просмотров · 8 дн. назад
10条自动化测试全部通过,为什么一打印报价单,日期还是变成了“年、月、日”?
我以前做过软件测试,也带过测试团队。这期拿上期用AI开发的报价工具 XichuQuoteLite,使用 Codex 和 Playwright 做一次真实的本地自动化测试实验:从需求和测试计划开始,经过人工审查、独立核算预期、浏览器执行,再用失败记录、Trace和真实PDF定位问题,最后用同一套测试验证历史修复版。
你会看到第一轮7条通过、3条失败;修正脚本定位和显示预期后,10条局部测试全部通过,但空日期打印仍没有对应断言。补充明确的验收标准后,旧版出现10通过、1失败,历史修复版则11条通过。测试变绿之前,要先问清楚:到底测了什么,预期从哪里来,还有哪些风险没有覆盖?
你可以从自己本地项目中选一条金额计算或状态保存流程练习:先写清需求,再独立确定预期,让AI辅助设计和编写测试,执行后检查证据。本期完整核算600→540→70.20→610.20这一组金额,并整理了五项测试审查清单,方便你用于日常工作。
📌 本期资料
上期被测项目源码与运行说明(XichuQuoteLite):
https://github.com/xichugeek/XichuQuo...
Playwright官方:编写测试与断言
https://playwright.dev/docs/writing-t...
Playwright官方:Trace Viewer
https://playwright.dev/docs/trace-viewer
Playwright官方:测试报告
https://playwright.dev/docs/test-repo...
上方仓库是上期被测项目,不是本期完整实验包。本期测试脚本、提示词和完整复现包暂未公开下载。
本期使用虚构数据和本地隔离环境。D6是真实历史问题,但“空日期打印显示横线”是本期补充的明确验收标准,不能据此宣称AI无提示自主发现了D6。10项通过仅指审查修订后的局部测试;11项回归通过也不代表整个产品质量得到完整认证。官方Planner、Generator、Healer没有在本期自主执行,片中Codex的失败分析仅提供只读建议。
⏱️ 视频章节
00:00 十项通过,Bug为什么还在?
00:28 给AI的真实需求与提示词
00:57 第一轮计划:人工怎样审覆盖?
01:23 Playwright实跑:7通过、3失败
01:48 修订后10通过,仍有什么没测?
02:16 独立金额预期:600→540→70.20→610.20
03:07 补充空日期打印标准
03:52 旧版11项中1项失败
04:34 Trace与真实PDF交叉验证
05:28 Codex只读分析:建议是否合理?
06:16 同一套件验证历史修复:11项通过
07:03 如何在本地复现测试流程?
07:48 五项AI自动化测试审查清单
08:42 从一次实验到日常测试
这里是西楚极客,我们继续用 AI,把真正能运行的项目做出来。下期见。
#AI自动化测试 #Playwright #软件测试 #Codex #西楚极客