一、传统UI自动化的困局与AI机遇

传统UI自动化痛点：

跨端碎片化：需适配Android、iOS、HarmonyOS、H5等多平台，依赖不同框架（Appium、Selenium等），脚本重复开发维护，人力成本高。

定位脆弱性：基于XPath/ID/坐标定位，UI元素微调即失效，维护成本呈指数级上升。

效率与准确性不足：用例执行平均耗时14秒/步，特殊控件（如弹幕开关）无法识别，坐标识别受设备分辨率影响大，断言仅能验证固定文案，难以覆盖埋点等复杂场景。

AI带来的突破：视觉模型（如Qwen2.5-VL-Max）可识别页面控件并输出坐标与操作建议，结合自然语言理解实现“意图驱动”自动化，解决跨端适配与定位脆弱问题。

二、AI驱动的自动化引擎设计与问题解决

核心执行流程：将自然语言测试用例（如“点击邮箱输入框→输入账号”）转化为结构化步骤，AI视觉模型识别控件坐标并执行操作，支持“录制→生成用例→回放验证”闭环，示例中登录用例可自动完成多步操作与结果断言。

四大关键问题解决方案：

特殊控件无法识别：将控件特征（如“带斜杠的小电视图标=弹幕开关”）以自然语言补充至Prompt，提升模型识别精度。

用例描述影响执行结果：统一用例描述规范（如“点击底部的书架按钮”而非“点击书架按钮”），AI自动生成用例时添加位置、顺序等修饰词，减少歧义。

执行效率低：按操作类型分类（输入、滑动等无需大模型决策的操作直接执行），引入基于UIBox算法的缓存机制（计算控件重叠面积与距离提升相似度匹配），缓存命中步骤耗时从14秒降至3秒内，总效率提升60%+。

坐标识别不准：用YOLOv5标注控件并分配序号，模型返回序号而非坐标；对小尺寸/密集控件切割重排，避免遮挡，适配不同分辨率设备。

三、AI录制回放的自动化实践（以B站埋点测试为例）

业务背景：B站播放业务含UGC/OGV/PUGV三类内容，埋点测试需覆盖多入口（推荐页、搜索页等）、多操作（选集、切清晰度等），传统自动化因跨端与断言复杂难以落地。

实践方案：

框架设计：采用“BDD+统一操作中心+AI引擎”架构，Gherkin语法编写自然语言用例，统一操作中心屏蔽跨端差异，AI引擎负责语义解析与录制回放。

埋点测试突破：实现“UI校验+数据校验”双断言，AI录制生成基础用例后，人工补充业务逻辑（如埋点字段验证），用例三端复用率超85%，覆盖70%+核心回归场景。

核心优化策略：

失败率优化：通过“智能重试（针对网络波动）+Prompt优化（补充控件语义）+弹窗统一处理（一句Prompt解决多类型弹窗）”，将用例通过率从75%提升至90%。

断言准确性提升：引入智能等待（等待元素渲染与网络空闲）与多重校验（结合UI状态与埋点数据），解决异步上报与模型幻觉问题。

四、实践成效与未来展望

落地成效：

效率与成本：跨端脚本复用率超85%，人力成本降低60%，用例执行效率提升60%+。

质量与稳定性：OGV播放全链路场景（播放、切清晰度等）覆盖率达70%+，自动化稳定性从65%提升至90%，埋点测试准确性显著提升。

未来方向：

更准确：研发动态元素数字指纹定位，结合上下文语境提升识别精度。

更稳定：实现脚本自我修复与环境感知智能等待，降低外部干扰影响。

更智能：基于LLM生成探索式测试用例，构建“录制即交付”的全自动化闭环。