Mobile UIAgent Evaluation Lab
视觉代号 · 镜界行动
用标准任务、错误分类和确定性模拟整理移动 UI Agent 的评测方法。
项目定位、用户问题与产品目标
面向移动 UI Agent 的 Streamlit Mock 评测平台；它用于验证评测产品结构，不执行真实设备操作。
目标用户与使用场景
希望在接入真实执行器前，先验证 UI Agent 评测流程与数据结构的产品和评测人员。
用户问题
UI Agent 任务跨应用、多步骤且错误类型复杂，若没有标准用例和统一标签，结果很难复盘。
为什么需要 AI
Agent 的规划、定位与执行会形成连续链路，需要把最终结果和中间错误都纳入评测设计。
产品目标
让不同 Agent 配置能够在同一套任务、指标和错误口径下进行结构化观察。
我的职责
- 01
整理移动 UI Agent 的任务分类与用例结构
- 02
定义指标、错误标签和结果记录字段
- 03
设计可复现的确定性 Mock 运行逻辑
- 04
完成结果看板与报告导出入口
产品方案与技术工作流
用标准 Case 库、确定性 Mock 运行器、过程记录、八项指标和八类错误标签先验证评测产品结构，同时明确模拟结果不代表真实 Agent 能力。
- 01选择 Agent 配置
- 02选择标准任务
- 03运行确定性 Mock
- 04记录步骤与结果
- 05聚合指标
- 06查看错误分布
- 07导出报告
Prompt、RAG 与 Agent 技术方案
- 任务库覆盖七类移动端操作场景
- Mock 运行由固定输入产生可复现结果，便于验证页面和统计逻辑
- 指标与错误标签同时呈现，避免只看总成功率
- 多套 Agent 配置用于验证比较界面，不代表真实模型基准
人工确认节点
测试方法与 Evaluation focus
以下内容是项目中记录或计划观察的评测维度，用于指导验证与迭代，不代表已经取得对应结果。
任务成功率
平均步骤数
平均耗时
操作准确率
元素定位准确率
恢复率
安全违规率
稳定性
失败案例、边界与风险
不把 Mock 结果描述为真实设备实测；不执行真实账户操作；报告需注明模拟数据来源
失败类型
- 只记录最终成败
- 模拟结果被误解为真实模型能力
- 任务前置条件没有被写入用例
异常与边缘场景
- 页面状态变化
- 目标元素不存在
- 步骤超限
- 权限或登录前置条件缺失
迭代记录
接入真实设备执行器之前，评测页面、用例和统计口径缺少可运行载体。
- 分析
- 先用确定性模拟可以低成本验证产品结构，但必须清晰标注数据性质。
- 改动
- 仓库提供标准 Case、模拟记录、Agent 配置、指标看板与报告导出。
- 结果
- 当前公开仓库已形成可运行的 Mock 评测平台，不包含真实设备控制。
- 下一步
- 未来接入真实执行日志时，保留相同字段并新增环境与版本信息。
产品思考与下一步
评测原型可以先验证方法，但模拟结果与真实 Agent 能力必须严格区分。
- 接入真实执行器日志
- 补充环境与版本字段
- 验证错误标签的一致性
为什么先做 Mock
真实移动端执行涉及设备、应用版本、账号和权限。当前仓库先验证评测产品本身：任务如何定义、过程如何记录、错误如何归类、结果如何比较。
可核验内容
- 七类任务、四十三个标准 Case
- 八项评测指标和八类错误标签
- 六套用于界面比较的 Agent 配置
- 一百二十五条以上模拟记录，用于验证统计与筛选
以上数量来自仓库 README，记录均为模拟数据，不代表真实设备或真实模型的测试结论。
面向移动 UI Agent 的 Streamlit Mock 评测平台；它用于验证评测产品结构，不执行真实设备操作。
↗界面与过程证据
真实项目截图尚未写入本地。页面先使用原创概念封面保持完整体验，待补充文件已记录在资源清单。