一句话总结：浏览器 Agent 有两条路——视觉（截图+VLM）与结构化（可访问性树 + ref 引用）；Playwright MCP 走结构化：Agent 读的不是像素而是带 ref 的可访问性树，用 ref 确定性交互，比 DOM 转储和截图便宜得多。

可访问性树 vs DOM（面试默写）

维度	DOM 树	可访问性树
内容	全部元素（含不可交互静态元素）	只保留可交互元素（按钮/输入框/下拉）+ 关键语义
结构	复杂冗余	类型/状态/描述/层级，自动过滤噪声
对 Agent	解析成本高	直接可用

• 局限：Shadow DOM 可破坏可访问性树

Playwright MCP / Agent CLI

• Agent 视角（不是像素）：

  heading "todos" [level=1]
  textbox "What needs to be done?" [ref=e5]
  checkbox "Toggle Todo" [ref=e10]

• 核心工作流：open → snapshot（返回可访问性树 + ref）→ interact（用 ref click/type/fill）→ re-snapshot（更新状态+新 ref）
• 优势：确定性交互（不解析像素）、结构化文本 LLM 自然解析、比 DOM 转储/截图便宜
• 能力：70+ 工具（导航/表单/网络模拟/存储/追踪/视频）、跨浏览器（Chrome/Firefox/WebKit/Edge）、持久会话（登录态复用）

浏览器 Agent 架构

浏览器 → 快照（可访问性树/DOM/截图）→ LLM 理解 → 动作（navigate/click/type）→ 再快照

• BrowserGym：网页 Agent 研究生态（Chromium + Playwright，OpenAI Gym API，WebArena/Visual WebArena 跑分底座）

面试要点

• 能对比可访问性树 vs DOM
• 能讲 Playwright 工作流（open→snapshot→interact→re-snapshot）
• 能说 ref 引用交互（确定性、省 token）
• 能说视觉 vs 结构化两路线

相关概念

• [AI-Agent-GUI-Agent与屏幕理解](/学习笔记/AI技术/AI Agent/AI-Agent-GUI-Agent与屏幕理解) — 视觉路线
• [AI-Agent-多模态Agent评估基准](/学习笔记/AI技术/AI Agent/AI-Agent-多模态Agent评估基准) — WebArena 评测
• [AI-Agent-工具调用](/学习笔记/AI技术/AI Agent/AI-Agent-工具调用) — 浏览器工具
• AI基础概念-MCP协议 — Playwright MCP 底座