Web Access(浏览器自动化)plus版
下载地址
https://www.zhengdianxue.com/wp-content/uploads/skills/indiv-user888--web-access-plus-skill.zip将提示词发送给你的 AI 安装该 skills
请根据 https://skillhub.cn/install/skillhub.md,安装 @indiv-user888/web-access-plus-skill。- 通过 Chrome DevTools Protocol 驱动你本机已登录的浏览器,做网页抓取、表单填写、点击、截图留证与端到端自测。与原版 web-access 的根本区别:本版是能直接跑的工具而不是纯流程文档——附一个零依赖的 cdp.py,纯 Python 标准库手工实现 WebSocket 握手与帧编解码,不用 pip…
- 用易变文案做选择器,页面一改就崩"
- )、waitfor 用网络静默检测替代 sleep(不太快也不太慢)、assert 给出明确的通过/失败结论而非让人自己看、network/console 快速定位页面加载慢与报错根因、frames 支持跨域 iframe。当用户说:打开网页、抓取网页内容、浏览器自动化、填表、点击网页、截图验证、端到端测试、E2E、自测网页、需要登录态才能访问的网站、抓取 …
阅读全文 (展开查看完整说明)
概述
这是原版 web-access 的可执行版本。原版是一份写得很扎实的流程文档,但它没有任何可执行工具——每一步都要你自己想办法。本版把它变成能直接跑的工具。
原版文档已完整保留在 references/original-web-access/,本技能是对它的增强,不是替代。
与原版的差别
| 原版 web-access | 本 plus 版 | |
|---|---|---|
| 形态 | 纯流程文档 | 流程 + 24 个能跑的命令 |
| 依赖 | 无(但也无工具) | 零依赖,纯 Python 标准库 |
| 等待策略 | 「设置合理的等待与超时策略」(原则) | waitfor 网络静默检测(实现) |
| 定位 | 「避免依赖易变文案」(原则) | probe 先探测再定位(实现) |
| 断言 | 「以断言方式给出结论」(原则) | assert 六类断言 + 截图留证(实现) |
| 排查 | 未涉及 | network 看请求、console 看报错(实现) |
| 跨域 iframe | 未涉及 | frames 列出并切换(实现) |
| 坑位 | 列了 4 条 | 18 条实测踩过的 |
三步开始
python scripts/cdp.py doctor # 环境自检
python scripts/cdp.py launch --url https://example.com # 启动带调试口的浏览器
python scripts/cdp.py info # 页面上有什么
python scripts/cdp.py probe # 有哪些元素可定位
python scripts/cdp.py extract "#dataTable" # 提取表格
python scripts/cdp.py shot out.png --full # 整页截图装好后可先跑一次自检,确认 24 个命令在你机器上都正常:python scripts/selftest.py
24 个命令
| 类别 | 命令 |
|---|---|
| 基础 | doctor 环境自检 | launch 启动带调试口的浏览器 | session 标签页列表 | open <url> 打开并等加载 | info 读 URL/标题/正文/元素统计 | shot <路径> [--full] 截图(--full 整页) |
| 看页面 | probe 探测结构(标题/按钮/输入框/表格/链接/表单) | extract <选择器> [-o] 提取表格或列表 | frames 列出所有 iframe(含跨域) |
| 操作 | click 点击 | fill 填表(触发 input/change) | select 选下拉框(按 value 或可见文本) | hover 悬停触发 tooltip | drag <源> <目标> 拖拽 | press <按键> 按键(Enter/ESC/方向键/Ctrl+A) | scroll 滚动(--selector/--top/--bottom/--by N) |
| 等与断言 | waitfor <text|selector|gone> <值> 智能等待 | assert <title|url|selector|text|no-text|count> <值> [--shot] 断言自检 |
| 排查与产出 | network [--url] 列网络请求 | console [--url] 抓控制台报错 | cookies [--url] 读 cookie(含 HttpOnly) | setcontent --html|--file 注入 HTML | pdf <路径> 页面转 PDF | dialog 自动处理 alert/confirm/beforeunload |
全局选项:--port 调试端口 | --target 标签页 id | --timeout 超时秒 |--json 机器可读输出 | --frame <序号|URL片段|name> 切进 iframe | --auto-dialog 自动应答弹窗
常用组合:
# 探测 → 定位 → 提取(不知道选择器时)
python scripts/cdp.py probe
python scripts/cdp.py extract ".price-table" -o prices.json
# 智能等待 → 操作 → 断言留证
python scripts/cdp.py waitfor text "登录成功"
python scripts/cdp.py click "button[type=submit]"
python scripts/cdp.py assert title "控制台" --shot evidence.png
# 页面慢/白屏 → 查网络与控制台
python scripts/cdp.py network --url https://example.com
python scripts/cdp.py console --url https://example.com
# 跨域 iframe 内操作
python scripts/cdp.py frames
python scripts/cdp.py --frame 1 extract "#inner-table"
# 程序化消费
python scripts/cdp.py extract "#kpi" --json六个实战增强(原版只给了原则)
1. probe — 先看清页面上有什么,再决定怎么定位原版「常见坑」第一条就是用易变文案做选择器,页面一改就崩。probe 把页面结构摊开(## 按钮(1) - tag=button | id=submit | type=button | text=提交 这样一行一个元素),然后优先用 #id、[name=x]、结构类名这些不随文案变的锚点,而不是 text=提交。
2. waitfor — 网络静默检测,替代固定 sleepsleep 3 太短没渲染完,太长纯浪费。waitfor 按 CDP 协议层的Network.requestWillBeSent 计数判断是否还有请求在飞——连续两次计数不变即认为稳定。比 performance 资源数准:XHR 长轮询与 WebSocket 不会被算漏。
python scripts/cdp.py waitfor text "共 128 条"
python scripts/cdp.py waitfor selector ".loading-spinner" # 等出现
python scripts/cdp.py waitfor gone "#loading" # 等消失3. assert — 明确结论 + 截图留证 原版要求「以断言方式给出通过/失败结论」。本版给出六类断言,支持 --shot 同时存截图——交付时截图就是证据。断言通过退出码 0,失败 1,可直接串进脚本做门禁。
python scripts/cdp.py assert title "阿拜项目 - 月报"
python scripts/cdp.py assert count "#kpi tr >= 4" # 计数支持 >= <= == > <
python scripts/cdp.py assert no-text "验证码" # 确认页面上没有这个东西
python scripts/cdp.py assert text "提交成功" --shot proof.png4. network — 页面加载慢,先看它到底在请求什么按状态码/大小/类型/URL 排好(200 2.1KB GET Document https://example.com/ 这样一行一个请求),一眼看出是哪个请求拖慢了页面。
5. console — 控制台报错不用开 DevTools输出分「错误 / 警告 / 其他」三类,错误类带完整堆栈。
6. frames — 跨域 iframe 也能进去操作frames 列出全部 iframe([0] depth=0 是主 frame),--frame 让后续命令切进指定 frame:
python scripts/cdp.py frames
python scripts/cdp.py --frame 1 extract "#inner-table" --json启动带调试口的浏览器
launch 会自动找浏览器并用独立配置目录启动,不影响你日常浏览器的登录态与书签:
| 平台 | 自动查找 |
|---|---|
| Windows | Chrome、Edge、Brave(Program Files 两处 + LOCALAPPDATA) |
| macOS | Chrome(含 Beta/Canary)、Edge、Brave、Chromium |
| Linux | google-chrome、chromium、microsoft-edge、brave-browser、snap 版 chromium |
| WSL | 自动回落到 /mnt/c 下的 Windows 浏览器 |
也可用环境变量 CDP_BROWSER 指定,或 launch --browser <路径>、launch --headless。想复用自己日常浏览器的登录态,就用你自己的浏览器手动加 --remote-debugging-port=9222 启动,然后 cdp.py session 找到那个标签页用 --target <id> 操作。
实测记录
Windows 11 + Edge 156,本地构造测试页(标题/表格/列表/表单/长页面/下拉框/tooltip/iframe/控制台输出),24 条命令全部实测通过:
| 命令 | 结果 |
|---|---|
doctor / launch / open / info / probe | ✔ 正常;probe 识别标题 5 / 按钮 1 / 输入框 1 / 表格 1 / 链接 1 / 表单 1 |
extract 表格 / 列表 | ✔ 表头「指标/本月/累计/单位」+ 3 行数据;列表命中 3 项 |
shot / shot --full | ✔ 59 KB / 97 KB,整页含 1200px 滚动区完整渲染 |
fill / click | ✔ 读回值一致;点不存在的元素正确报错 |
waitfor / assert × 3 | ✔ 命中;正例通过、反例正确返回退出码 1 |
select / hover / press / drag | ✔ 下拉框 DOM 值真实变更;tooltip 真实出现;键盘事件正确派发;拖拽成功,缺元素时正确报错 |
scroll | ✔ 到顶 / 到底 / 按像素 / 滚到元素四种模式均正确 |
frames | ✔ 列出主 frame 与 iframe,切进 iframe 后读到内层表格内容 |
cookies / network / console | ✔ cookie 含 HttpOnly 标记;捕获 4 条请求(Document/Stylesheet/Script/Image);抓到页面 warning 与 log 并正确归类 |
setcontent / pdf / dialog | ✔ 注入后标题正文均正确;生成 250 KB PDF;alert/confirm 不阻塞,接受/拒绝两条路径结果正确 |
--json | ✔ info/probe/extract/cookies/network/console/session 输出均为合法 JSON |
开发中实测踩到并修掉的坑见 references/pitfalls.md(18 条,含 WebSocket 帧编解码细节、assert title 恒真的失效断言、navigate 的竞态)。
边界与注意事项
- 只操作你有权限的站点,不越权抓取;涉及他人数据与登录态时注意合规
- 不做反爬绕过。遇到 Cloudflare 等验证请人工过,本技能不提供绕过手段
- 默认不注入 stealth 伪装。如需降低自动化特征,可自行在
evaluate层面处理,本技能不内置 .docx/.xlsx/.pdf是二进制,浏览器读不了,请先用页面里的转换或导出功能fill只对input/textarea有效,contenteditable需在 evaluate 里处理- 跨域 iframe 用
--frame切换后可操作;未指定--frame时只操作主 frame - 长时间无人值守的任务请加
--timeout,并考虑用launch --url预先打开目标页
文档索引
| 文件 | 内容 |
|---|---|
references/pitfalls.md | 18 条实测踩坑与解法(WebSocket / CDP / 导航竞态 / 断言失效 / 等待) |
references/selectors.md | 选择器稳定性排序与探测式定位法 |
references/recipes.md | 12 个常用场景的完整命令序列(登录、翻页、抓列表、排查、E2E 等) |
references/self-upgrade.md | 月度市场巡检与自升级规则 |
references/original-web-access/ | 原版 web-access 完整内容,保留对照 |