搜索引擎

概述

多引擎搜索

通过公开搜索 URL 聚合 16 个搜索引擎，做跨源检索、去重与交叉验证。不需要任何 API Key。

本技能包包含：

• SKILL.md（本文件）：选引擎、构造查询、抓取降级、结果综合的完整流程
• scripts/multi_search.py：零第三方依赖脚本（Python 3.7+ 标准库），链接生成 + 抓取聚合
• references/engines.md：16 引擎完整目录、可达性标注、10 个垂直站点、意图选型矩阵
• references/operators.md：搜索操作符、时间过滤、DuckDuckGo Bangs 速查

核心能力

• 16 引擎统一检索：7 个国内直连（必应中国/必应国际入口/百度/360/搜狗/微信/神马）+ 9 个国际（Google/Google HK/DuckDuckGo/Ecosia/Yahoo/Startpage/Brave/Qwant/WolframAlpha），每个引擎标注网络要求、反爬强度与适用意图。
• 两种执行方式：Agent 直接用网页抓取工具请求搜索 URL；或运行内置脚本（默认“链接模式”任何环境可用，--fetch 抓取模式自动提取标题和链接）。
• 精准查询构造：site:、filetype:、intitle:、精确匹配、排除词、时间范围、中英双语改写、DuckDuckGo Bangs。
• 多源去重与加权：URL 规范化去跟踪参数，还原必应/Google/DDG/360 的中转链接，被多个引擎同时命中的结果自动排前。
• 失败可降级：遇到 403/429/验证码/超时自动换端点、换引擎；全部失败仍输出可点击的搜索链接，保证任务不空手而归。

适用场景

不适用于：

• 私有数据、企业内网、个人文件的检索（这些内容不在公开搜索索引中）
• 大规模批量抓取或监控（本技能内置频率约束，不做采集器）
• 需要登录后可见的内容（私域社群、付费数据库、邮箱等）
• 搜索引擎结果页内的信息仅作线索，关键事实必须打开原文核实后再采信

使用流程

Step 1：判断网络环境与查询语言

• 查询以中文为主 → 优先国内引擎组（大陆直连，成功率高）。
• 查询以英文为主、或找官方英文文档 → 优先必应国际入口（ensearch=1，大陆可直出国际结果）；在可访问国际互联网的环境下再用 Google/DDG。
• 中英混合的技术主题 → 双语各搜一轮，例如中文「向量数据库选型」与英文「vector database comparison 2026」。

Step 2：按意图选 2–4 个引擎

不要默认查全部 16 个引擎。日常检索选 2–4 个最相关的即可；需要事实核实时再扩到 3–5 个独立索引。

完整意图矩阵（学术、隐私、计算、视频等）见 references/engines.md。

Step 3：构造查询词与搜索 URL

• URL 模板形如 https://cn.bing.com/search?q={关键词}&ensearch=0，关键词需百分号编码（手工拼接时空格用 + 或 %20，中文直接用脚本编码）。
• 需要收敛结果时加操作符：site:域名、filetype:pdf、"精确短语"、-排除词、intitle:词。
• 需要时效信息时加时间参数（Google tbs=qdr:d/w/m、搜狗 tsn、DDG df），脚本统一用 --time。
• 操作符兼容性与更多示例见 references/operators.md。

Step 4：执行检索（二选一）

• 方式 A：Agent 网页抓取（无需脚本，适合单次查询）：直接抓取拼好的搜索 URL，见下文“执行方式”。
• 方式 B：内置脚本（适合多引擎、要 JSON/报告文件、可复现）：运行 scripts/multi_search.py。

Step 5：失败降级（按顺序尝试，不要死磕一个引擎）

1. 会话重试：首次请求遇 403/418/429/503 时，脚本会先 GET 一次该引擎首页、用内存中的会话 Cookie 等待 2 秒后重试 1 次（Cookie 不落盘、不模拟登录）。
2. 端点降级：仍失败则换端点，如 DuckDuckGo 主端点失败换 lite.duckduckgo.com/lite/；Google 失败加 &gbv=1 基础版。
3. 引擎降级：Google 不可达 → 必应国际入口 → Ecosia；百度/搜狗出现验证码 → 必应中国、360。
4. 垂直绕行：知乎、Stack Overflow 等站点直连抓取常被拒，改用综合引擎加 site:，如在必应搜 site:zhihu.com 大模型面试。
5. 链接兜底：抓取全部失败时，把各引擎搜索链接直接提供给用户点击，并说明哪些引擎不可用。
6. 出现验证码或人机校验页面时立即停止该引擎请求，不尝试规避、不做反复重试。

Step 6：去重、交叉验证与输出

• 以规范化 URL 去重（自动忽略 utm/spm 等跟踪参数）；保留每条结果的来源引擎。
• 多引擎同时命中的结果排前面；只有单一来源、尤其来自内容农场的结果要降级看待。
• 回答时先给结论，再用编号列出可点击来源；来源之间有冲突时明确写出分歧，不编造统一说法。
• 输出中不复制搜索结果页上的大段原文；需要细节时打开原文链接阅读后再概括。

执行方式

方式 A：用 Agent 的网页抓取工具

直接请求搜索 URL（以下示例均为完整可执行形式）：

web_fetch({"url": "https://cn.bing.com/search?q=asyncio+TimeoutError+site:stackoverflow.com&ensearch=1"})
web_fetch({"url": "https://www.baidu.com/s?wd=site:zhihu.com+%E5%A4%A7%E6%A8%A1%E5%9E%8B%E9%9D%A2%E8%AF%95"})
web_fetch({"url": "https://weixin.sogou.com/weixin?type=2&query=RAG%E8%AF%84%E6%B5%8B"})
web_fetch({"url": "https://html.duckduckgo.com/html/?q=vector+database+comparison+2026"})
web_fetch({"url": "https://www.google.com/search?q=ai+news&tbs=qdr:w&gbv=1"})
web_fetch({"url": "https://www.wolframalpha.com/input?i=100+USD+to+CNY"})

多个引擎之间留出 1–2 秒间隔，单批 3–4 个引擎顺序执行；请求头按普通浏览器标识自己。

方式 B：内置脚本 scripts/multi_search.py

零第三方依赖，Windows / macOS / Linux 均可运行（Windows 用 python，macOS/Linux 用 python3）。下述命令与参数均已在 Windows + Python 3 环境实测运行（2026-10），脚本通过 py_compile 编译检查，实测耗时与产出见下文“效率量化分析与差异化对比”。

# 查看全部引擎 id 与适用说明
python scripts/multi_search.py --list-engines

# 默认：国内 3 引擎链接模式，不发起网络请求，任何环境都能跑
python scripts/multi_search.py "FastAPI 教程"

# 指定引擎抓取聚合，输出 Markdown 报告
python scripts/multi_search.py "asyncio TimeoutError" -e bing-int,bing-cn,baidu --fetch

# 最近一周的新闻，输出 JSON 供后续程序处理
python scripts/multi_search.py "AI 发布" -e sogou --time w --fetch --json

# 国内 7 引擎 + GitHub 垂直站，报告存文件
python scripts/multi_search.py "transformer" --cn --vertical github --fetch --output report.md

可运行性验证：下列为 2026-10 真实运行 python scripts/multi_search.py "FastAPI 教程" -e bing-cn,baidu,so360 --fetch --delay 1 --json 的输出截取（退出码 0，全程约 7 秒）：

{
  "query": "FastAPI 教程",
  "mode": "fetch",
  "engines_ok": ["bing-cn", "baidu", "so360"],
  "engines_failed": [],
  "result_count": 22,
  "results": [
    {"rank": 1, "title": "FastAPI 教程 | 菜鸟教程",
     "url": "https://www.runoob.com/fastapi/fastapi-tutorial.html",
     "engines": ["bing-cn", "so360"], "snippet": ""}
  ]
}

链接模式实测输出（python scripts/multi_search.py "FastAPI 教程"，约 0.3 秒，零网络请求）为一张 Markdown 表格，逐行列出 3 个引擎各自的可点击搜索链接。

输出规范

抓取模式输出结构（脚本与 Agent 综合时保持一致）：

{
  "query": "asyncio TimeoutError",
  "mode": "fetch",
  "searched_at": "2026-10-11T17:00:00",
  "engines_ok": ["bing-int", "bing-cn"],
  "engines_failed": [{"engine": "google", "reason": "网络不可达/超时（该引擎可能需国际网络）"}],
  "result_count": 14,
  "results": [
    {"rank": 1, "title": "…", "url": "https://…", "engines": ["bing-int", "bing-cn"], "snippet": "…"}
  ],
  "search_links": {"bing-int": "https://cn.bing.com/search?q=…&ensearch=1"}
}

给用户的最终回答应包含：检索结论、编号来源清单（标题 + 可点击链接）、失败引擎与原因、检索日期。

创新特色

效率提升量化分析

脚本耗时为 2026-10 在大陆网络、Windows + Python 3 下实测（查询词「FastAPI 教程」）；手动耗时为完成同等任务的人工估算（按保守值计算倍数）。

实测产出：3 引擎 24 条原始结果去重为 22 条，覆盖 14 个独立域名；首条结果为 bing-cn 与 so360 双源命中（FastAPI 教程 | 菜鸟教程）。数字随网络状况与引擎实时排序波动，重跑有差异属正常。

差异化对比

核心痛点解决

示例

示例 1：中文热点多源调研

输入：“帮我搜一下最近一周国内大模型的发布消息，至少三个来源”

执行：python scripts/multi_search.py "大模型 发布" -e baidu,so360,sogou --time w --fetch

输出（节选）：成功 3 个引擎，去重后 20+ 条结果，多源命中的排前；Agent 据此给出 3 条有 2 个以上独立来源佐证的发布消息，编号附百度/360/搜狗原始链接，单源传闻标注“仅见一处，待核实”。

示例 2：英文报错排查（大陆网络）

输入：“Python 报错 RuntimeError: Event loop is closed 怎么解决？”

执行：先抓 https://cn.bing.com/search?q=RuntimeError+%22Event+loop+is+closed%22+site:stackoverflow.com&ensearch=1，再补一轮不加 site: 的必应中国结果。

输出：按相关度列出 Stack Overflow 高票答案与官方 issue 链接，概括“Python 3.10+ 在 Windows 上 ProactorEventLoop 的已知行为、两种修复写法”，并给出原文链接。

示例 3：全部抓取被拦截时的降级

输入：“搜一下 privacy tools”，但当前网络下国际引擎均不可达，国内引擎返回验证码页。

输出：明确告知用户哪些引擎不可用/被限流，改为输出必应中国、360、DuckDuckGo 的可点击搜索链接表格（脚本的链接模式必然可用），建议用户在浏览器中打开，而不是反复请求触发更严限流。

示例 4：文件类型定向检索

输入：“找几份关于 RAG 评测的 PDF 报告”

执行：web_fetch({"url": "https://cn.bing.com/search?q=RAG+%E8%AF%84%E6%B5%8B+filetype%3Apdf&ensearch=0"})，再用百度学术垂直站 python scripts/multi_search.py "RAG evaluation" --vertical baiduxs --fetch 交叉补充。

输出：列出 PDF 直链或下载页标题、来源站点、发布时间线索，并提示用户自行判断报告发布方的权威性。

边界条件与异常输入

以下边界条件均已在脚本中处理，Agent 手工走流程时也应同样对待：

错误处理

安全风险防范

合规底线：仅用于合法的公开信息检索，遵守各搜索引擎的服务条款与 robots 规则；不规避验证码、不模拟登录、不做账号操作。

依赖说明

常见问题FAQ

Q1: 为什么不默认一次查全部 16 个引擎？

A: 引擎有反爬与频率限制，无差别并发请求既慢又容易被封 IP。绝大多数问题 2–4 个引擎足够，需要交叉核实时再扩展；脚本提供 --all 但内置顺序请求与延时。

Q2: Google / DuckDuckGo 打不开怎么办？

A: 大陆网络环境直接使用国内引擎组，英文资料用必应国际入口（ensearch=1，国内可直出国际结果）或 Ecosia；脚本会报告具体失败引擎并继续给出可点击链接。

Q3: 脚本抓取和直接问模型有什么区别？

A: 模型自带知识有截止日期且可能出错；本技能拿到的是带真实 URL 的实时检索结果，可点击核实、可多源交叉验证，回答必须附来源。

Q4: 微信文章为什么有时抓不到？

A: 微信搜索（搜狗入口）风控严格，频繁请求会出验证码。单次检索即可，失败后停止，改用搜狗网页或在链接模式下让用户手动打开。

Q5: 百度和搜狗的链接为什么不是目标网站地址？

A: 这两家的结果链接是引擎中转跳转（形如 baidu.com/link?url=…），点击后正常跳到目标页，属正常现象；360 的真实地址脚本会从 data-mdurl 自动还原。

Q6: 脚本能直接抓全文吗？

A: 不能，也不应该。脚本只提取搜索结果页上的标题与链接；需要正文时用 Agent 的抓取工具打开具体结果 URL，逐页阅读更可靠，也符合检索礼仪。

已知限制

• 搜索结果页 HTML 结构可能随引擎改版变化；脚本提取失败时会自动退回链接模式，不影响基本可用性。
• 无登录态：公众号历史文章、付费墙内容、私域社群等无法获取。
• 百度/360/搜狗的中转链接无法在不额外发请求的情况下还原真实 URL，报告中保留可点击的中转地址。
• Startpage、Brave、Qwant 反爬强度高，脚本抓取成功率低，主要适合在浏览器中通过链接模式使用。
• 时间过滤目前对 Google、搜狗、DuckDuckGo 有统一参数；必应、360 无稳定公开短参数，建议用“关键词 + 年份”收窄。
• 本技能只负责“找到线索”，搜索结果可能有误或过时，关键决策信息必须打开原文二次核实。

参考资料

• references/engines.md — 16 引擎 URL 模板、实测可达性、10 个垂直站点、意图选型矩阵
• references/operators.md — 高级操作符、各引擎时间过滤参数、DuckDuckGo Bangs、查询词构造经验