<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>爬虫 on 我的博客</title><link>https://blog.5616760.com/tags/%E7%88%AC%E8%99%AB/</link><description>Recent content in 爬虫 on 我的博客</description><generator>Hugo -- gohugo.io</generator><language>zh</language><lastBuildDate>Wed, 04 Nov 2026 21:40:00 +0800</lastBuildDate><atom:link href="https://blog.5616760.com/tags/%E7%88%AC%E8%99%AB/index.xml" rel="self" type="application/rss+xml"/><item><title>Scrapling：9.5 万 Star 的爬虫库，把 Scrapy、Playwright、Cloudflare 破解和 MCP 塞进了一个 pip 包</title><link>https://blog.5616760.com/0069.html</link><pubDate>Wed, 04 Nov 2026 21:40:00 +0800</pubDate><guid>https://blog.5616760.com/0069.html</guid><description>&lt;p&gt;&lt;img alt="图：Scrapling 官方标识" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://blog.5616760.com/img/0069-001.jpg"&gt;&lt;/p&gt;&#10;&lt;p&gt;Scrapling 是一个 Python 爬虫框架，主张「一个库搞定从单次请求到全站爬取」：HTTP 请求、隐身浏览器、自适应解析、并发 Spider、代理轮换、断点续爬、MCP 服务端，全塞在一个 pip 包里。&lt;/p&gt;&#10;&lt;p&gt;项目：https://github.com/D4Vinci/Scrapling（95,868 Star · 10,051 Fork · BSD-3-Clause · Python）&lt;/p&gt;&#10;&lt;p&gt;它 2024 年 10 月建库，两年做到近 10 万 star，月下载量约 92 万次。这个量级已经不是「小众工具」，而是一个正在收敛的生态位。&lt;/p&gt;&#10;&#10; &lt;blockquote&gt;&#10; &lt;p&gt;本文数字均为 2026-11-04 通过 GitHub REST API 与 PyPI JSON API 实测，非引用二手报道。&lt;/p&gt;&#10;&#10; &lt;/blockquote&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="01--硬数据"&gt;01 · 硬数据&#10;&lt;/h2&gt;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;维度&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;实测值&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;备注&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Star / Fork&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;95,868 / 10,051&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;关注度极高&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Watchers&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;339&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;相对 star 偏低，围观多于参与&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;建库 / 最近 push&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;2024-10-13 / 2026-11-04&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;存续 2 年&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Commit 总数&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;1,786&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;平均每天 2.4 次&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;贡献者&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;42&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;第一人占 94.3%&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Release / PyPI 版本&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;54 / 54&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;首个 0.1（2024-10-13），最新 0.5（2026-10-17）&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Issue / PR&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;180 / 305&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;当前仅 10 个 open issue&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;月下载量（PyPI）&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;919,855&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;近 7 天 298,235&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;许可证&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;BSD-3-Clause&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;商用友好&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;p&gt;贡献者分布（&lt;code&gt;/contributors?anon=1&lt;/code&gt;）：&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;D4Vinci 1684 ← 94.3%&#10;yetval 17&#10;AbdullahY36 10&#10;SulimanAbdulrazzaq 10&#10;Yigtwxx 8&#10;mhillebrand 4&#10;haosenwang1018 4&#10;Bortlesboat 4&#10;mturac 3&#10;（其余 33 人 ≤2 次）&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;&lt;strong&gt;42 个贡献者，94% 的代码来自一个人。&lt;/strong&gt; 作者是 Karim Shoair（D4Vinci），安全研究方向出身——这个背景能解释为什么库里有 Cloudflare 破解和指纹伪装。&lt;/p&gt;&#10;&lt;p&gt;代码构成（&lt;code&gt;git/trees/main?recursive=1&lt;/code&gt;，692 个文件，未截断）：&lt;/p&gt;&#10;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;类别&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th style="text-align: right"&gt;文件数&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th style="text-align: right"&gt;体积&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;说明&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;源码（&lt;code&gt;scrapling/&lt;/code&gt;）&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: right"&gt;61&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: right"&gt;630 KB&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;库本体&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;测试（&lt;code&gt;tests/&lt;/code&gt;）&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: right"&gt;99&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: right"&gt;1,054 KB&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;是源码的 1.67 倍&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;文档（&lt;code&gt;docs/**/*.md&lt;/code&gt;）&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: right"&gt;389&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: right"&gt;5.72 MB&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;含 9 种语言 360 个译文文件&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;CI 工作流&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: right"&gt;4&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: right"&gt;—&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;tests / code-quality / release / docker&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;p&gt;测试代码比源码还多——这在爬虫库里是罕见比例，因为爬虫库最难写测试（要对抗会变的真实网站）。&lt;/p&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="02--它到底是什么"&gt;02 · 它到底是什么&#10;&lt;/h2&gt;&lt;p&gt;一句话：&lt;strong&gt;它把原本需要拼 4～6 个库才能做的事，收进了一个 import。&lt;/strong&gt;&lt;/p&gt;&#10;&lt;p&gt;传统 Python 爬虫的组合拳是这样的：&lt;/p&gt;&#10;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;需求&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;传统方案&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;快速 HTTP + 绕过 TLS 指纹检测&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;curl_cffi&lt;/code&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;解析 HTML&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;BeautifulSoup&lt;/code&gt; + &lt;code&gt;lxml&lt;/code&gt;，或 &lt;code&gt;parsel&lt;/code&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;JS 渲染 / 过 Cloudflare&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;Playwright&lt;/code&gt; + &lt;code&gt;undetected&lt;/code&gt; 补丁&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;并发爬取 / 断点续爬 / 限速&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;Scrapy&lt;/code&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;代理轮换&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;自己写&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;给 AI 用&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;自己包一层 MCP&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;p&gt;Scrapling 的答案是：这些全都有，且用同一套 &lt;code&gt;Response&lt;/code&gt; / &lt;code&gt;Selector&lt;/code&gt; 对象贯通。&lt;/p&gt;&#10;&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-python" data-lang="python"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&lt;span style="color:#f92672"&gt;from&lt;/span&gt; scrapling.fetchers &lt;span style="color:#f92672"&gt;import&lt;/span&gt; Fetcher&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;page &lt;span style="color:#f92672"&gt;=&lt;/span&gt; Fetcher&lt;span style="color:#f92672"&gt;.&lt;/span&gt;get(&lt;span style="color:#e6db74"&gt;&amp;#39;https://quotes.toscrape.com/&amp;#39;&lt;/span&gt;)&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;quotes &lt;span style="color:#f92672"&gt;=&lt;/span&gt; page&lt;span style="color:#f92672"&gt;.&lt;/span&gt;css(&lt;span style="color:#e6db74"&gt;&amp;#39;.quote .text::text&amp;#39;&lt;/span&gt;)&lt;span style="color:#f92672"&gt;.&lt;/span&gt;getall()&#10;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;Response&lt;/code&gt; 对象继承 &lt;code&gt;Selector&lt;/code&gt;，所以拿到页面之后，CSS、XPath、&lt;code&gt;find_all&lt;/code&gt;、&lt;code&gt;find_by_text&lt;/code&gt;、正则搜索全都能直接用，不用在 fetcher 和 parser 之间倒手。&lt;/p&gt;&#10;&lt;p&gt;底层依赖（&lt;code&gt;pyproject.toml&lt;/code&gt; 的 &lt;code&gt;[project] dependencies&lt;/code&gt;）：&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;lxml&amp;gt;=6.1.1 cssselect&amp;gt;=1.5.0 orjson&amp;gt;=3.11.8&#10;tld&amp;gt;=0.13.2 w3lib&amp;gt;=2.4.1 typing_extensions&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;&lt;code&gt;fetchers&lt;/code&gt; 可选组才会拉进 &lt;code&gt;curl_cffi&lt;/code&gt;、&lt;code&gt;playwright&lt;/code&gt;、&lt;code&gt;patchright&lt;/code&gt;、&lt;code&gt;browserforge&lt;/code&gt;、&lt;code&gt;apify-fingerprint-datapoints&lt;/code&gt;。&lt;/p&gt;&#10;&lt;p&gt;&lt;strong&gt;这个分层设计值得注意&lt;/strong&gt;：&lt;code&gt;pip install scrapling&lt;/code&gt; 只装解析引擎（6 个依赖），不装任何浏览器。想用 fetcher 必须 &lt;code&gt;pip install &amp;quot;scrapling[fetchers]&amp;quot;&lt;/code&gt; + &lt;code&gt;scrapling install&lt;/code&gt; 下载 Chromium。作者把「轻」和「重」切得很干净——但也意味着&lt;strong&gt;第一次用会踩 &lt;code&gt;ModuleNotFoundError&lt;/code&gt;&lt;/strong&gt;，README 里专门用 IMPORTANT 提示框警告这一点。&lt;/p&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="03--fetcher-还是-stealthyfetcher"&gt;03 · Fetcher 还是 StealthyFetcher&#10;&lt;/h2&gt;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;code&gt;Fetcher&lt;/code&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;&lt;code&gt;StealthyFetcher&lt;/code&gt;&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;相对速度&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;🐇🐇🐇🐇🐇&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;🐇🐇🐇&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;隐身能力&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;⭐⭐&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;⭐⭐⭐⭐⭐&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;JS 渲染&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;❌&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;✅&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;内存占用&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;⭐&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;⭐⭐⭐&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;底层&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;curl_cffi&lt;/code&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Playwright（Chromium / Chrome）&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;适用&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;HTTP 请求能拿到完整内容时&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;动态加载、反爬复杂的中小站点&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;p&gt;选择逻辑很干脆：&lt;/p&gt;&#10;&lt;pre class="mermaid" style="visibility:hidden"&gt;flowchart TD&#10; A["目标页面"] --&gt; B{"curl 能拿到完整 HTML？"}&#10; B --&gt;|"能"| C["Fetcher&lt;br/&gt;伪装 TLS 指纹 / HTTP3"]&#10; B --&gt;|"不能"| D{"需要执行 JS？"}&#10; D --&gt;|"需要"| E["StealthyFetcher&lt;br/&gt;Playwright + 指纹伪装"]&#10; D --&gt;|"不需要，但被拦"| F["StealthyFetcher&lt;br/&gt;solve_cloudflare=True"]&#10; C --&gt; G["同一个 Response 对象&lt;br/&gt;CSS / XPath / 正则 / 相似元素"]&#10; E --&gt; G&#10; F --&gt; G&#10; style C fill:#22c55e,stroke:#22c55e,color:#fff&#10; style E fill:#f59e0b,stroke:#f59e0b,color:#fff&#10; style F fill:#ef4444,stroke:#ef4444,color:#fff&#10; style G fill:#3b82f6,stroke:#3b82f6,color:#fff&lt;/pre&gt;&lt;p&gt;三条使用路径的差别在于&lt;strong&gt;代价&lt;/strong&gt;：&lt;code&gt;Fetcher&lt;/code&gt; 是纯 HTTP，秒级；&lt;code&gt;StealthyFetcher&lt;/code&gt; 要起浏览器，内存和耗时高一个量级；&lt;code&gt;solve_cloudflare=True&lt;/code&gt; 还要额外等挑战通过。&lt;/p&gt;&#10;&lt;p&gt;一个细节值得记：&lt;code&gt;Fetcher&lt;/code&gt; 支持 &lt;code&gt;impersonate='chrome'&lt;/code&gt;——伪装成浏览器真实的 &lt;strong&gt;TLS 指纹&lt;/strong&gt;，而不只是改 User-Agent。这两者在反爬面前差别巨大：UA 随便改，但 JA3 指纹对不上就露馅。&lt;/p&gt;&#10;&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-python" data-lang="python"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&lt;span style="color:#66d9ef"&gt;with&lt;/span&gt; FetcherSession(impersonate&lt;span style="color:#f92672"&gt;=&lt;/span&gt;&lt;span style="color:#e6db74"&gt;&amp;#39;chrome&amp;#39;&lt;/span&gt;) &lt;span style="color:#66d9ef"&gt;as&lt;/span&gt; session:&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; page &lt;span style="color:#f92672"&gt;=&lt;/span&gt; session&lt;span style="color:#f92672"&gt;.&lt;/span&gt;get(&lt;span style="color:#e6db74"&gt;&amp;#39;https://quotes.toscrape.com/&amp;#39;&lt;/span&gt;, stealthy_headers&lt;span style="color:#f92672"&gt;=&lt;/span&gt;&lt;span style="color:#66d9ef"&gt;True&lt;/span&gt;)&#10;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;hr&gt;&#10;&lt;h2 id="04--adaptive-parsing让选择器活过网站改版"&gt;04 · adaptive parsing：让选择器活过网站改版&#10;&lt;/h2&gt;&lt;p&gt;这是 Scrapling 最有辨识度的功能，也是我认为它唯一「别人抄不走」的部分。&lt;/p&gt;&#10;&lt;p&gt;老问题：&lt;code&gt;page.css('#p1')&lt;/code&gt; 在网站改版后必然失效，然后你半夜收到报警。&lt;/p&gt;&#10;&lt;p&gt;Scrapling 的做法是：&lt;strong&gt;第一次选中元素时把它的特征存进 SQLite，改版后用相似度重新找回来。&lt;/strong&gt;&lt;/p&gt;&#10;&lt;p&gt;存的特征（&lt;code&gt;docs/parsing/adaptive.md&lt;/code&gt; 原文）：&lt;/p&gt;&#10;&#10; &lt;blockquote&gt;&#10; &lt;p&gt;元素的标签名、文本、属性（名与值）、兄弟节点（仅标签名）、路径（仅标签名）；父节点的标签名、属性、文本。&lt;/p&gt;&#10;&#10; &lt;/blockquote&gt;&#10;&lt;p&gt;匹配时逐项打分，取相似度最高的元素返回。&lt;strong&gt;不经过 AI，不调用模型，纯相似度算法。&lt;/strong&gt;&lt;/p&gt;&#10;&lt;pre class="mermaid" style="visibility:hidden"&gt;flowchart LR&#10; A["首次选中元素&lt;br/&gt;page.css('#p1', auto_save=True)"] --&gt; B[("SQLite&lt;br/&gt;domain + identifier → 特征")]&#10; C["网站改版后&lt;br/&gt;page.css('#p1', adaptive=True)"] --&gt; D{"选择器还能命中？"}&#10; D --&gt;|"命中"| E["正常返回"]&#10; D --&gt;|"失配"| F["读取 SQLite 特征"]&#10; F --&gt; G["全页元素逐项相似度打分"]&#10; G --&gt; H["返回最高分元素"]&#10; E --&gt; I["业务代码无需改动"]&#10; H --&gt; I&#10; style B fill:#0ea5e9,stroke:#0ea5e9,color:#fff&#10; style G fill:#8b5cf6,stroke:#8b5cf6,color:#fff&#10; style I fill:#22c55e,stroke:#22c55e,color:#fff&lt;/pre&gt;&lt;p&gt;文档里给了个真实可复现的例子：用 2010 年 Stack Overflow 的存档页（Wayback Machine）保存特征，再用同一个选择器去抓 2026 年的现站，两边返回同一个「Questions」按钮。&lt;/p&gt;&#10;&lt;p&gt;这套设计的关键洞察是：&lt;strong&gt;元素的一切属性都可能被网站改掉，所以不能拿任何单一属性当唯一 ID。&lt;/strong&gt; 作者的解法是把域名 + 自定义 identifier 作为数据库主键，特征只用于打分——这比「缓存选择器」或「靠 AI 重新生成选择器」都稳，因为前者失效时你连回退都没有，后者每次要花 token 且结果不可复现。&lt;/p&gt;&#10;&lt;p&gt;代价也清楚：相似度匹配是启发式，&lt;strong&gt;会误匹配&lt;/strong&gt;。特征存多了库会膨胀；&lt;code&gt;adaptive_domain&lt;/code&gt; 这类参数说明跨域名场景需要手动干预。&lt;/p&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="05--spider并发断点续爬现成模板"&gt;05 · Spider：并发、断点续爬、现成模板&#10;&lt;/h2&gt;&lt;p&gt;&lt;img alt="图：Scrapling Spider 官方架构图" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://blog.5616760.com/img/0069-003.jpg"&gt;&lt;/p&gt;&#10;&lt;p&gt;官方给的架构图很干净：Spider 定义抓取规则 → Crawler Engine 调度 → Session Manager 分发到不同 fetcher → Items 输出；中途 Checkpoint system 落盘，重启后从断点续爬。&lt;/p&gt;&#10;&lt;p&gt;代码形态接近 Scrapy，但用 async：&lt;/p&gt;&#10;&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-python" data-lang="python"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&lt;span style="color:#66d9ef"&gt;class&lt;/span&gt; &lt;span style="color:#a6e22e"&gt;QuotesSpider&lt;/span&gt;(Spider):&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; name &lt;span style="color:#f92672"&gt;=&lt;/span&gt; &lt;span style="color:#e6db74"&gt;&amp;#34;quotes&amp;#34;&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; start_urls &lt;span style="color:#f92672"&gt;=&lt;/span&gt; [&lt;span style="color:#e6db74"&gt;&amp;#34;https://quotes.toscrape.com/&amp;#34;&lt;/span&gt;]&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; concurrent_requests &lt;span style="color:#f92672"&gt;=&lt;/span&gt; &lt;span style="color:#ae81ff"&gt;10&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#66d9ef"&gt;async&lt;/span&gt; &lt;span style="color:#66d9ef"&gt;def&lt;/span&gt; &lt;span style="color:#a6e22e"&gt;parse&lt;/span&gt;(self, response: Response):&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#66d9ef"&gt;for&lt;/span&gt; quote &lt;span style="color:#f92672"&gt;in&lt;/span&gt; response&lt;span style="color:#f92672"&gt;.&lt;/span&gt;css(&lt;span style="color:#e6db74"&gt;&amp;#39;.quote&amp;#39;&lt;/span&gt;):&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#66d9ef"&gt;yield&lt;/span&gt; {&lt;span style="color:#e6db74"&gt;&amp;#34;text&amp;#34;&lt;/span&gt;: quote&lt;span style="color:#f92672"&gt;.&lt;/span&gt;css(&lt;span style="color:#e6db74"&gt;&amp;#39;.text::text&amp;#39;&lt;/span&gt;)&lt;span style="color:#f92672"&gt;.&lt;/span&gt;get(),&#10;&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#e6db74"&gt;&amp;#34;author&amp;#34;&lt;/span&gt;: quote&lt;span style="color:#f92672"&gt;.&lt;/span&gt;css(&lt;span style="color:#e6db74"&gt;&amp;#39;.author::text&amp;#39;&lt;/span&gt;)&lt;span style="color:#f92672"&gt;.&lt;/span&gt;get()}&#10;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;几个在爬虫实战里真正省事的能力：&lt;/p&gt;&#10;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;能力&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;解决的问题&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;crawldir=&amp;quot;./crawl_data&amp;quot;&lt;/code&gt; + Ctrl+C&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;断点续爬。保存 pending 请求与已见 URL，重启从同一目录恢复&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;多 Session 混用&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;同一个 Spider 里，普通页走 HTTP、受保护页走隐身浏览器，用 &lt;code&gt;sid&lt;/code&gt; 路由&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;AutoThrottle&lt;/code&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;不用猜 delay。按目标站点响应速度自动调，被限流时翻倍或按 &lt;code&gt;Retry-After&lt;/code&gt; 等&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Development Mode&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;首次跑把响应缓存到磁盘，之后重放——改 &lt;code&gt;parse()&lt;/code&gt; 逻辑不用反复打目标站&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;ShopifySpider&lt;/code&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;直接拉整站商品目录，每个 SKU 一条&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;result.items.to_json()&lt;/code&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;内置 JSON / JSONL / CSV / XML 导出&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;p&gt;&lt;strong&gt;Development Mode 是这里最实用的一条。&lt;/strong&gt; 爬虫开发 90% 的时间花在调解析逻辑，而每次调试都要重新请求目标站——既慢又容易被封。缓存重放把这件事从「每次都联网」变成「一次联网 + N 次本地」，本质上是给爬虫加了单元测试的能力。&lt;/p&gt;&#10;&lt;p&gt;&lt;code&gt;robots.txt&lt;/code&gt; 遵守是可选项（&lt;code&gt;robots_txt_obey&lt;/code&gt;），默认不开启。这一点后面会提。&lt;/p&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="06--对-ai-的三层接口"&gt;06 · 对 AI 的三层接口&#10;&lt;/h2&gt;&lt;p&gt;2026 年的开源库如果还只提供 Python API，基本等于自绝于 AI 生态。Scrapling 给了三层，且分层很清楚：&lt;/p&gt;&#10;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;层&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;形态&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;给谁用&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;MCP 服务端&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;16 个工具（&lt;code&gt;browser_fetch&lt;/code&gt;、&lt;code&gt;browser_actions&lt;/code&gt;、&lt;code&gt;browser_screenshot&lt;/code&gt;、&lt;code&gt;browser_network_requests&lt;/code&gt;…）&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;Claude / Cursor 等任意 MCP 客户端&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;Agent Skill&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;一个 ZIP，含完整 API 指南与示例&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;编码 agent（Claude Code / OpenClaw）&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;strong&gt;&lt;code&gt;page.markdown()&lt;/code&gt;&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;一行把任意页面转成干净 Markdown&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;RAG 管道&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;p&gt;MCP 那层的设计思路值得看：&lt;strong&gt;它不是「把 Python 函数暴露出去」，而是把浏览器操作拆成 agent 能组合的原子动作。&lt;/strong&gt;&lt;/p&gt;&#10;&lt;ul&gt;&#10;&lt;li&gt;&lt;code&gt;browser_actions&lt;/code&gt;：一次调用里串起填表、点击、悬停、滚动、按键、处理弹窗、等待——&lt;strong&gt;遇到第一个错误就停&lt;/strong&gt;。这样 agent 不用每一步都往返一次模型。&lt;/li&gt;&#10;&lt;li&gt;&lt;code&gt;browser_extract&lt;/code&gt;：不重新加载页面，直接读当前页或单个元素，支持 HTML / Markdown / text / 带元素角色和坐标的快照。&lt;/li&gt;&#10;&lt;li&gt;&lt;code&gt;browser_network_requests&lt;/code&gt;：读页面背后的 API 调用。默认隐藏静态资源，历史有容量上限。&lt;/li&gt;&#10;&lt;li&gt;&lt;code&gt;browser_save_state&lt;/code&gt; / &lt;code&gt;load_state&lt;/code&gt;：登录状态存成 Playwright 兼容 JSON，下次复用。&lt;/li&gt;&#10;&lt;/ul&gt;&#10;&lt;p&gt;文档里明确写了对抗 prompt 注入的意图：&lt;/p&gt;&#10;&#10; &lt;blockquote&gt;&#10; &lt;p&gt;它用了大量方法来减少发送给模型的内容、拦截广告，并保护其免受 Prompt 注入。&lt;/p&gt;&#10;&#10; &lt;/blockquote&gt;&#10;&lt;p&gt;这一点很关键——&lt;strong&gt;把网页内容喂给 AI，本质是把不可信输入喂进模型。&lt;/strong&gt; 一个爬虫 MCP 服务端如果不做这层防护，等于给目标站点开了一个直通 agent 的注入通道。&lt;/p&gt;&#10;&lt;p&gt;&lt;code&gt;page.markdown()&lt;/code&gt; 那层则是纯本地转换，不调模型：&lt;/p&gt;&#10;&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-python" data-lang="python"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;md &lt;span style="color:#f92672"&gt;=&lt;/span&gt; page&lt;span style="color:#f92672"&gt;.&lt;/span&gt;markdown() &lt;span style="color:#75715e"&gt;# 干净、去噪、LLM-ready&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;配合 &lt;code&gt;ContentSpider&lt;/code&gt; 模板，可以把整站爬成一份 Markdown 语料——&lt;strong&gt;构建 RAG 知识库时不需要任何 LLM 参与&lt;/strong&gt;。&lt;/p&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="07--性能数字哪部分可信哪部分别信"&gt;07 · 性能数字：哪部分可信，哪部分别信&#10;&lt;/h2&gt;&lt;p&gt;README 给了一张 5000 层嵌套元素的文本提取基准（&lt;code&gt;benchmarks.py&lt;/code&gt;，100+ 次取平均）：&lt;/p&gt;&#10;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;#&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th style="text-align: center"&gt;库&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th style="text-align: center"&gt;耗时 (ms)&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th style="text-align: center"&gt;vs Scrapling&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;1&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;&lt;strong&gt;Scrapling&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;&lt;strong&gt;1.99&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;1.0x&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;2&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;Parsel / Scrapy&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;2.06&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;1.035&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;3&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;Raw Lxml&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;2.56&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;1.286&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;4&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;PyQuery&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;23.98&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;~12x&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;5&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;Selectolax&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;197.02&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;~99x&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;6&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;MechanicalSoup&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;1545.15&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;~776x&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;7&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;BS4 + Lxml&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;1562.10&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;~785x&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;8&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;BS4 + html5lib&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;3412.73&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td style="text-align: center"&gt;~1715x&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;p&gt;&lt;strong&gt;前四行可信，第五行要打问号。&lt;/strong&gt;&lt;/p&gt;&#10;&lt;p&gt;Scrapling、Parsel、Raw Lxml 三者都在 2ms 量级，因为它们底层是同一个 lxml（&lt;code&gt;benchmarks.py&lt;/code&gt; 里注释也写了「Scrapling 和 Parsel 内部用同一个 parser，这样才公平」）。这个排序符合工程直觉。&lt;/p&gt;&#10;&lt;p&gt;但 &lt;strong&gt;Selectolax 197ms 明显异常&lt;/strong&gt;——selectolax 基于 Modest/lexbor，通常是最快的 HTML 解析器之一，不该比 raw lxml 慢 77 倍。合理推测是基准只测了 &lt;code&gt;cssselect&lt;/code&gt; 路径，而 selectolax 的 &lt;code&gt;.css()&lt;/code&gt; 走自己的 CSS 引擎、再逐个调 &lt;code&gt;.text()&lt;/code&gt;，在 5000 层深嵌套下退化。&lt;strong&gt;这是基准设计的问题，不是库的问题。&lt;/strong&gt;&lt;/p&gt;&#10;&lt;p&gt;BS4 那两行倒是可信：BeautifulSoup 慢是公开事实，html5lib 比 lxml 慢一倍也是常识。&lt;/p&gt;&#10;&lt;p&gt;我的建议：&lt;strong&gt;把这张表当「Scrapling 不比 Parsel / lxml 慢」的证据看，别当「Scrapling 最快」的证据看。&lt;/strong&gt; 前者的结论成立，后者需要独立复测。&lt;/p&gt;&#10;&lt;p&gt;另一个数字：README 声称 &lt;strong&gt;92% 测试覆盖率&lt;/strong&gt;、&lt;strong&gt;完整类型标注&lt;/strong&gt;、&lt;strong&gt;已被数百名爬虫日常使用一年&lt;/strong&gt;。前两项可以从 &lt;code&gt;tox.ini&lt;/code&gt; 的 &lt;code&gt;--cov=scrapling --cov-report=xml&lt;/code&gt; 和 CI 里的 &lt;code&gt;mypy&lt;/code&gt; / &lt;code&gt;pyright&lt;/code&gt; / &lt;code&gt;vermin&lt;/code&gt; 看出配置是真的；具体百分比我没有复测。第三项无法验证。&lt;/p&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="08--readme-的另一半赞助商"&gt;08 · README 的另一半：赞助商&#10;&lt;/h2&gt;&lt;p&gt;这件事值得单独说，因为它解释了整个赛道的商业模式。&lt;/p&gt;&#10;&lt;p&gt;&lt;code&gt;README.md&lt;/code&gt; 共 &lt;strong&gt;38,299 字节 / 629 行&lt;/strong&gt;，「Key Features」这一章从第 267 行才开始——&lt;strong&gt;前面 18,419 字节（48%）是赞助商和广告位。&lt;/strong&gt;&lt;/p&gt;&#10;&lt;p&gt;列出来的厂商清一色是代理 IP 服务商：NodeMaven、Hyper Solutions、Evomi、TikHub、SwiftProxy、Byteful、ProxyLane、LundProxy、Resolvr、NoneCap、DataImpulse、Decodo、ProxyEmpire、Webshare、Proxiware……每一家都带 &lt;code&gt;utm_source=scrapling&lt;/code&gt; 追踪参数和折扣码。&lt;/p&gt;&#10;&lt;p&gt;&lt;strong&gt;这不是道德指控，是行业结构说明。&lt;/strong&gt; 反爬工具的真正瓶颈从来不是代码，是 IP 资源：目标站点封的是 IP 段，不是你的 Python。所以「爬虫框架 + 代理供应商」是天然的利益绑定——框架负责把请求发出去，供应商负责让请求看起来来自不同地方。&lt;/p&gt;&#10;&lt;p&gt;看懂了这一层，才能理解 README 里那些措辞的动机：&lt;/p&gt;&#10;&#10; &lt;blockquote&gt;&#10; &lt;p&gt;🕷️ The &lt;strong&gt;BEST&lt;/strong&gt; Web Scraping framework&#10;它使用大量方法…… 让合适的 AI 模型能绕过它遇到的任何 CAPTCHA&lt;/p&gt;&#10;&#10; &lt;/blockquote&gt;&#10;&lt;p&gt;&lt;strong&gt;「BEST」是自评，「任何 CAPTCHA」是营销。&lt;/strong&gt; 这类宣称在同类项目里普遍存在，读者需要自己打折。&lt;/p&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="09--三个必须说清的代价"&gt;09 · 三个必须说清的代价&#10;&lt;/h2&gt;&lt;h3 id="-合规边界由使用者承担"&gt;① 合规边界由使用者承担&#10;&lt;/h3&gt;&lt;p&gt;README 的免责声明写得明确：&lt;/p&gt;&#10;&#10; &lt;blockquote&gt;&#10; &lt;p&gt;本库仅供教育研究用途。使用本库即表示你同意遵守当地及国际数据抓取与隐私法律。作者与贡献者对任何滥用不承担责任。请始终尊重网站的服务条款与 robots.txt。&lt;/p&gt;&#10;&#10; &lt;/blockquote&gt;&#10;&lt;p&gt;但功能上是矛盾的：&lt;code&gt;robots_txt_obey&lt;/code&gt; &lt;strong&gt;默认关闭&lt;/strong&gt;，而 &lt;code&gt;solve_cloudflare=True&lt;/code&gt; 的存在本身就意味着绕过网站主动设置的访问控制。&lt;/p&gt;&#10;&lt;p&gt;&lt;strong&gt;这是这类工具的结构性张力&lt;/strong&gt;：它同时提供「遵守 robots.txt」的开关和「破解 Cloudflare 挑战」的能力，把选择权交给用户。法律风险也就跟着转移给了用户。&lt;/p&gt;&#10;&lt;p&gt;对企业使用的实际含义：爬取自有系统、有授权的数据、公开 API 都没问题；爬第三方站点前，先确认 ToS 与当地法律（欧盟 GDPR、中国《数据安全法》都涉及）。&lt;/p&gt;&#10;&lt;h3 id="-单点依赖"&gt;② 单点依赖&#10;&lt;/h3&gt;&lt;p&gt;94.3% 的代码来自一个人。42 个贡献者里，33 人贡献 ≤2 次。&lt;/p&gt;&#10;&lt;p&gt;好消息是 issue 响应快（180 个历史 issue，只剩 10 个 open）；坏消息是 &lt;strong&gt;Bus factor = 1&lt;/strong&gt;。这不是「不信任作者」，而是任何生产依赖都要算的风险——尤其当你的爬虫跑在关键链路上。&lt;/p&gt;&#10;&lt;p&gt;缓解方式：BSD-3 允许 fork，代码量 630 KB 属于可自行维护的规模。&lt;/p&gt;&#10;&lt;h3 id="-05-版本--破坏性变更"&gt;③ 0.5 版本 + 破坏性变更&#10;&lt;/h3&gt;&lt;p&gt;v0.5 的发布说明第一句就是警告：&lt;/p&gt;&#10;&#10; &lt;blockquote&gt;&#10; &lt;p&gt;本版本引入大量破坏性变更，无法在此列出。更新前请先阅读迁移指南。&lt;/p&gt;&#10;&#10; &lt;/blockquote&gt;&#10;&lt;p&gt;从 0.1 到 0.5，两年 54 个版本。语义化版本在这里只做到 &lt;code&gt;0.x&lt;/code&gt;——&lt;strong&gt;意味着 API 还在演进，&lt;code&gt;pip install&lt;/code&gt; 不锁版本会出问题。&lt;/strong&gt; 生产环境必须 pin 版本。&lt;/p&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="10--和-scrapy--playwright--bs4-是什么关系"&gt;10 · 和 Scrapy / Playwright / BS4 是什么关系&#10;&lt;/h2&gt;&lt;p&gt;不是替代，是&lt;strong&gt;收编&lt;/strong&gt;。&lt;/p&gt;&#10;&lt;table&gt;&#10;&#9;&lt;thead&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;你的现状&lt;/th&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;th&gt;建议&lt;/th&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/thead&gt;&#10;&#9;&lt;tbody&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;已有成熟的 Scrapy 项目&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;别迁。Scrapling 提供 &lt;code&gt;@scrapling_response&lt;/code&gt; 装饰器，可以让 Scrapy 的 callback 用 Scrapling 的解析器——&lt;strong&gt;只换解析层，不换调度层&lt;/strong&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;只用 BS4 + requests，被反爬卡住&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;这是最该换的场景。&lt;code&gt;StealthyFetcher&lt;/code&gt; 直接解决 JS 渲染和指纹问题，解析 API 也兼容 BS4 习惯（&lt;code&gt;find_all('div', {'class':'quote'})&lt;/code&gt;）&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;需要给 AI agent 提供网页访问能力&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;用它的 MCP 服务端，别自己写&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;要做大规模分布式爬取&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;看 Scrapy + Scrapy-Redis。Scrapling 的 Spider 是单机并发，不是分布式调度器&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&#9;&#9;&lt;tr&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;只想解析 HTML，不需要联网&lt;/td&gt;&#10;&#9;&#9;&#9;&#9;&#9;&lt;td&gt;&lt;code&gt;pip install scrapling&lt;/code&gt; 就够了（6 个依赖），或直接用 &lt;code&gt;Selector(html)&lt;/code&gt;&lt;/td&gt;&#10;&#9;&#9;&#9;&lt;/tr&gt;&#10;&#9;&lt;/tbody&gt;&#10;&lt;/table&gt;&#10;&lt;p&gt;&lt;strong&gt;最容易踩的坑是最后一条&lt;/strong&gt;：很多人以为装了 &lt;code&gt;scrapling&lt;/code&gt; 就能用 fetcher，结果 &lt;code&gt;ModuleNotFoundError&lt;/code&gt;。解析引擎和抓取引擎是两个安装粒度。&lt;/p&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="11--判断"&gt;11 · 判断&#10;&lt;/h2&gt;&lt;p&gt;&lt;strong&gt;值得用的场景：&lt;/strong&gt;&lt;/p&gt;&#10;&lt;ul&gt;&#10;&lt;li&gt;中小规模爬取（单机、几十万页以内），不想维护 5 个库的版本冲突&lt;/li&gt;&#10;&lt;li&gt;目标站有 Cloudflare / 指纹检测，且你有授权&lt;/li&gt;&#10;&lt;li&gt;要给自己或团队搭一套 RAG 语料&lt;/li&gt;&#10;&lt;li&gt;给 AI agent 加网页访问能力&lt;/li&gt;&#10;&lt;/ul&gt;&#10;&lt;p&gt;&lt;strong&gt;不值得用的场景：&lt;/strong&gt;&lt;/p&gt;&#10;&lt;ul&gt;&#10;&lt;li&gt;已有稳定运行的 Scrapy 集群&lt;/li&gt;&#10;&lt;li&gt;需要分布式调度&lt;/li&gt;&#10;&lt;li&gt;需要长期稳定 API 承诺（0.x 阶段不适合）&lt;/li&gt;&#10;&lt;/ul&gt;&#10;&lt;p&gt;&lt;strong&gt;值得读源码的部分&lt;/strong&gt;（对做工程的人）：&lt;/p&gt;&#10;&lt;ol&gt;&#10;&lt;li&gt;&lt;strong&gt;adaptive 的相似度算法&lt;/strong&gt;（&lt;code&gt;docs/parsing/adaptive.md&lt;/code&gt; + &lt;code&gt;scrapling/parser.py&lt;/code&gt;）——把「选择器脆弱性」这个老问题做成了可持久化的工程方案，而不是靠 AI 重新猜。&lt;/li&gt;&#10;&lt;li&gt;&lt;strong&gt;测试的组织方式&lt;/strong&gt;——99 个测试文件、1.05 MB，比源码多 67%。爬虫库的测试是最难写的，这里值得看它怎么用 &lt;code&gt;-m &amp;quot;browser&amp;quot;&lt;/code&gt; / &lt;code&gt;-m &amp;quot;asyncio&amp;quot;&lt;/code&gt; 分组串行/并行。&lt;/li&gt;&#10;&lt;li&gt;&lt;strong&gt;MCP 服务端的动作编排&lt;/strong&gt;（&lt;code&gt;scrapling/core/ai/server.py&lt;/code&gt;，55 KB）——&lt;code&gt;browser_actions&lt;/code&gt; 那种「一次调用串起多步、遇错即停」的设计，是 agent 工具接口的一个好范本。&lt;/li&gt;&#10;&lt;/ol&gt;&#10;&lt;hr&gt;&#10;&lt;h2 id="写在最后"&gt;写在最后&#10;&lt;/h2&gt;&lt;p&gt;Scrapling 的 9.5 万 star，一半来自它确实好用（一个 import 解决整条链路），一半来自它踩中了两个时代红利：&lt;strong&gt;反爬军备竞赛&lt;/strong&gt;和&lt;strong&gt;AI 需要网页&lt;/strong&gt;。&lt;/p&gt;&#10;&lt;p&gt;但它的技术含量不在「功能多」——功能多是集成能力，不是壁垒。真正的壁垒是 adaptive parsing：&lt;strong&gt;别人都在教 AI 重新生成选择器，它选择把元素特征存进数据库做相似度匹配。&lt;/strong&gt; 前者每次要花 token 且不可复现，后者一次保存、永久可查。&lt;/p&gt;&#10;&lt;p&gt;代价也清楚：一个人写了 94% 的代码，0.5 版本、破坏性变更、默认不守 robots.txt、README 里近半是代理厂商广告。&lt;/p&gt;&#10;&lt;p&gt;&lt;strong&gt;它现在是一个好用的工具，也是一个值得读的工程样本，但不是一个可以无条件信任的生产依赖。&lt;/strong&gt;&lt;/p&gt;&#10;&lt;hr&gt;&#10;&#10; &lt;blockquote&gt;&#10; &lt;p&gt;&lt;strong&gt;数据来源&lt;/strong&gt;：GitHub REST API（2026-11-04），含 &lt;code&gt;/repos/D4Vinci/Scrapling&lt;/code&gt;、&lt;code&gt;/commits?per_page=1&lt;/code&gt;（Link last page 1786）、&lt;code&gt;/contributors?anon=1&lt;/code&gt;（42 人）、&lt;code&gt;/releases&lt;/code&gt;（54 页）、&lt;code&gt;/search/issues&lt;/code&gt;（issue 180 / PR 305）、&lt;code&gt;/git/trees/main?recursive=1&lt;/code&gt;（692 项未截断）；PyPI JSON API（&lt;code&gt;0.5&lt;/code&gt;，&lt;code&gt;requires_python &amp;gt;=3.10&lt;/code&gt;，54 个版本，首个 0.1 / 2024-10-13）；pypistats.org（近 1 天 66,033 / 近 7 天 298,235 / 近 30 天 919,855）。文档引文出自 &lt;code&gt;README.md&lt;/code&gt;（38,299 字节）、&lt;code&gt;docs/parsing/adaptive.md&lt;/code&gt;、&lt;code&gt;docs/fetching/choosing.md&lt;/code&gt;、&lt;code&gt;docs/ai/mcp-server.md&lt;/code&gt;、&lt;code&gt;docs/cli/overview.md&lt;/code&gt;、&lt;code&gt;agent-skill/README.md&lt;/code&gt;、&lt;code&gt;pyproject.toml&lt;/code&gt;、&lt;code&gt;benchmarks.py&lt;/code&gt;、&lt;code&gt;tox.ini&lt;/code&gt;、&lt;code&gt;.github/workflows/{tests,code-quality}.yml&lt;/code&gt;。截图与架构图取自仓库 &lt;code&gt;docs/assets/&lt;/code&gt;。&lt;/p&gt;&#10;&lt;p&gt;&lt;strong&gt;未验证项&lt;/strong&gt;：README 声称的 92% 测试覆盖率、与 Selectolax 的实际性能差距（基准只测了 cssselect 路径，197ms 与 selectolax 的通常表现不符，未做独立复测）、&lt;code&gt;solve_cloudflare&lt;/code&gt; 对各类 Cloudflare 部署的实际成功率。本文只陈述&lt;strong&gt;文档与代码中声明的行为&lt;/strong&gt;。&lt;/p&gt;&#10;&#10; &lt;/blockquote&gt;&#10;</description></item></channel></rss>