网页抓取的工作原理（以及各层级适合的工具）

网页抓取是将网页中的数据自动化——或半自动化——地复制成可供分析的结构化格式：电子表格、数据库、JSON 文件。从浏览器扩展到企业平台，每一个抓取器背后都在发生同样的四个步骤；理解它们，你就能准确判断一项任务需要什么工具、为什么需要。

每个抓取器都要执行的四个步骤

请求（Request）。 抓取器向网站的服务器请求一个页面——浏览器在你访问时做的就是这件事；脚本用 HTTP 请求来完成；云平台则按计划从自己的服务器发起。
接收（Receive）。 服务器以 HTML（页面的结构与内容）作为回应——而在现代重度依赖 JavaScript 的网站上，返回的可能只是一个极简骨架，由脚本在加载后填充。
解析（Parse）。 抓取器读取 HTML 并定位数据：表格单元格、重复出现的商品卡片、价格。这才是「抓取」真正发生的地方——从标记中挑出结构化的事实。
结构化（Structure）。 定位到的数据被写成行与列，可直接用于 Excel、Notion、数据库或 ML 管道。

谜底就这么多。浏览器扩展在你已经打开的浏览器内部完成全部四步——它解析的正是你所看到的页面，这也是它能在简单脚本失效的 JavaScript 页面上正常工作的原因。代码库在浏览器之外运行这四步；云平台则在服务器上、按计划、大规模地运行。

层级	工具	你负责	可扩展到
手动	选中、复制、粘贴	一切	约 10 个页面
浏览器扩展	指向并选择	哪些页面重要	约几百个页面
无代码平台	可视化工作流构建器	工作流的搭建	持续、按计划运行
代码	Python（Scrapy、BeautifulSoup）	始终是一切	任何规模

大多数人会买过头：只涉及几十个页面的研究任务需要的是扩展，而不是平台。网页抓取器的思路——指向你正在阅读的页面上的列表或表格，导出各行——以零配置覆盖了阶梯的中间段。当你真正需要顶端（定时任务、代理、数百万行数据）时，最佳网页抓取工具对比一文会为你梳理各平台。

商业智能。 竞品价格、品类与评论监控——市场仪表盘背后的结构化输入。来自你访问页面的快照足以覆盖大多数小团队的 BI；持续版本则交给平台（参见抓取价格）。
数据挖掘。 将许多形态相同的页面——招聘信息、房产列表、研究资料——聚合为一个可分析的集合。这里的模式是一份清单，而不是一次爬取：我们的数据提取清单就是其规范化版本。
机器学习与 AI 数据集。 从开放网络收集训练数据：文本语料、图像集、商品数据。规模与礼节在此同样重要——速率限制、robots.txt 与授权条款决定了什么可用。
日常研究。 不起眼的大多数：报告里的一张表、对比用的一排商品、招聘分析用的二十条职位信息。

这是两个不同的问题。合法性：阅读公开页面通常没有问题；批量自动化访问可能与网站的服务条款相冲突，而登录后抓取或绕过封锁，则是越界之处。礼节：尊重 robots.txt，保持温和的请求频率，只采集你真正需要的，而不是够得着的一切。阶梯上「在你访问的页面上使用扩展」的那一端，天生就是礼貌的一端。

抓取一个网站需要写代码吗？ 不需要。浏览器扩展通过指向并选择即可提取列表与表格，无需代码、无需配置。只有在规模化，或需要自定义逻辑与定时任务时，写代码才值得。

为什么我的脚本被封锁，浏览器却不会？ 脚本发出的请求缺少浏览器的指纹（Cookie、JavaScript 执行），因此反爬系统会将其标记。扩展运行在浏览器内部，网站看到的是一个正常访客——代价是访问者必须是你自己。

抓取和 API 有什么区别？ API 是网站主动提供的结构化数据，规则有文档可循；抓取则是阅读面向人类的页面。如果存在 API，就用 API——抓取是留给那些（为数众多的）不提供 API 的网站的。