提取网页数据合法吗？

这取决于提取的内容、使用方式和所在司法辖区。提取公开数据通常是允许的，但违反服务条款、绕过身份验证或收集个人数据，可能带来法律责任。美国 2022 年 hiQ 诉 LinkedIn 案的判决支持提取公开数据，但各国法律不同。

提取数据与抓取网页有什么区别？

抓取网页是沿链接从一个页面进入另一个页面，以发现 URL；提取数据则是从这些页面取得特定内容。爬虫负责找页面，数据提取工具负责从中取出内容。许多工具同时执行两项任务。

截图能保留页面的视觉外观，却不会提取结构化数据。截图适合归档、监测和视觉对比；如果需要文字、价格或其他结构化信息，解析 HTML 或访问 API 更高效。

不一定。静态页面可以通过 HTTP 客户端直接获取 HTML。大量依赖 JavaScript 的现代网站则需要 Puppeteer 或 Playwright 等无头浏览器先渲染页面并执行 JavaScript，之后才有内容可供提取。

网站监测经常使用数据提取技术：按时间间隔加载页面，提取价格、状态指示或内容等特定值，再与之前的结果比较。视觉监测还会加入截图，以发现单靠数据提取无法看出的布局变化。

网页数据提取是指通过程序从网站获取数据或内容，可采用解析 HTML、在无头浏览器中渲染页面，或截取视觉快照等方式，用于分析、监测或归档。

这三项活动互有重叠，但用途不同。

网页抓取是沿链接有系统地浏览网站。爬虫从一个 URL 开始，发现链接指向的页面，并递归访问，目标是绘制网站结构或建立索引。搜索引擎就是最常见的爬虫。

网页数据提取会进一步从爬虫访问的页面取得特定数据。提取工具可能从 HTML 元素中取得产品价格、文章文字、联系信息或元数据。输出是 CSV、JSON 或数据库行等结构化数据，而不是原始 HTML。

截图会保留页面在某个时间点的视觉外观。它与数据提取不同，不会生成结构化数据，而是输出页面渲染后的图像。如果视觉状态与底层数据同样重要，截图就很有价值，例如归档、视觉回归测试、竞品监测和合规记录。

这些方法可以互相补充。一条监测管线可以从产品页面提取价格数据、截取视觉证据，并定期抓取网站以发现新页面。

简单的数据提取会通过 HTTP 请求获取页面 HTML，再用 BeautifulSoup（Python）或 Cheerio（Node.js）等程序库解析。工具通过 CSS 选择器或 XPath 表达式定位目标元素，并取得其中的文字、属性或结构。

现代网站经常通过 JavaScript 动态加载内容，只获取静态 HTML 往往不够。这类网站需要无头浏览器，例如 Puppeteer（Chrome）、Playwright（多浏览器）或 Selenium，完整渲染页面、执行 JavaScript，再提供最终 DOM 供工具提取。

有些管线会把数据提取与视觉截图结合。无头浏览器渲染页面后，工具从 DOM 中提取结构化数据，同时截取画面作为视觉记录。监测流程既关心数据，也关心数据所处的视觉背景时，这种双重方法尤其有用。

这种区别对截图产品也很重要。如果任务是证明页面在某个时刻的样子，即使没有提取结构化数据，截图也通常是合适的记录。如果任务是大规模收集字段、价格或文字，截图则是辅助证据，不是主要输出。

忽视服务条款。 许多网站会在服务条款中禁止自动访问。即使数据公开可见，违反这些条款进行提取也可能引发法律行动。应始终查看网站条款和 robots.txt。
提取时不限制速率。 请求发送过快可能让服务器过载、触发 IP 封禁，或构成拒绝服务攻击。应在请求之间加入延迟，并遵守网站的 crawl-delay 指令。
对 JavaScript 渲染页面使用静态获取。 如果所需内容在初始页面加载后才由 JavaScript 生成，简单 HTTP 请求会返回空白或不完整的页面。应先用无头浏览器完整渲染，再提取数据。
把截图当作结构化数据。 截图保留视觉外观，却不提供机器可读数据。需要从截图中提取文字时，还要增加 OCR 步骤，而且可能产生错误。目标是结构化数据时，应直接从 HTML 源码提取。