📦 Scrape — 网页抓取
v1.1.0合法的网页抓取工具，支持 robots.txt 合规、速率限制，以及 GDPR/CCPA 数据处理。支持直接 HTTP 抓取和托管抓取方式。
0· 0·0 当前·0 累计
by @alvisdunlop
运行时依赖
无特殊依赖
安装命令
点击复制官方npx clawhub@latest install alvisdunlop-scrape
镜像加速npx clawhub@latest install alvisdunlop-scrape --registry https://cn.longxiaskill.com镜像同步中
技能文档
概述
Scrape 是一个合法的网页抓取技能，支持 robots.txt 合规、速率限制，以及 GDPR/CCPA 数据处理。
功能特性
- robots.txt 合规检查
- 速率限制
- GDPR/CCPA 数据处理支持
- 直接 HTTP 抓取
- 托管抓取方式
使用方法
# 基本用法
scrape --url https://example.com
配置选项
rate_limit: 每秒请求数限制user_agent: 自定义 User-Agentrespect_robots_txt: 是否遵守 robots.txt