运行时依赖
无特殊依赖
安装命令
点击复制官方npx clawhub@latest install xcrawl-map
镜像加速npx clawhub@latest install xcrawl-map --registry https://cn.longxiaskill.com✓ 镜像可用
技能文档
XCrawl Map — 网站爬虫地图工具
描述
用于XCrawl地图任务，包括网站URL发现、正则表达式过滤、范围估算和完整网站爬取前的爬虫规划。使用示例
# 示例命令（假设）
xcrawl-map --url https://example.com --regex 'pattern'
注意
- 请检查目标网站的
robots.txt文件（通常位于网站根目录下的/robots.txt）以确保爬虫活动被允许。 - 适当调整爬虫频率以避免对网站服务器造成过大负担。