📦 XCrawl Crawl — 大规模网站爬取工具

概述

使用指南

• 配置爬虫规则：根据目标网站结构定制规则。
• 启动爬取任务：执行大规模网站爬取。
• 监控任务状态：通过异步状态轮询跟踪进度。
• 接收爬取输出：在下游服务中处理爬取数据。

命令示例:

# 示例命令，根据实际情况替换
xcrawl-crawl start --config your_config.json

故障排除

• 任务失败：检查网络连接和目标网站响应。
• 数据不完整：验证爬虫规则和网站结构一致性。