Car Scraper — 车辆信息采集反爬 Skill
v1.0.0从大搜车、懂车帝、汽车之家采集二手车/新车数据,输出 OpenClaw 兼容格式。支持车辆列表、车辆详情、价格行情、商家信息采集,配备反爬对策:UA轮换、限速退避、Cookie管理、指纹伪装。
0· 389·0 当前·0 累计
安全扫描
OpenClaw
安全
high confidence该代码、SKILL.md 和文件内部一致,作为一个针对指定汽车网站的网页爬取/反检测工具集。它将执行网络请求、写入输出文件,并包含明确的反爬/规避技术——在使用前请审查法律/道德影响和运行时影响。
评估建议
此技能看似如其名(一个多网站车数据爬取器,具备反检测功能)。在安装/运行前:1) 了解它将对目标网站执行出站 HTTP(S) 请求,可能用于规避反爬措施(UA 旋转、头部指纹、Cookie 处理、代理支持)。确保您有合法权利并遵守目标网站的服务条款和当地法律。2) 如果不确定,请在受控环境(沙盒或隔离 VM)中运行,因为技能将写入输出文件(config.py 在包路径内创建 output/ 和 openclaw/ 目录)。3) 使用前检查和清理 config.py — 删除或审查任何代理条目(可能包含凭据)并设置可接受的速率限制以避免造成伤害。4) 监控初始运行期间的网络活动和日志。5) 如果需要避免规避能力,请删除/禁用 anti_detect 功能(UA 旋转、指纹),使行为保守和透明。...详细分析 ▾
✓ 用途与能力
名称/描述(从大搜车/懂车帝/汽车之家采集车数据)与提供的 Python 模块和 SKILL.md 匹配。爬虫、数据模型和 OpenClaw 导出代码对应着所声明的能力。
ℹ 指令范围
SKILL.md 指示代理仅导入爬虫和导出函数(无广泛文件读取)。代码将对目标网站执行网络请求、管理 Cookie、旋转 UAs、使用速率限制和可选代理。一个副作用:config.py 在导入时创建输出目录(在包路径上使用 os.makedirs)。反检测逻辑明确旨在规避网站保护 —— 功能上一致,但值得在政策/道德审查中注意。
✓ 安装机制
无安装规格;这是指令 + 代码文件。依赖项似乎是标准 Python 库(requests、bs4),如 requirements.txt 中所引用 — 未检测到任何未知远程下载或提取步骤。
✓ 凭证需求
该技能不请求环境变量、凭据或外部配置路径。它包含一个(空)代理列表和 config.py 中的可配置头部;默认不需要任何秘密。如果您添加带有凭据的代理,这将增加额外风险。
✓ 持久化与权限
always:false 且无代码尝试修改其他技能或全局代理配置。唯一的持久文件系统操作是创建包路径内的输出目录和写入爬取输出(OpenClaw 导出),这对于此目的是预期的。
安全有层次,运行前请审查代码。
运行时依赖
无特殊依赖
版本
latestv1.0.02026/3/9
car-scraper v1.0.0 - 首次发布,支持从大搜车、懂车帝、汽车之家采集二手车/新车数据。- 提供反爬策略:用户代理旋转、速率限制、Cookie 管理和指纹伪装。- 以 OpenClaw 兼容格式(JSON、JSONL、CSV)输出数据,采用统一的 VehicleInfo 数据模型。- 通过配置文件允许配置爬取行为(延迟、代理池、目标页)。
● 无害
安装命令 点击复制
官方npx clawhub@latest install car-scraper
镜像加速npx clawhub@latest install car-scraper --registry https://cn.clawhub-mirror.com
技能文档
万能反爬 Skill
能力
- 大搜车采集 (
dasouche_scraper.py): 采集 souche.com 二手车列表和详情 - 懂车帝采集 (
dongchedi_scraper.py): 采集 dongchedi.com 二手车数据(API + SSR 双模式) - 汽车之家采集 (
autohome_scraper.py): 采集 che168.com 二手车数据(含字体反爬处理) - OpenClaw 导出 (
openclaw_export.py): 统一格式输出 JSON/JSONL/CSV
使用方式
# 单平台采集
from dasouche_scraper import DasoucheScraper
scraper = DasoucheScraper()
result = scraper.scrape(pages=3)
# OpenClaw 导出
from openclaw_export import export_scrape_result
files = export_scrape_result(result, output_format="json")
数据模型
所有车辆数据统一为VehicleInfo (见 data_models.py),包含:
- 品牌/车系/车型/年款
- 价格/里程/上牌信息
- 发动机/变速箱/驱动/排放等技术参数
- 图片/商家/车况描述
反爬配置
编辑config.py 调整请求间隔、代理池、目标页数等参数。数据来源:ClawHub ↗ · 中文优化:龙虾技能库
OpenClaw 技能定制 / 插件定制 / 私有工作流定制
免费技能或插件可能存在安全风险,如需更匹配、更安全的方案,建议联系付费定制