小红书舆情爬虫

小红书舆情爬虫技能

爬取小红书笔记内容，分析舆情

概述

本技能用于爬取小红书（XHS）上的笔记内容，支持关键词搜索、评论采集和简单的舆情分析。

项目来源

基于 GitHub 开源项目:

redbooks (推荐): https://github.com/xiaofuqing13/redbooks jiang-xiaohongshu-爬虫 (含AI分析): https://github.com/upJiang/jiang-xiaohongshu-爬虫 TikHub (API SDK): https://github.com/TikHub/TikHub-API-Python-SDK 环境要求 本地运行 (Windows) # Python 3.8+ pip 安装 -r requirements.txt python 爬虫_ultimate.py

依赖 DrissionPage (浏览器自动化) pandas (数据处理) openpyxl (Excel导出) 请求s (HTTP请求) Pillow (图片处理) customtkinter (图形界面界面) 当前状态 ❌ 环境限制

经过测试发现:

小红书 API 需要登录凭证 - 直接调用接口返回 -101 无登录信息 无浏览器环境 - 当前沙箱没有 Chromium/Chrome 浏览器 无 图形界面 环境 - redbooks 需要 Windows + customtkinter ✅ 可行方案 本地运行 - 在有浏览器和账号的本地电脑运行 TikHub API - 使用付费 API 服务 (需要注册获取 令牌) 快速开始 (本地环境)

• 安装依赖

# 克隆项目 git clone https://github.com/xiaofuqing13/redbooks.git cd redbooks

# 创建虚拟环境 (推荐) python -m venv venv # Windows: venv\Scripts\activate # Linux/Mac: source venv/bin/activate

# 安装依赖 pip 安装 -r requirements.txt

• 运行程序

python 爬虫_ultimate.py

• 登录小红书

首次运行会弹出浏览器窗口，用小红书账号登录

• 开始爬取

输入关键词: 摩比爱识字 或 摩比点读笔 选择爬取模式: 标准模式 设置爬取数量: 50-100 条 技术限制说明 方式 需要登录 需要浏览器 费用 网页 API ✅ ❌ 免费但有限制 浏览器自动化 ✅ ✅ 免费 TikHub API ❌ ❌ 付费

更新日期: 2026-03-15

功能特性 功能 redbooks jiang-xiaohongshu-爬虫 TikHub API 关键词搜索 ✅ ✅ ✅ 笔记内容 ✅ ✅ ✅ 评论采集 ✅ ✅ ✅ 图片下载 ✅ ❌ ✅ 视频下载 ✅ ❌ ✅ AI舆情分析 ❌ ✅ ❌ 图形界面界面 ✅ ❌ ❌ 免费 ✅ ✅ 付费 爬取字段 title (标题) author (作者) content (正文内容) tags (标签) publish_time (发布时间) ip_region (IP地区) like_count (点赞数) collect_count (收藏数) comment_count (评论数) comments (评论列表) 注意事项 遵守平台规则: 仅供学习研究使用 登录要求: 首次使用需要登录小红书账号 频率限制: 建议设置爬取间隔 (如 3-5秒) 反爬风险: 频繁爬取可能导致账号被封禁 摩比产品搜索关键词 摩比爱识字 摩比点读笔 摩比思维机 mobby 摩比英语 摩比中文 输出示例

爬取结果会保存为:

Excel 文件: data/关键词_时间.xlsx SQLite 数据库: data/xiaohongshu.db 图片/视频: images/关键词_时间/

更新日期: 2026-03-15