media-crawler-xhs
Solid使用 MediaCrawler 采集小红书证据,包括关键词搜索、已有笔记链接详情补全、评论、图片或视频以及创作者内容。需要做竞品采样、爆款研究、补全已知链接,或建立可复用候选样本库时使用。包含安全采集方法、溯源要求、通用归一化和写入调用方 Model Memory 的规则。
AI & Automation 2,000 stars
169 forks Updated 1 months ago Apache-2.0
Install
Quality Score: 85/100
Stars 20%
Recency 20%
Frontmatter 20%
Documentation 15%
Issue Health 10%
License 10%
Description 5%
Skill Content
# 小红书采集
先读取并遵循 [media-crawler](../media-crawler/SKILL.md)。本 Skill 统一承担搜索、详情、评论与媒体采集。
## 输入
确认研究目的、关键词或准确链接、目标数量、时间窗、最低互动门槛、是否需要评论/媒体,以及调用方 Model 的 Memory 目录。`xhs-replicate` 默认使用 `memory/xhs-replicate/samples/xhs/<topic>/`。
## 方法
1. 建立 1–3 个意图不同的查询:直接问题、解决方案/品类、用户/场景。不要用近义词堆量。
2. 用 `--platform xhs --type search` 搜索;并发保持 1,先关闭评论与媒体。
3. 搜索结果只作为发现证据。归一化互动数并应用时间窗后排序,不能把搜索摘要当完整正文。
4. 按相关性、互动、形式多样性、时效性和可追溯性选择��情候选,不能只看点赞。调用方研究爆款时,不得仅因候选是商业产品、课程、无源码项目或与当前任务角色不同而剔除;Collector 负责保留证据,是否可迁移及调性差异由调用方 Model 判断。
5. 把带有效 `xsec_token`、通常也带 `xsec_source` 的完整链接写入 `config/xhs_config.py` 的 `XHS_SPECIFIED_NOTE_URL_LIST`,再运行 `--type detail`。
6. 只对 shortlist 开启评论。明确需要素材时才开启上游拼写 `ENABLE_GET_MEIDAS`,并验证下载文件与笔记对应。
7. 创作者研究使用 `XHS_CREATOR_ID_LIST` 和 `--type creator`。
8. 把原始详情、评论、媒体和运行清单复制到 Memory,再运行 `scripts/normalize.py` 生成通用索引。
9. Model 需要长期候选样本库时,传入 `--library-root memory/<model>/libraries/xhs`。派生条目保留人工策展和产品能力证据引用,但不假设任何产品 schema。
```bash
cd "${MEDIACRAWLER_DIR:-${GROWTHLAB_CLIENT_ROOT:-$HOME/.growth-lab/clients}/MediaCrawler}"
uv run main.py --platform xhs --lt qrcode --type search
uv run main.py --platform xhs --lt qrcode --type detail
uv run main.py --platform xhs --lt qrcode --type creator
cd "$REPO_ROOT/growth-lab"
python3 collectors/media-crawler-xhs/scripts/normalize.py \
--library-root memory/xhs-replicate/libraries/xhs \
--all memory/xhs-replicate/samples/xhs
```
## 质量检查
- 按 note ID/规范 URL 去重,并保留查询到笔记的来源关系。
- 有什么就记录什么:作者、时间、标题/正文、互动、类型、规范 URL、媒体列表和评论状态。
- 正文、评论或媒体缺失时明确标注,禁止补造。
...
Details
- Author
- tsingyuai
- Repository
- tsingyuai/growth-lab
- Created
- 1 months ago
- Last Updated
- 1 months ago
- Language
- Python
- License
- Apache-2.0
Similar Skills
Semantically similar based on skill content — not just same category
AI & Automation Listed
xhs-creator-content-research
当用户需要做小红书博主内容研究、账号内容列表、近期发布复盘、内容风格分析、创作者对标或账号追踪时使用。面向品牌、MCN、内容运营和创作者。
2 Updated 3 days ago
DevinChen2014 Web & Frontend Listed
xiaohongshu-note-acquire
小红书作品笔记获取工具。根据关键词获取小红书作品数据,支持按最多点赞、最多评论、最多收藏排序,支持按日期范围筛选,支持单次最多1w条笔记,结果以结构化数据展示。当用户需要获取小红书作品、查询小红书高赞内容、搜索xhs收藏笔记、爬取rednote评论笔记、搜索小红书爆款笔记时使用。触发词:小红书获取、小红书作品、小红书爆款、小红书搜索、小红书热门、小红书笔记查询、小红书高赞、小红书收藏、小红书评论。
0 Updated today
why20261 AI & Automation Listed
xhs-content-research
面向内容运营、品牌调研和创作者的小红书内容研究辅助技能。适用于 RedNote / XHS / Xiaohongshu(小红书)内容研究、选题分析、关键词观察、趋势判断、竞品内容对比和素材整理。
2 Updated 3 days ago
DevinChen2014