Commit Graph

7 Commits

Author SHA1 Message Date
panda ff1ce2a3ba 更新部分爬虫以兼容本地运行及数据库存储 2025-12-16 10:56:56 +08:00
panda a9eda60493 本地化&2.0 2025-12-02 14:01:39 +08:00
老葛 64b94d79f9 feat(xhs): 集成xhshow库优化签名生成与请求参数 (#330)
* feat(xhs): 集成xhshow库优化签名生成与请求参数

- 引入xhshow库用于小红书API签名生成
- 替换原有的seccore_signv2_playwright签名校验方式
- 支持GET和POST请求的差异化签名处理
- 增加对b1值从localStorage获取的容错处理
- 更新x-t时间戳为毫秒级精度
- 在获取博主笔记接口中增加xsec_token和xsec_source参数- 支持通过配置传递验证token和渠道来源
- 更新依赖文件引入xhshow库- 调整配置示例适配新的token参数要求

* Delete MindSpider/DeepSentimentCrawling/MediaCrawler/config/xhs_config.py

移除配置文件

* Add xhs_config.py for Xiaohongshu platform settings

恢复错误删除的文件

---------

Co-authored-by: gehongbin <gehongbin@autohome.com.cn>
Co-authored-by: Doiiars <doiiars@qq.com>
2025-11-29 14:26:26 +08:00
Doiiars f4fe4141d4 1. 同步MediaCrawler为最新版本
2. 修复数据库not null错误
3. 支持PG数据库
4. 规范环境变量及配置使用
5. 规范为uv安装
6. 使用loggru
2025-11-04 11:03:06 +08:00
戒酒的李白 587e709e82 Uploading the AI Crawler System: MindSpider 2025-08-27 13:49:07 +08:00
戒酒的李白 0c31be4287 The framework has been restructured again, and the Flask framework has been abandoned. 2025-08-22 13:52:05 +08:00
戒酒的李白 15b3a3343b Complete the part of the system crawler2. 2025-08-20 22:01:15 +08:00