 panda
|
ff1ce2a3ba
|
更新部分爬虫以兼容本地运行及数据库存储
|
2025-12-16 10:56:56 +08:00 |
|
|
panda
|
a9eda60493
|
本地化&2.0
|
2025-12-02 14:01:39 +08:00 |
|
 老葛
|
64b94d79f9
|
feat(xhs): 集成xhshow库优化签名生成与请求参数 (#330)
* feat(xhs): 集成xhshow库优化签名生成与请求参数
- 引入xhshow库用于小红书API签名生成
- 替换原有的seccore_signv2_playwright签名校验方式
- 支持GET和POST请求的差异化签名处理
- 增加对b1值从localStorage获取的容错处理
- 更新x-t时间戳为毫秒级精度
- 在获取博主笔记接口中增加xsec_token和xsec_source参数- 支持通过配置传递验证token和渠道来源
- 更新依赖文件引入xhshow库- 调整配置示例适配新的token参数要求
* Delete MindSpider/DeepSentimentCrawling/MediaCrawler/config/xhs_config.py
移除配置文件
* Add xhs_config.py for Xiaohongshu platform settings
恢复错误删除的文件
---------
Co-authored-by: gehongbin <gehongbin@autohome.com.cn>
Co-authored-by: Doiiars <doiiars@qq.com>
|
2025-11-29 14:26:26 +08:00 |
|
|
zhangpengyun
|
134265aa1d
|
update mindSpider requirements
|
2025-11-16 10:00:16 +08:00 |
|
|
Doiiars
|
bba0419695
|
更新readme
|
2025-11-07 21:54:24 +08:00 |
|
|
try2love
|
148aafb2a8
|
修复sql特殊密码无法连接的问题
|
2025-11-06 13:59:33 +00:00 |
|
|
Doiiars
|
efebdbd873
|
修复文档问题
|
2025-11-05 15:26:52 +08:00 |
|
|
Doiiars
|
22ed16e00e
|
修复数据库初始化问题、删除过时的数据库格式方法、修复空停用词错误。
|
2025-11-05 14:42:33 +08:00 |
|
|
Doiiars
|
b774e5d1ed
|
修复news-id冲突问题
|
2025-11-05 11:35:18 +08:00 |
|
|
Doiiars
|
643300cf57
|
Merge remote-tracking branch 'origin/fix-mindspider' into fix-mindspider
# Conflicts:
# MindSpider/DeepSentimentCrawling/MediaCrawler/schema/tables.sql
# MindSpider/config.py
|
2025-11-04 11:03:53 +08:00 |
|
|
Doiiars
|
f4fe4141d4
|
1. 同步MediaCrawler为最新版本
2. 修复数据库not null错误
3. 支持PG数据库
4. 规范环境变量及配置使用
5. 规范为uv安装
6. 使用loggru
|
2025-11-04 11:03:06 +08:00 |
|
|
Doiiars
|
4104ee4e80
|
1. 同步MediaCrawler为最新版本
2. 修复数据库not null错误
3. 支持PG数据库
4. 规范环境变量及配置使用
5. 规范为uv安装
6. 使用loggru
|
2025-11-03 23:23:12 +08:00 |
|
|
Doiiars
|
96c7d2d3b7
|
1. 同步MediaCrawler为最新版本
2. 修复数据库not null错误
3. 支持PG数据库
4. 规范环境变量及配置使用
5. 规范为uv安装
6. 使用loggru
|
2025-11-03 22:38:34 +08:00 |
|
|
ghmark675
|
5b125ea91a
|
hotfix(database): fix source_keyword not in table bilibili_video
Fix: #51
|
2025-11-03 13:58:53 +08:00 |
|
|
ghmark675
|
6fd897d82a
|
chore(config): stop track MindSpider config.py
change it to config.py.example
|
2025-11-03 13:48:27 +08:00 |
|
|
Doiiars
|
0aaf81ba06
|
修复fetch_news无法正常获取的问题
|
2025-11-03 12:29:11 +08:00 |
|
|
Doiiars
|
3ad807778c
|
修复fetch_news无法正常获取的问题
|
2025-11-03 11:26:51 +08:00 |
|
|
666ghj
|
e109f2caae
|
Add MindSpider running screenshot.
|
2025-11-01 01:13:59 +08:00 |
|
|
BaiFu
|
3afa16b6bc
|
Add note on news API failure and solution.
|
2025-10-15 21:32:32 +08:00 |
|
|
戒酒的李白
|
7b5da08aac
|
Update README to include reference.
|
2025-09-20 16:17:22 +08:00 |
|
|
戒酒的李白
|
587e709e82
|
Uploading the AI Crawler System: MindSpider
|
2025-08-27 13:49:07 +08:00 |
|
|
戒酒的李白
|
0c31be4287
|
The framework has been restructured again, and the Flask framework has been abandoned.
|
2025-08-22 13:52:05 +08:00 |
|
|
戒酒的李白
|
15b3a3343b
|
Complete the part of the system crawler2.
|
2025-08-20 22:01:15 +08:00 |
|