爬虫控制面板
选择话题类型
添加自定义话题
添加
已选择的话题:
爬虫参数配置
爬取深度
每个话题爬取的页数(1-10)
爬取间隔(秒)
每次请求之间的间隔时间
最大重试次数
请求超时时间(秒)
内容筛选配置
帮助
筛选条件说明:
数值条件:设置大于某个值进行筛选,如点赞数>1000
正则匹配:使用正则表达式匹配内容,如包含特定关键词
多个条件之间是"与"的关系,即同时满足才会保留
提示:合理设置筛选条件可以提高数据质量
互动数据筛选
点赞数大于
评论数大于
转发数大于
阅读数大于
内容正则筛选
添加正则筛选
高级选项
仅爬取原创内容
必须包含图片或视频
仅认证用户的内容
账号配置
帮助
添加账号
如何获取Cookie?
登录微博网页版
按F12打开开发者工具
切换到Network标签页
刷新页面,找到请求头中的Cookie值
注意:请勿泄露您的Cookie信息!
提示:添加多个账号可以提高爬取效率,系统会自动在账号间轮换。
请至少添加一个账号
并行配置
最大并行数
同时进行爬取的最大话题数(1-5)
每分钟请求数限制
避免请求过于频繁(30-120)
数据库配置
数据库类型
MySQL
PostgreSQL
MongoDB
主机地址
端口
数据库名
用户名
密码
测试连接
AI配置助手
用自然语言描述您的爬虫需求
生成配置
自动应用生成的配置
AI助手建议:
开始爬取
保存配置
爬虫状态