1. 同步MediaCrawler为最新版本

2. 修复数据库not null错误 3. 支持PG数据库 4. 规范环境变量及配置使用 5. 规范为uv安装 6. 使用loggru
2025-11-03 22:38:34 +08:00
parent 62fac9ee2e
commit f4fe4141d4
155 changed files with 9414 additions and 6247 deletions
@@ -0,0 +1,89 @@
+import {defineConfig} from 'vitepress'
+
+// https://vitepress.dev/reference/site-config
+export default defineConfig({
+    title: "MediaCrawler自媒体爬虫",
+    description: "小红书爬虫，抖音爬虫， 快手爬虫， B站爬虫， 微博爬虫，百度贴吧爬虫，知乎爬虫...。  ",
+    lastUpdated: true,
+    base: '/MediaCrawler/',
+    head: [
+        [
+            'script',
+            {async: '', src: 'https://www.googletagmanager.com/gtag/js?id=G-5TK7GF3KK1'}
+        ],
+        [
+            'script',
+            {},
+            `window.dataLayer = window.dataLayer || [];
+      function gtag(){dataLayer.push(arguments);}
+      gtag('js', new Date());
+      gtag('config', 'G-5TK7GF3KK1');`
+        ]
+    ],
+    themeConfig: {
+        editLink: {
+            pattern: 'https://github.com/NanmiCoder/MediaCrawler/tree/main/docs/:path'
+        },
+        search: {
+            provider: 'local'
+        },
+        // https://vitepress.dev/reference/default-theme-config
+        nav: [
+            {text: '首页', link: '/'},
+            {text: '联系我', link: '/作者介绍'},
+            {text: '支持我', link: '/知识付费介绍'},
+        ],
+
+        sidebar: [
+            {
+                text: '作者介绍',
+                link: '/作者介绍',
+            },
+            {
+                text: 'MediaCrawler使用文档',
+                items: [
+                    {text: '基本使用', link: '/'},
+                    {text: '常见问题汇总', link: '/常见问题'},
+                    {text: 'IP代理使用', link: '/代理使用'},
+                    {text: '词云图使用', link: '/词云图使用配置'},
+                    {text: '项目目录结构', link: '/项目代码结构'},
+                    {text: '手机号登录说明', link: '/手机号登录说明'},
+                ]
+            },
+            {
+                text: '知识付费',
+                items: [
+                    {text: '知识付费介绍', link: '/知识付费介绍'},
+                    {text: 'MediaCrawlerPro订阅', link: '/mediacrawlerpro订阅'},
+                    {
+                        text: 'MediaCrawler源码剖析课',
+                        link: 'https://relakkes.feishu.cn/wiki/JUgBwdhIeiSbAwkFCLkciHdAnhh'
+                    },
+                    {text: '知识星球文章专栏', link: '/知识星球介绍'},
+                    {text: '开发者咨询服务', link: '/开发者咨询'},
+                ]
+            },
+            {
+                text: 'MediaCrawler项目交流群',
+                link: '/微信交流群',
+            },
+            {
+                text: '爬虫入门教程分享',
+                items: [
+                    {text: "我写的爬虫入门教程", link: 'https://github.com/NanmiCoder/CrawlerTutorial'}
+                ]
+            },
+            {
+                text: 'MediaCrawler捐赠名单',
+                items: [
+                    {text: "捐赠名单", link: '/捐赠名单'}
+                ]
+            },
+
+        ],
+
+        socialLinks: [
+            {icon: 'github', link: 'https://github.com/NanmiCoder/MediaCrawler'}
+        ]
+    }
+})
@@ -0,0 +1,85 @@
+<!-- 在vitepress右侧的目录导航中插入动态广告组件-->
+
+<script setup>
+import { ref, onMounted, onUnmounted } from 'vue'
+
+const ads = ref([])
+const currentAdIndex = ref(0)
+let intervalId = null
+
+const fetchAds = async () => {
+  return [
+    {
+      id: 1,
+      imageUrl: 'https://github.com/NanmiCoder/MediaCrawler/raw/main/docs/static/images/auto_test.png',
+      landingUrl: 'https://item.jd.com/10124939676219.html',
+      text: '给好朋友虫师新书站台推荐 - 基于Python的自动化测试框架设计'
+    }
+  ]
+}
+
+const nextAd = () => {
+  currentAdIndex.value = (currentAdIndex.value + 1) % ads.value.length
+}
+
+onMounted(async () => {
+  ads.value = await fetchAds()
+  intervalId = setInterval(nextAd, 3000)
+})
+
+onUnmounted(() => {
+  if (intervalId) clearInterval(intervalId)
+})
+</script>
+
+<template>
+  <div class="vp-ad-carousel">
+    <template v-if="ads.length > 0">
+      <div class="ad-content">
+        <a :href="ads[currentAdIndex].landingUrl" target="_blank" rel="noopener noreferrer">
+          <img :src="ads[currentAdIndex].imageUrl" :alt="ads[currentAdIndex].text" class="ad-image">
+          <p class="ad-text">{{ ads[currentAdIndex].text }}</p>
+        </a>
+      </div>
+    </template>
+    <p v-else class="loading">Loading ads...</p>
+  </div>
+</template>
+
+<style scoped>
+.vp-ad-carousel {
+  margin-top: 1rem;
+  padding: 1rem;
+  background-color: var(--vp-c-bg-soft);
+  border-radius: 8px;
+  font-size: 0.875rem;
+  line-height: 1.5;
+}
+
+.ad-content {
+  display: flex;
+  flex-direction: column;
+  align-items: center;
+}
+
+.ad-image {
+  max-width: 130px;
+  height: auto;
+  margin-bottom: 0.5rem;
+}
+
+.ad-text {
+  text-align: center;
+  color: var(--vp-c-text-1);
+}
+
+.loading {
+  text-align: center;
+  color: var(--vp-c-text-2);
+}
+
+a {
+  text-decoration: none;
+  color: inherit;
+}
+</style>
@@ -0,0 +1,14 @@
+<!--.vitepress/theme/MyLayout.vue-->
+<script setup>
+import DefaultTheme from 'vitepress/theme'
+import DynamicAds from './DynamicAds.vue'
+const { Layout } = DefaultTheme
+</script>
+
+<template>
+  <Layout>
+    <template #aside-bottom>
+      <DynamicAds />
+    </template>
+  </Layout>
+</template>
@@ -0,0 +1,9 @@
+/* .vitepress/theme/custom.css */
+/**
+ * Component: Sidebar
+ * -------------------------------------------------------------------------- */
+
+:root {
+  --vp-sidebar-width: 285px;
+  --vp-sidebar-bg-color: var(--vp-c-bg-alt);
+}
@@ -0,0 +1,9 @@
+// .vitepress/theme/index.js
+import DefaultTheme from 'vitepress/theme'
+import MyLayout from './MyLayout.vue'
+
+export default {
+  extends: DefaultTheme,
+  // 使用注入插槽的包装组件覆盖 Layout
+  Layout: MyLayout
+}
@@ -0,0 +1,246 @@
+# CDP模式使用指南
+
+## 概述
+
+CDP（Chrome DevTools Protocol）模式是一种高级的反检测爬虫技术，通过控制用户现有的Chrome/Edge浏览器来进行网页爬取。与传统的Playwright自动化相比，CDP模式具有以下优势：
+
+### 🎯 主要优势
+
+1. **真实浏览器环境**: 使用用户实际安装的浏览器，包含所有扩展、插件和个人设置
+2. **更好的反检测能力**: 浏览器指纹更加真实，难以被网站检测为自动化工具
+3. **保留用户状态**: 自动继承用户的登录状态、Cookie和浏览历史
+4. **扩展支持**: 可以利用用户安装的广告拦截器、代理扩展等工具
+5. **更自然的行为**: 浏览器行为模式更接近真实用户
+
+## 快速开始
+
+### 1. 启用CDP模式
+
+在 `config/base_config.py` 中设置：
+
+```python
+# 启用CDP模式
+ENABLE_CDP_MODE = True
+
+# CDP调试端口（可选，默认9222）
+CDP_DEBUG_PORT = 9222
+
+# 是否在无头模式下运行（建议设为False以获得最佳反检测效果）
+CDP_HEADLESS = False
+
+# 程序结束时是否自动关闭浏览器
+AUTO_CLOSE_BROWSER = True
+```
+
+### 2. 运行测试
+
+```bash
+# 运行CDP功能测试
+python examples/cdp_example.py
+
+# 运行小红书爬虫（CDP模式）
+python main.py
+```
+
+## 配置选项详解
+
+### 基础配置
+
+| 配置项 | 类型 | 默认值 | 说明 |
+|--------|------|--------|------|
+| `ENABLE_CDP_MODE` | bool | False | 是否启用CDP模式 |
+| `CDP_DEBUG_PORT` | int | 9222 | CDP调试端口 |
+| `CDP_HEADLESS` | bool | False | CDP模式下的无头模式 |
+| `AUTO_CLOSE_BROWSER` | bool | True | 程序结束时是否关闭浏览器 |
+
+### 高级配置
+
+| 配置项 | 类型 | 默认值 | 说明 |
+|--------|------|--------|------|
+| `CUSTOM_BROWSER_PATH` | str | "" | 自定义浏览器路径 |
+| `BROWSER_LAUNCH_TIMEOUT` | int | 30 | 浏览器启动超时时间（秒） |
+
+### 自定义浏览器路径
+
+如果系统自动检测失败，可以手动指定浏览器路径：
+
+```python
+# Windows示例
+CUSTOM_BROWSER_PATH = r"C:\Program Files\Google\Chrome\Application\chrome.exe"
+
+# macOS示例  
+CUSTOM_BROWSER_PATH = "/Applications/Google Chrome.app/Contents/MacOS/Google Chrome"
+
+# Linux示例
+CUSTOM_BROWSER_PATH = "/usr/bin/google-chrome"
+```
+
+## 支持的浏览器
+
+### Windows
+- Google Chrome (稳定版、Beta、Dev、Canary)
+- Microsoft Edge (稳定版、Beta、Dev、Canary)
+
+### macOS
+- Google Chrome (稳定版、Beta、Dev、Canary)
+- Microsoft Edge (稳定版、Beta、Dev、Canary)
+
+### Linux
+- Google Chrome / Chromium
+- Microsoft Edge
+
+## 使用示例
+
+### 基本使用
+
+```python
+import asyncio
+from playwright.async_api import async_playwright
+from tools.cdp_browser import CDPBrowserManager
+
+async def main():
+    cdp_manager = CDPBrowserManager()
+    
+    async with async_playwright() as playwright:
+        # 启动CDP浏览器
+        browser_context = await cdp_manager.launch_and_connect(
+            playwright=playwright,
+            user_agent="自定义User-Agent",
+            headless=False
+        )
+        
+        # 创建页面并访问网站
+        page = await browser_context.new_page()
+        await page.goto("https://example.com")
+        
+        # 执行爬取操作...
+        
+        # 清理资源
+        await cdp_manager.cleanup()
+
+asyncio.run(main())
+```
+
+### 在爬虫中使用
+
+CDP模式已集成到所有平台爬虫中，只需启用配置即可：
+
+```python
+# 在config/base_config.py中
+ENABLE_CDP_MODE = True
+
+# 然后正常运行爬虫
+python main.py
+```
+
+## 故障排除
+
+### 常见问题
+
+#### 1. 浏览器检测失败
+**错误**: `未找到可用的浏览器`
+
+**解决方案**:
+- 确保已安装Chrome或Edge浏览器
+- 检查浏览器是否在标准路径下
+- 使用`CUSTOM_BROWSER_PATH`指定浏览器路径
+
+#### 2. 端口被占用
+**错误**: `无法找到可用的端口`
+
+**解决方案**:
+- 关闭其他使用调试端口的程序
+- 修改`CDP_DEBUG_PORT`为其他端口
+- 系统会自动尝试下一个可用端口
+
+#### 3. 浏览器启动超时
+**错误**: `浏览器在30秒内未能启动`
+
+**解决方案**:
+- 增加`BROWSER_LAUNCH_TIMEOUT`值
+- 检查系统资源是否充足
+- 尝试关闭其他占用资源的程序
+
+#### 4. CDP连接失败
+**错误**: `CDP连接失败`
+
+**解决方案**:
+- 检查防火墙设置
+- 确保localhost访问正常
+- 尝试重启浏览器
+
+### 调试技巧
+
+#### 1. 启用详细日志
+```python
+import logging
+logging.basicConfig(level=logging.DEBUG)
+```
+
+#### 2. 手动测试CDP连接
+```bash
+# 手动启动Chrome
+chrome --remote-debugging-port=9222
+
+# 访问调试页面
+curl http://localhost:9222/json
+```
+
+#### 3. 检查浏览器进程
+```bash
+# Windows
+tasklist | findstr chrome
+
+# macOS/Linux  
+ps aux | grep chrome
+```
+
+## 最佳实践
+
+### 1. 反检测优化
+- 保持`CDP_HEADLESS = False`以获得最佳反检测效果
+- 使用真实的User-Agent字符串
+- 避免过于频繁的请求
+
+### 2. 性能优化
+- 合理设置`AUTO_CLOSE_BROWSER`
+- 复用浏览器实例而不是频繁重启
+- 监控内存使用情况
+
+### 3. 安全考虑
+- 不要在生产环境中保存敏感Cookie
+- 定期清理浏览器数据
+- 注意用户隐私保护
+
+### 4. 兼容性
+- 测试不同浏览器版本的兼容性
+- 准备回退方案（标准Playwright模式）
+- 监控目标网站的反爬策略变化
+
+## 技术原理
+
+CDP模式的工作原理：
+
+1. **浏览器检测**: 自动扫描系统中的Chrome/Edge安装路径
+2. **进程启动**: 使用`--remote-debugging-port`参数启动浏览器
+3. **CDP连接**: 通过WebSocket连接到浏览器的调试接口
+4. **Playwright集成**: 使用`connectOverCDP`方法接管浏览器控制
+5. **上下文管理**: 创建或复用浏览器上下文进行操作
+
+这种方式绕过了传统WebDriver的检测机制，提供了更加隐蔽的自动化能力。
+
+## 更新日志
+
+### v1.0.0
+- 初始版本发布
+- 支持Windows和macOS的Chrome/Edge检测
+- 集成到所有平台爬虫
+- 提供完整的配置选项和错误处理
+
+## 贡献
+
+欢迎提交Issue和Pull Request来改进CDP模式功能。
+
+## 许可证
+
+本功能遵循项目的整体许可证条款，仅供学习和研究使用。
@@ -0,0 +1,768 @@
+\n
+———
+》），
+）÷（１－
+”，
+）、
+＝（
+:
+→
+℃ 
+&
+*
+一一
+~~~~
+’
+. 
+『
+.一
+./
+-- 
+』
+＝″
+【
+［＊］
+｝＞
+［⑤］］
+［①Ｄ］
+ｃ］
+ｎｇ昉
+＊
+//
+［
+］
+［②ｅ］
+［②ｇ］
+＝｛
+}
+，也 
+‘
+Ａ
+［①⑥］
+［②Ｂ］ 
+［①ａ］
+［④ａ］
+［①③］
+［③ｈ］
+③］
+１． 
+－－ 
+［②ｂ］
+’‘ 
+××× 
+［①⑧］
+０：２ 
+＝［
+［⑤ｂ］
+［②ｃ］ 
+［④ｂ］
+［②③］
+［③ａ］
+［④ｃ］
+［①⑤］
+［①⑦］
+［①ｇ］
+∈［ 
+［①⑨］
+［①④］
+［①ｃ］
+［②ｆ］
+［②⑧］
+［②①］
+［①Ｃ］
+［③ｃ］
+［③ｇ］
+［②⑤］
+［②②］
+一.
+［①ｈ］
+.数
+［］
+［①Ｂ］
+数/
+［①ｉ］
+［③ｅ］
+［①①］
+［④ｄ］
+［④ｅ］
+［③ｂ］
+［⑤ａ］
+［①Ａ］
+［②⑧］
+［②⑦］
+［①ｄ］
+［②ｊ］
+〕〔
+］［
+://
+′∈
+［②④
+［⑤ｅ］
+１２％
+ｂ］
+...
+...................
+…………………………………………………③
+ＺＸＦＩＴＬ
+［③Ｆ］
+」
+［①ｏ］
+］∧′＝［ 
+∪φ∈
+′｜
+｛－
+②ｃ
+｝
+［③①］
+Ｒ．Ｌ．
+［①Ｅ］
+Ψ
+－［＊］－
+↑
+.日 
+［②ｄ］
+［②
+［②⑦］
+［②②］
+［③ｅ］
+［①ｉ］
+［①Ｂ］
+［①ｈ］
+［①ｄ］
+［①ｇ］
+［①②］
+［②ａ］
+ｆ］
+［⑩］
+ａ］
+［①ｅ］
+［②ｈ］
+［②⑥］
+［③ｄ］
+［②⑩］
+ｅ］
+〉
+】
+元／吨
+［②⑩］
+２．３％
+５：０  
+［①］
+::
+［②］
+［③］
+［④］
+［⑤］
+［⑥］
+［⑦］
+［⑧］
+［⑨］ 
+……
+——
+?
+、
+。
+“
+”
+《
+》
+！
+，
+：
+；
+？
+．
+,
+．
+'
+? 
+·
+———
+──
+? 
+—
+<
+>
+（
+）
+〔
+〕
+[
+]
+(
+)
+-
+
+～
+×
+／
+/
+①
+②
+③
+④
+⑤
+⑥
+⑦
+⑧
+⑨
+⑩
+Ⅲ
+В
+"
+;
+#
+@
+γ
+μ
+φ
+φ．
+× 
+Δ
+■
+▲
+sub
+exp 
+sup
+sub
+Lex 
+＃
+％
+＆
+＇
+＋
+＋ξ
+＋＋
+－
+－β
+＜
+＜±
+＜Δ
+＜λ
+＜φ
+＜＜
+=
+＝
+＝☆
+＝－
+＞
+＞λ
+＿
+～±
+～＋
+［⑤ｆ］
+［⑤ｄ］
+［②ｉ］
+≈ 
+［②Ｇ］
+［①ｆ］
+ＬＩ
+㈧ 
+［－
+......
+〉
+［③⑩］
+第二
+一番
+一直
+一个
+一些
+许多
+种
+有的是
+也就是说
+末##末
+啊
+阿
+哎
+哎呀
+哎哟
+唉
+俺
+俺们
+按
+按照
+吧
+吧哒
+把
+罢了
+被
+本
+本着
+比
+比方
+比如
+鄙人
+彼
+彼此
+边
+别
+别的
+别说
+并
+并且
+不比
+不成
+不单
+不但
+不独
+不管
+不光
+不过
+不仅
+不拘
+不论
+不怕
+不然
+不如
+不特
+不惟
+不问
+不只
+朝
+朝着
+趁
+趁着
+乘
+冲
+除
+除此之外
+除非
+除了
+此
+此间
+此外
+从
+从而
+打
+待
+但
+但是
+当
+当着
+到
+得
+的
+的话
+等
+等等
+地
+第
+叮咚
+对
+对于
+多
+多少
+而
+而况
+而且
+而是
+而外
+而言
+而已
+尔后
+反过来
+反过来说
+反之
+非但
+非徒
+否则
+嘎
+嘎登
+该
+赶
+个
+各
+各个
+各位
+各种
+各自
+给
+根据
+跟
+故
+故此
+固然
+关于
+管
+归
+果然
+果真
+过
+哈
+哈哈
+呵
+和
+何
+何处
+何况
+何时
+嘿
+哼
+哼唷
+呼哧
+乎
+哗
+还是
+还有
+换句话说
+换言之
+或
+或是
+或者
+极了
+及
+及其
+及至
+即
+即便
+即或
+即令
+即若
+即使
+几
+几时
+己
+既
+既然
+既是
+继而
+加之
+假如
+假若
+假使
+鉴于
+将
+较
+较之
+叫
+接着
+结果
+借
+紧接着
+进而
+尽
+尽管
+经
+经过
+就
+就是
+就是说
+据
+具体地说
+具体说来
+开始
+开外
+靠
+咳
+可
+可见
+可是
+可以
+况且
+啦
+来
+来着
+离
+例如
+哩
+连
+连同
+两者
+了
+临
+另
+另外
+另一方面
+论
+嘛
+吗
+慢说
+漫说
+冒
+么
+每
+每当
+们
+莫若
+某
+某个
+某些
+拿
+哪
+哪边
+哪儿
+哪个
+哪里
+哪年
+哪怕
+哪天
+哪些
+哪样
+那
+那边
+那儿
+那个
+那会儿
+那里
+那么
+那么些
+那么样
+那时
+那些
+那样
+乃
+乃至
+呢
+能
+你
+你们
+您
+宁
+宁可
+宁肯
+宁愿
+哦
+呕
+啪达
+旁人
+呸
+凭
+凭借
+其
+其次
+其二
+其他
+其它
+其一
+其余
+其中
+起
+起见
+起见
+岂但
+恰恰相反
+前后
+前者
+且
+然而
+然后
+然则
+让
+人家
+任
+任何
+任凭
+如
+如此
+如果
+如何
+如其
+如若
+如上所述
+若
+若非
+若是
+啥
+上下
+尚且
+设若
+设使
+甚而
+甚么
+甚至
+省得
+时候
+什么
+什么样
+使得
+是
+是的
+首先
+谁
+谁知
+顺
+顺着
+似的
+虽
+虽然
+虽说
+虽则
+随
+随着
+所
+所以
+他
+他们
+他人
+它
+它们
+她
+她们
+倘
+倘或
+倘然
+倘若
+倘使
+腾
+替
+通过
+同
+同时
+哇
+万一
+往
+望
+为
+为何
+为了
+为什么
+为着
+喂
+嗡嗡
+我
+我们
+呜
+呜呼
+乌乎
+无论
+无宁
+毋宁
+嘻
+吓
+相对而言
+像
+向
+向着
+嘘
+呀
+焉
+沿
+沿着
+要
+要不
+要不然
+要不是
+要么
+要是
+也
+也罢
+也好
+一
+一般
+一旦
+一方面
+一来
+一切
+一样
+一则
+依
+依照
+矣
+以
+以便
+以及
+以免
+以至
+以至于
+以致
+抑或
+因
+因此
+因而
+因为
+哟
+用
+由
+由此可见
+由于
+有
+有的
+有关
+有些
+又
+于
+于是
+于是乎
+与
+与此同时
+与否
+与其
+越是
+云云
+哉
+再说
+再者
+在
+在下
+咱
+咱们
+则
+怎
+怎么
+怎么办
+怎么样
+怎样
+咋
+照
+照着
+者
+这
+这边
+这儿
+这个
+这会儿
+这就是说
+这里
+这么
+这么点儿
+这么些
+这么样
+这时
+这些
+这样
+正如
+吱
+之
+之类
+之所以
+之一
+只是
+只限
+只要
+只有
+至
+至于
+诸位
+着
+着呢
+自
+自从
+自个儿
+自各儿
+自己
+自家
+自身
+综上所述
+总的来看
+总的来说
+总的说来
+总而言之
+总之
+纵
+纵令
+纵然
+纵使
+遵照
+作为
+兮
+呃
+呗
+咚
+咦
+喏
+啐
+喔唷
+嗬
+嗯
+嗳
@@ -0,0 +1,77 @@
+# MediaCrawler使用方法
+
+## 创建并激活 python 虚拟环境
+> 如果是爬取抖音和知乎，需要提前安装nodejs环境，版本大于等于：`16`即可 <br>
+   ```shell   
+   # 进入项目根目录
+   cd MediaCrawler
+   
+   # 创建虚拟环境
+   # 我的python版本是：3.9.6，requirements.txt中的库是基于这个版本的，如果是其他python版本，可能requirements.txt中的库不兼容，自行解决一下。
+   python -m venv venv
+   
+   # macos & linux 激活虚拟环境
+   source venv/bin/activate
+
+   # windows 激活虚拟环境
+   venv\Scripts\activate
+
+   ```
+
+## 安装依赖库
+
+   ```shell
+   pip install -r requirements.txt
+   ```
+
+## 安装 playwright浏览器驱动
+
+   ```shell
+   playwright install
+   ```
+
+## 运行爬虫程序
+
+   ```shell
+   ### 项目默认是没有开启评论爬取模式，如需评论请在config/base_config.py中的 ENABLE_GET_COMMENTS 变量修改
+   ### 一些其他支持项，也可以在config/base_config.py查看功能，写的有中文注释
+   
+   # 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
+   python main.py --platform xhs --lt qrcode --type search
+   
+   # 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
+   python main.py --platform xhs --lt qrcode --type detail
+   
+   # 使用SQLite数据库存储数据（推荐个人用户使用）
+   python main.py --platform xhs --lt qrcode --type search --save_data_option sqlite
+   
+   # 使用MySQL数据库存储数据
+   python main.py --platform xhs --lt qrcode --type search --save_data_option db
+  
+   # 打开对应APP扫二维码登录
+     
+   # 其他平台爬虫使用示例，执行下面的命令查看
+   python main.py --help    
+   ```
+
+## 💾 数据存储
+
+支持多种数据存储方式：
+- **CSV 文件**: 支持保存至 CSV (位于 `data/` 目录下)
+- **JSON 文件**: 支持保存至 JSON (位于 `data/` 目录下)
+- **数据库存储**
+  - 使用 `--init_db` 参数进行数据库初始化 (使用 `--init_db` 时，无需其他可选参数)
+  - **SQLite 数据库**: 轻量级数据库，无需服务器，适合个人使用 (推荐)
+    1. 初始化: `--init_db sqlite`
+    2. 数据存储: `--save_data_option sqlite`
+  - **MySQL 数据库**: 支持保存至关系型数据库 MySQL (需提前创建数据库)
+    1. 初始化: `--init_db mysql`
+    2. 数据存储: `--save_data_option db` (db 参数为兼容历史更新保留)
+
+## 免责声明
+> **免责声明：**
+> 
+> 大家请以学习为目的使用本仓库，爬虫违法违规的案件：https://github.com/HiddenStrawberry/Crawler_Illegal_Cases_In_China  <br>
+>
+>本项目的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。
+
@@ -0,0 +1,45 @@
+# 订阅MediaCrawlerPro版本源码访问权限
+
+## 获取Pro版本的访问权限
+> MediaCrawler开源超过一年了，相信该仓库帮过不少朋友低门槛的学习和了解爬虫。维护真的耗费了大量精力和人力 <br>
+> 
+> 所以Pro版本不会开源，可以订阅Pro版本让我更加有动力去更新。<br>
+> 
+> 如果感兴趣可以加我微信，订阅Pro版本访问权限哦，有门槛💰。<br>
+> 
+> 仅针对想学习Pro版本源码实现的用户，如果是公司或者商业化盈利性质的就不要加我了，谢谢🙏
+> 
+> 代码设计拓展性强，可以自己扩展更多的爬虫平台，更多的数据存储方式，相信对你架构这种爬虫代码有所帮助。
+> 
+> 
+> **MediaCrawlerPro项目主页地址**
+> [MediaCrawlerPro Github主页地址](https://github.com/MediaCrawlerPro)
+
+
+
+扫描下方我的个人微信，备注：pro版本（如果图片展示不出来，可以直接添加我的微信号：relakkes）
+
+![relakkes_weichat.JPG](static/images/relakkes_weichat.jpg)
+
+
+##  Pro版本诞生的背景
+[MediaCrawler](https://github.com/NanmiCoder/MediaCrawler)这个项目开源至今获得了大量的关注，同时也暴露出来了一系列问题，比如：
+- 能否支持多账号？
+- 能否在linux部署？
+- 能否去掉playwright的依赖？
+- 有没有更简单的部署方法？
+- 有没有针对新手上门槛更低的方法？
+
+诸如上面的此类问题，想要在原有项目上去动刀，无疑是增加了复杂度，可能导致后续的维护更加困难。
+出于可持续维护、简便易用、部署简单等目的，对MediaCrawler进行彻底重构。
+
+## 项目介绍
+### [MediaCrawler](https://github.com/NanmiCoder/MediaCrawler)的Pro版本python实现
+**小红书爬虫**，**抖音爬虫**， **快手爬虫**， **B站爬虫**， **微博爬虫**，**百度贴吧**，**知乎爬虫**...。
+
+支持多种平台的爬虫，支持多种数据的爬取，支持多种数据的存储，最重要的**完美支持多账号+IP代理池，让你的爬虫更加稳定**。
+相较于MediaCrawler，Pro版本最大的变化：
+- 去掉了playwright的依赖，不再将Playwright集成到爬虫主干中，依赖过重。
+- 增加了Docker，Docker-compose的方式部署，让部署更加简单。
+- 多账号+IP代理池的支持，让爬虫更加稳定。
+- 新增签名服务，解耦签名逻辑，让爬虫更加灵活。
@@ -0,0 +1,15 @@
+# 代理 IP 使用说明
+> 还是得跟大家再次强调下，不要对一些自媒体平台进行大规模爬虫或其他非法行为，要踩缝纫机的哦🤣
+
+## 简易的流程图
+
+![代理 IP 使用流程图](static/images/代理IP%20流程图.drawio.png)
+
+
+## 选择一个代理IP提供商
+
+### 快代理
+[快代理使用文档](快代理使用文档.md)
+
+### 豌豆HTTP文档查看
+[豌豆HTTP使用文档](豌豆HTTP使用文档.md)
@@ -0,0 +1,21 @@
+# 关于作者
+> 大家都叫我阿江，网名：程序员阿江-Relakkes，目前裸辞正探索自由职业，希望能靠自己的技术能力和努力，实现自己理想的生活方式。
+> 
+> 我身边有大量的技术人脉资源，如果大家有一些爬虫咨询或者编程单子可以向我丢过来
+
+- [Github万星开源自媒体爬虫仓库MediaCrawler作者](https://github.com/NanmiCoder/MediaCrawler)
+- 全栈程序员，熟悉Python、Golang、JavaScript，工作中主要用Golang。
+- 曾经主导并参与过百万级爬虫采集系统架构设计与编码
+- 爬虫是一种技术兴趣爱好，参与爬虫有一种对抗的感觉，越难越兴奋。
+ 
+## 微信联系方式
+![relakkes_weichat.JPG](static/images/relakkes_weichat.jpg)
+
+## B站主页地址
+https://space.bilibili.com/434377496
+
+## 抖音主页地址
+https://www.douyin.com/user/MS4wLjABAAAATJPY7LAlaa5X-c8uNdWkvz0jUGgpw4eeXIwu_8BhvqE?previous_page=app_code_link
+
+## 小红书主页地址
+https://www.xiaohongshu.com/user/profile/5f58bd990000000001003753?xhsshare=CopyLink&appuid=5f58bd990000000001003753&apptime=1724737153
@@ -0,0 +1,52 @@
+## 使用python原生venv管理依赖（不推荐了）
+
+## 创建并激活 python 虚拟环境
+> 如果是爬取抖音和知乎，需要提前安装nodejs环境，版本大于等于：`16`即可 <br>
+> 新增 [uv](https://github.com/astral-sh/uv) 来管理项目依赖，使用uv来替代python版本管理、pip进行依赖安装，更加方便快捷
+   ```shell   
+   # 进入项目根目录
+   cd MediaCrawler
+   
+   # 创建虚拟环境
+   # 我的python版本是：3.9.6，requirements.txt中的库是基于这个版本的，如果是其他python版本，可能requirements.txt中的库不兼容，自行解决一下。
+   python -m venv venv
+   
+   # macos & linux 激活虚拟环境
+   source venv/bin/activate
+
+   # windows 激活虚拟环境
+   venv\Scripts\activate
+
+   ```
+
+## 安装依赖库
+
+   ```shell
+   pip install -r requirements.txt
+   ```
+
+## 查看配置文件
+
+## 安装 playwright浏览器驱动 (非必需)
+
+   ```shell
+   playwright install
+   ```
+
+## 运行爬虫程序
+
+   ```shell
+   ### 项目默认是没有开启评论爬取模式，如需评论请在config/base_config.py中的 ENABLE_GET_COMMENTS 变量修改
+   ### 一些其他支持项，也可以在config/base_config.py查看功能，写的有中文注释
+   
+   # 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
+   python main.py --platform xhs --lt qrcode --type search
+   
+   # 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
+   python main.py --platform xhs --lt qrcode --type detail
+  
+   # 打开对应APP扫二维码登录
+     
+   # 其他平台爬虫使用示例，执行下面的命令查看
+   python main.py --help    
+   ```
@@ -0,0 +1,45 @@
+# 常见程序运行出错问题
+
+## 缺少node环境导致的问题
+Q: 爬取抖音和知乎报错: `execjs._exceptions.ProgramError: SyntaxError: 缺少 ';'` <br>
+A: 该错误为缺少 nodejs 环境，这个错误可以通过安装 nodejs 环境来解决，版本大于等：`v16` <br>
+
+Q: 使用Cookie爬取抖音报错: execjs._exceptions.ProgramError: TypeError: Cannot read property 'JS_MD5_NO_COMMON_JS' of null
+A: windows电脑去网站下载`https://nodejs.org/en/blog/release/v16.8.0` Windows 64-bit Installer 版本，一直下一步即可。
+
+## xhs登录出现滑块一直验证不通过问题
+
+Q: 小红书扫码登录成功后，浏览器一直在验证滑块，无法登录？<br>
+A: 这种情况一般是因为使用playwright浏览器驱动被识别出来的问题，可以尝试删除项目目录下的`brower_data`文件夹，重新走登录流程。<br>
+
+## 如何指定关键词
+Q: 可以指定关键词爬取吗？<br>
+A: 在config/base_config.py 中 KEYWORDS 参数用于控制需要爬取的关键词 <br>
+
+## 如何指定帖子
+Q: 可以指定帖子爬取吗？<br>
+A：在config/base_config.py 中 XHS_SPECIFIED_ID_LIST 参数用于控制需要指定爬取的帖子ID列表 <br>
+
+## 爬取失效
+Q: 刚开始能爬取数据，过一段时间就是失效了？<br>
+A：出现这种情况多半是由于你的账号触发了平台风控机制了，❗️❗️请勿大规模对平台进行爬虫，影响平台。<br>
+
+## 如何更换另一个账号
+Q: 如何更换登录账号？<br>
+A：删除项目根目录下的 brower_data/ 文件夹即可 <br>
+
+## playwright超时问题
+Q: 报错 `playwright._impl._api_types.TimeoutError: Timeout 30000ms exceeded.`<br>
+A: 出现这种情况检查下开梯子没有<br>
+
+## 如果配置playwright浏览器驱动过滑块验证
+Q: 小红书扫码登录成功后如何手动验证?
+A: 打开 config/base_config.py 文件, 找到 HEADLESS 配置项, 将其设置为 False, 此时重启项目, 在浏览器中手动通过验证码<br>
+
+## 词云图生成
+Q: 如何配置词云图的生成?
+A: 打开 config/base_config.py 文件, 找到`ENABLE_GET_WORDCLOUD` 以及`ENABLE_GET_COMMENTS` 两个配置项，将其都设为True即可使用该功能。<br>
+
+## 词云图添加禁用词和自定义词组
+Q: 如何给词云图添加禁用词和自定义词组？
+A: 打开 `docs/hit_stopwords.txt` 输入禁用词(注意一个词语一行)。打开 config/base_config.py 文件找到 `CUSTOM_WORDS `按格式添加自定义词组即可。<br>
@@ -0,0 +1,17 @@
+# 开发者咨询
+
+## 咨询价格
+
+提供200/小时的咨询服务，最低收费为1小时，帮你快速解决项目中遇到的问题
+
+##### 支持的提问类别
+- MediaCrawler项目源码解读、安装、部署、使用问题
+- 爬虫项目开发问题
+- Python、Golang、JavaScript等编程问题
+- JS逆向问题
+- 其他问题（职业规划、工作经验等）
+
+## 加我微信
+> 备注：咨服服务
+> 
+![微信二维码](static/images/relakkes_weichat.jpg)
@@ -0,0 +1,12 @@
+# MediaCrawler项目微信交流群
+
+👏👏👏 汇聚爬虫技术爱好者，共同学习，共同进步。
+
+❗️❗️❗️群内禁止广告，禁止发各类违规和MediaCrawler不相关的问题
+
+## 加群方式
+> 备注：github，会有拉群小助手自动拉你进群。
+> 
+> 如果图片展示不出来或过期，可以直接添加我的微信号：relakkes，并备注github，会有拉群小助手自动拉你进群
+
+![relakkes_wechat](static/images/relakkes_weichat.jpg)
@@ -0,0 +1,41 @@
+## 快代理使用文档（支持个人和企业用户）
+
+## 准备代理 IP 信息
+点击 <a href="https://www.kuaidaili.com/?ref=ldwkjqipvz6c">快代理</a> 官网注册并实名认证（国内使用代理 IP 必须要实名，懂的都懂）
+
+## 获取 IP 代理的密钥信息
+从 <a href="https://www.kuaidaili.com/?ref=ldwkjqipvz6c">快代理</a> 官网获取免费试用，如下图所示
+![img.png](static/images/img.png)
+
+注意：选择私密代理
+![img_1.png](static/images/img_1.png)
+
+选择开通试用
+![img_2.png](static/images/img_2.png)
+
+初始化一个快代理的示例，如下代码所示，需要4个参数
+
+```python
+# 文件地址： proxy/providers/kuai_daili_proxy.py
+# -*- coding: utf-8 -*-
+def new_kuai_daili_proxy() -> KuaiDaiLiProxy:
+    """
+    构造快代理HTTP实例
+    Returns:
+
+    """
+    return KuaiDaiLiProxy(
+        kdl_secret_id=os.getenv("kdl_secret_id", "你的快代理secert_id"),
+        kdl_signature=os.getenv("kdl_signature", "你的快代理签名"),
+        kdl_user_name=os.getenv("kdl_user_name", "你的快代理用户名"),
+        kdl_user_pwd=os.getenv("kdl_user_pwd", "你的快代理密码"),
+    )
+
+```
+在试用的订单中可以看到这四个参数，如下图所示
+
+`kdl_user_name`、`kdl_user_pwd`
+![img_3.png](static/images/img_3.png)
+
+`kdl_secret_id`、`kdl_signature`
+![img_4.png](static/images/img_4.png)
@@ -0,0 +1,20 @@
+# 关于手机号+验证码登录的说明
+> 配置过程相当复杂，不建议采用该种方式
+
+当在浏览器模拟人为发起手机号登录请求时，使用短信转发软件将验证码发送至爬虫端回填，完成自动登录
+
+准备工作：
+
+- 安卓机1台（IOS没去研究，理论上监控短信也是可行的）
+- 安装短信转发软件 [参考仓库](https://github.com/pppscn/SmsForwarder)
+- 转发软件中配置WEBHOOK相关的信息，主要分为 消息模板（请查看本项目中的recv_sms_notification.py）、一个能push短信通知的API地址
+- push的API地址一般是需要绑定一个域名的（当然也可以是内网的IP地址），我用的是内网穿透方式，会有一个免费的域名绑定到内网的web
+  server，内网穿透工具 [ngrok](https://ngrok.com/docs/)
+- 安装redis并设置一个密码 [redis安装](https://www.cnblogs.com/hunanzp/p/12304622.html)
+- 执行 `python recv_sms_notification.py` 等待短信转发器发送HTTP通知
+- 执行手机号登录的爬虫程序 `python main.py --platform xhs --lt phone`
+
+备注：
+
+- 短信转发软件会不会监控自己手机上其他短信内容？（理论上应该不会，因为[短信转发仓库](https://github.com/pppscn/SmsForwarder)
+star还是蛮多的）
@@ -0,0 +1,71 @@
+## 捐赠MediaCrawler开源项目
+> 捐赠时请务必备注您的昵称，我会在捐赠名单中表达对您的感谢
+
+## 赞赏二维码
+
+<table align="center">
+  <tr>
+    <td align="center">
+      <h3>微信赞赏</h3>
+      <img src="./static/images/wechat_pay.jpeg" alt="微信赞赏二维码" width="200"/>
+    </td>
+    <td align="center">
+      <h3>支付宝赞赏</h3>
+      <img src="./static/images/zfb_pay.png" alt="支付宝赞赏二维码" width="200"/>
+    </td>
+  </tr>
+</table>
+
+# MediaCrawler捐赠名单
+
+> 再次感谢下面的捐赠者们对MediaCrawler的鼎力支持，是你们的支持让MediaCrawler的更新有了动力。
+
+PS：如果打赏时请备注捐赠者，如有遗漏请联系我添加（有时候消息多可能会漏掉，十分抱歉）
+
+| 捐赠者      | 捐赠金额 | 捐赠日期   |
+| ----------- | -------- | ---------- |
+| RichardYU   | 99 元    | 2025-06-19 |
+| Z.FB        | 20 元    | 2025-04-10 |
+| 若成        | 20 元    | 2025-04-01 |
+| Puple_twirl | 20 元    | 2025-03-30 |
+| N--F        | 20 元    | 2025-03-13 |
+| 财*         | 20 元    | 2025-03-06 |
+| 布莱**      | 1 元     | 2025-01-27 |
+| xldmilktea  | 20 元    | 2025-01-25 |
+| ChenWenLon  | 20 元    | 2025-01-07 |
+| steam       | 20 元    | 2024-12-20 |
+| mike        | 20 元    | 2024-12-17 |
+| thechnolog  | 5 元     | 2024-11-05 |
+| yinzhou     | 100 元   | 2024-10-21 |
+| Tnk_se      | 50 元    | 2024-10-21 |
+| 望、7       | 66 元    | 2024-09-26 |
+| 凌凌7       | 200 元   | 2024-09-19 |
+| yutao       | 20 元    | 2024-09-19 |
+| Urtb*       | 100 元   | 2024-09-07 |
+| Tornado     | 66 元    | 2024-09-04 |
+| srhedbj     | 50 元    | 2024-08-20 |
+| *嘉         | 20 元    | 2024-08-15 |
+| *良         | 50 元    | 2024-08-13 |
+| *皓         | 50 元    | 2024-03-18 |
+| *刚         | 50 元    | 2024-03-18 |
+| *乐         | 20 元    | 2024-03-17 |
+| *木         | 20 元    | 2024-03-17 |
+| *诚         | 20 元    | 2024-03-17 |
+| Strem Gamer | 20 元    | 2024-03-16 |
+| *鑫         | 20 元    | 2024-03-14 |
+| Yuzu        | 20 元    | 2024-03-07 |
+| **宁        | 100 元   | 2024-03-03 |
+| **媛        | 20 元    | 2024-03-03 |
+| Scarlett    | 20 元    | 2024-02-16 |
+| Asun        | 20 元    | 2024-01-30 |
+| 何*         | 100 元   | 2024-01-21 |
+| allen       | 20 元    | 2024-01-10 |
+| llllll      | 20 元    | 2024-01-07 |
+| 邝*元       | 20 元    | 2023-12-29 |
+| 50chen      | 50 元    | 2023-12-22 |
+| xiongot     | 20 元    | 2023-12-17 |
+| atom.hu     | 20 元    | 2023-12-16 |
+| 一呆        | 20 元    | 2023-12-01 |
+| 坠落        | 50 元    | 2023-11-08 |
+
+
@@ -0,0 +1,19 @@
+# 知识付费介绍
+开源是一种无私奉献，从MediaCrawler开源到现在有一年多，它并没有带给我多少实质性的东西，就拿收入来说，赞助费、赞赏等等全部加起来还没有之前一个月的薪水。
+
+后面搞了MediaCrawler源码剖析课程之后，收入稍微好一点，但也是群里兄弟对我开源的支持，在此也非常感谢你们～
+
+但是我依然坚持持续开源，从开始的xhs、dy 2个平台支持，到现在已经有**7个平台**支持，每一次增加一个平台其实都会耗费很大的时间去写代码和调试代码。。。。
+
+在今天跟一个群里好朋友聊天，他说：开源开发者也要活下去。你不要不好意思做知识付费，你的劳动是有价值的。
+
+他点醒我了，因此我把我所提供的知识付费内容放在下面，有需要的朋友可以看看～
+
+## MediaCrawlerPro项目源码订阅服务
+[mediacrawlerpro订阅文档说明](mediacrawlerpro订阅.md)
+
+## MediaCrawler源码剖析视频课程
+[mediacrawler源码课程介绍](https://relakkes.feishu.cn/wiki/JUgBwdhIeiSbAwkFCLkciHdAnhh)
+
+## 知识星球爬虫逆向、编程专栏
+[知识星球专栏介绍](知识星球介绍.md)
@@ -0,0 +1,31 @@
+# 知识星球专栏
+
+## 基本介绍
+
+文章：
+- 1.爬虫JS逆向案例分享
+- 2.MediaCrawler技术实现分享。
+- 3.沉淀python开发经验和技巧
+- ......................
+
+提问：
+- 4.在星球内向我提问关于MediaCrawler、爬虫、编程任何问题
+
+## 章节内容
+  - [逆向案例 - 某16x8平台商品列表接口逆向参数分析](https://articles.zsxq.com/id_x1qmtg8pzld9.html)
+  - [逆向案例 - Product Hunt月度最佳产品榜单接口加密参数分析](https://articles.zsxq.com/id_au4eich3x2sg.html)
+  - [逆向案例 - 某zhi乎x-zse-96参数分析过程](https://articles.zsxq.com/id_dui2vil0ag1l.html)
+  - [逆向案例 - 某x识星球X-Signature加密参数分析过程](https://articles.zsxq.com/id_pp4madwcwcg8.html)
+  - [【独创】使用Playwright获取某音a_bogus参数流程（包含加密参数分析）](https://articles.zsxq.com/id_u89al50jk9x0.html)
+  - [【独创】使用Playwright低成本获取某书X-s参数流程分析（当年的回忆录）](https://articles.zsxq.com/id_u4lcrvqakuc7.html)
+  - [ MediaCrawler-基于抽象类设计重构项目缓存](https://articles.zsxq.com/id_4ju73oxewt9j.html)
+  - [ 手把手带你撸一个自己的IP代理池](https://articles.zsxq.com/id_38fza371ladm.html) 
+  - [一次Mysql数据库中混用collation排序规则带来的bug](https://articles.zsxq.com/id_pibwr1wnst2p.html)
+  - [错误使用 Python 可变类型带来的隐藏 Bug](https://articles.zsxq.com/id_f7vn89l1d303.html)
+  - [【MediaCrawler】微博帖子评论爬虫教程](https://articles.zsxq.com/id_vrmuhw0ovj3t.html)
+  - [Python协程在并发场景下的幂等性问题](https://articles.zsxq.com/id_wocdwsfmfcmp.html)
+  - ........................................
+
+## 加入星球
+![星球qrcode.JPG](static/images/星球qrcode.jpg)
+
@@ -0,0 +1,57 @@
+# 关于词云图相关操作
+
+## 1.如何正确调用词云图
+> ps:目前只有保存格式为json文件时，才会生成词云图。其他存储方式添加词云图将在近期添加。
+
+需要修改的配置项（./config/base_config.py）：
+
+```python
+# 数据保存类型选项配置,支持三种类型：csv、db、json
+#此处需要为json格式保存，原因如上
+SAVE_DATA_OPTION = "json"  # csv or db or json
+```
+
+```python
+# 是否开启爬评论模式, 默认不开启爬评论
+#此处为True，需要爬取评论才可以生成评论的词云图。
+ENABLE_GET_COMMENTS = True
+```
+
+```python
+#词云相关
+#是否开启生成评论词云图
+#打开词云图功能
+ENABLE_GET_WORDCLOUD = True
+```
+
+```python
+# 添加自定义词语及其分组
+#添加规则：xx:yy 其中xx为自定义添加的词组，yy为将xx该词组分到的组名。
+CUSTOM_WORDS = {
+    '零几': '年份',  # 将“零几”识别为一个整体
+    '高频词': '专业术语'  # 示例自定义词
+}
+```
+
+```python
+#停用(禁用)词文件路径
+STOP_WORDS_FILE = "./docs/hit_stopwords.txt"
+```
+
+```python
+#中文字体文件路径
+FONT_PATH= "./docs/STZHONGS.TTF"
+```
+
+**相关解释**
+
+- 自定义词组的添加，`xx:yy` 中`xx`为自定义词语，`yy`为`xx`分配词语的组别。`yy`可以随便给任意值。
+
+- 如果需要添加禁用词，请在./docs/hit_stopwords.txt添加禁用词(保证格式正确，一个词语一行)
+- `FONT_PATH`为生成词云图中中文字体的格式，默认为宋体。可以自行添加字体文件，修改路径。
+
+## 2.生成词云图的位置
+
+![image-20240627204928601](https://rosyrain.oss-cn-hangzhou.aliyuncs.com/img2/202406272049662.png)
+
+如图，在data文件下的`words文件夹`下，其中json为词频统计文件，png为词云图。原本的评论内容在`json文件夹`下。
@@ -0,0 +1,38 @@
+## 豌豆HTTP代理使用文档 （只支持企业用户）
+
+## 准备代理 IP 信息
+点击 <a href="https://h.wandouip.com?invite_code=rtnifi">豌豆HTTP代理</a> 官网注册并实名认证（国内使用代理 IP 必须要实名，懂的都懂）
+
+## 获取 IP 代理的密钥信息 appkey
+从 <a href="https://h.wandouip.com?invite_code=rtnifi">豌豆HTTP代理</a> 官网获取免费试用，如下图所示
+![img.png](static/images/wd_http_img.png)
+
+选择自己需要的套餐
+![img_4.png](static/images/wd_http_img_4.png)
+
+
+初始化一个豌豆HTTP代理的示例，如下代码所示，需要1个参数： app_key
+
+```python
+# 文件地址： proxy/providers/wandou_http_proxy.py
+# -*- coding: utf-8 -*-
+
+def new_wandou_http_proxy() -> WanDouHttpProxy:
+    """
+    构造豌豆HTTP实例
+    Returns:
+
+    """
+    return WanDouHttpProxy(
+        app_key=os.getenv(
+            "wandou_app_key", "你的豌豆HTTP app_key"
+        ),  # 通过环境变量的方式获取豌豆HTTP app_key
+    )
+
+```
+
+在个人中心的`开放接口`找到 `app_key`，如下图所示
+
+![img_2.png](static/images/wd_http_img_2.png)
+
+
@@ -0,0 +1,71 @@
+# 项目代码结构
+
+```
+MediaCrawler
+├── base
+│   └── base_crawler.py         # 项目的抽象基类
+├── cache
+│   ├── abs_cache.py            # 缓存抽象基类
+│   ├── cache_factory.py        # 缓存工厂
+│   ├── local_cache.py          # 本地缓存实现
+│   └── redis_cache.py          # Redis缓存实现
+├── cmd_arg
+│   └── arg.py                  # 命令行参数定义
+├── config
+│   ├── base_config.py          # 基础配置
+│   ├── db_config.py            # 数据库配置
+│   └── ...                     # 各平台配置文件
+├── constant
+│   └── ...                     # 各平台常量定义
+├── database
+│   ├── db.py                   # 数据库ORM，封装增删改查
+│   ├── db_session.py           # 数据库会话管理
+│   └── models.py               # 数据库模型定义
+├── docs
+│   └── ...                     # 项目文档
+├── libs
+│   ├── douyin.js               # 抖音Sign函数
+│   ├── stealth.min.js          # 去除浏览器自动化特征的JS
+│   └── zhihu.js                # 知乎Sign函数
+├── media_platform
+│   ├── bilibili                # B站采集实现
+│   ├── douyin                  # 抖音采集实现
+│   ├── kuaishou                # 快手采集实现
+│   ├── tieba                   # 百度贴吧采集实现
+│   ├── weibo                   # 微博采集实现
+│   ├── xhs                     # 小红书采集实现
+│   └── zhihu                   # 知乎采集实现
+├── model
+│   ├── m_baidu_tieba.py        # 百度贴吧数据模型
+│   ├── m_douyin.py             # 抖音数据模型
+│   ├── m_kuaishou.py           # 快手数据模型
+│   ├── m_weibo.py              # 微博数据模型
+│   ├── m_xiaohongshu.py        # 小红书数据模型
+│   └── m_zhihu.py              # 知乎数据模型
+├── proxy
+│   ├── base_proxy.py           # 代理基类
+│   ├── providers               # 代理提供商实现
+│   ├── proxy_ip_pool.py        # 代理IP池
+│   └── types.py                # 代理类型定义
+├── store
+│   ├── bilibili                # B站数据存储实现
+│   ├── douyin                  # 抖音数据存储实现
+│   ├── kuaishou                # 快手数据存储实现
+│   ├── tieba                   # 贴吧数据存储实现
+│   ├── weibo                   # 微博数据存储实现
+│   ├── xhs                     # 小红书数据存储实现
+│   └── zhihu                   # 知乎数据存储实现
+├── test
+│   ├── test_db_sync.py         # 数据库同步测试
+│   ├── test_proxy_ip_pool.py   # 代理IP池测试
+│   └── ...                     # 其他测试用例
+├── tools
+│   ├── browser_launcher.py     # 浏览器启动器
+│   ├── cdp_browser.py          # CDP浏览器控制
+│   ├── crawler_util.py         # 爬虫工具函数
+│   ├── utils.py                # 通用工具函数
+│   └── ...
+├── main.py                     # 程序入口, 支持 --init_db 参数来初始化数据库
+├── recv_sms.py                 # 短信转发HTTP SERVER接口
+└── var.py                      # 全局上下文变量定义
+```