1. 统一为使用基于pydantic的.env环境变量管理配置

2. 全项目基于loguru进行日志管理
This commit is contained in:
Doiiars
2025-11-05 14:56:49 +08:00
parent 1d2e23d8c1
commit 537d682861
50 changed files with 1404 additions and 1731 deletions
+33 -7
View File
@@ -193,7 +193,9 @@ Weibo_PublicOpinion_AnalysisSystem/
- **数据库**: MySQL(可选择我们的云数据库服务)
- **内存**: 建议2GB以上
### 1. 创建Conda环境
### 1. 创建环境
#### 如果使用Conda
```bash
# 创建conda环境
@@ -201,11 +203,21 @@ conda create -n your_conda_name python=3.11
conda activate your_conda_name
```
#### 如果使用uv
```bash
# 创建uv环境
uv venv --python 3.11 # 创建3.11环境
```
### 2. 安装依赖包
```bash
# 基础依赖安装
pip install -r requirements.txt
# uv版本命令(更快速安装)
uv pip install -r requirements.txt
# 如果不想使用本地情感分析模型(算力需求很小,默认安装cpu版本),可以将该文件中的“机器学习”部分注释掉再执行指令
```
@@ -220,9 +232,9 @@ playwright install chromium
#### 4.1 配置API密钥
复制一份 `config.py.example` 文件,命名为 `config.py`
复制一份 项目根目录 `.env.example` 文件,命名为 `.env`
编辑 `config.py` 文件,填入您的API密钥(您也可以选择自己的模型、搜索代理,详情见config文件内):
编辑 `.env` 文件,填入您的API密钥(您也可以选择自己的模型、搜索代理,详情见根目录.env.example文件内或根目录config.py中的说明):
```python
# MySQL数据库配置
@@ -248,12 +260,14 @@ INSIGHT_ENGINE_MODEL_NAME = "kimi-k2-0711-preview"
**选择1:使用本地数据库**
> MindSpider爬虫系统跟舆情系统是各自独立的,所以需要再去`MindSpider\config.py`配置一下,复制`MindSpider`文件夹下的 `config.py.example` 文件,命名为 `config.py`
> ~~MindSpider爬虫系统跟舆情系统是各自独立的,所以需要再去`MindSpider\config.py`配置一下,复制`MindSpider`文件夹下的 `config.py.example` 文件,命名为 `config.py`~~
先已更改为基于环境变量配置,请复制项目根目录.env.example文件为.env文件,并在其中填写各项配置
```bash
# 本地MySQL数据库初始化
cd MindSpider
python schema/init_database.py
# 项目初始化
python main.py --setup
```
**选择2:使用云数据库服务(推荐)**
@@ -281,6 +295,15 @@ conda activate your_conda_name
python app.py
```
uv 版本启动命令
```bash
# 在项目根目录下,激活uv环境
.venv\Scripts\activate
# 启动主应用即可
python app.py
```
> 注1:一次运行终止后,streamlit app可能结束异常仍然占用端口,此时搜索占用端口的进程kill掉即可
> 注2:数据爬取需要单独操作,见5.3指引
@@ -319,6 +342,9 @@ cd MindSpider
# 项目初始化
python main.py --setup
# 运行话题提取(获取热点新闻和关键词)
python main.py --broad-topic
# 运行完整爬虫流程
python main.py --complete --date 2024-01-20
@@ -329,7 +355,7 @@ python main.py --broad-topic --date 2024-01-20
python main.py --deep-sentiment --platforms xhs dy wb
```
## ⚙️ 高级配置
## ⚙️ 高级配置(已过时,已经统一为项目根目录.env文件管理,其他子agent自动继承根目录配置)
### 修改关键参数