From e515b2751c45b1094686efac7ad9121b5eb47f62 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E6=88=92=E9=85=92=E7=9A=84=E6=9D=8E=E7=99=BD?= <670939375@qq.com> Date: Tue, 5 Aug 2025 00:37:47 +0800 Subject: [PATCH] Add readme. --- WeiboSentiment_SmallQwen/readme.md | 129 ++--------------------------- 1 file changed, 7 insertions(+), 122 deletions(-) diff --git a/WeiboSentiment_SmallQwen/readme.md b/WeiboSentiment_SmallQwen/readme.md index b786bd0..498e09d 100644 --- a/WeiboSentiment_SmallQwen/readme.md +++ b/WeiboSentiment_SmallQwen/readme.md @@ -1,128 +1,13 @@ -# WeiboSentiment_Qwen 微博情感分析（Qwen模型） +# 微调Qwen3小参数模型来完成情感分析任务 + +微博情感分析示例 ## 项目背景 -本文件夹专门用于基于阿里巴巴Qwen系列模型的微博情感分析任务。根据最新的模型评测结果，Qwen的小参数模型（如0.6B、4B、8B、14B）在话题识别、情感分析等相对简单的自然语言处理任务上表现优异，显著超越了传统的BERT等基础模型。 +本文件夹专门用于基于阿里Qwen3系列模型的微博情感分析任务。根据最新的模型评测结果，Qwen3的小参数模型（如0.6B、4B、8B、14B）在话题识别、情感分析等相对简单的自然语言处理任务上表现优异，超越了传统的BERT等基础模型。 -## 为什么选择Qwen模型 +qwen 0.6B模型加线性分类器，做特定领域的文本分类和序列标注，优于bert，也优于235B的qwen3 few shot learning。在算力有限的情况下，性价比很高... -### 性能优势 -- **更优的小模型表现**：Qwen的小参数模型在情感分析任务上展现出比BERT等传统模型更好的效果 -- **参数效率高**：相比大型语言模型，Qwen的小参数版本在保持优秀性能的同时大幅降低了计算资源需求 -- **中文优化**：Qwen模型对中文文本有更好的理解能力，特别适合微博等中文社交媒体数据 +在经过了一些相关的调研之后，我觉的将Qwen3的一些小参数模型用在本系统中是一个不错的选择。 -### 技术特点 -- **多尺寸选择**：提供0.6B、4B、8B、14B等多种参数规模，可根据实际需求选择 -- **易于微调**：模型架构设计合理，支持高效的下游任务微调 -- **部署友好**：小参数模型便于在各种硬件环境下部署 - -## 数据集说明 - -本项目使用10万条已标注的微博情感二分类数据集进行模型微调： - -- **数据规模**：100,000条微博文本 -- **标注类型**：情感二分类（正面/负面） -- **数据来源**：微博平台真实用户发布内容 -- **标注质量**：经过人工标注和质量验证 - -## 模型微调方案 - -### 支持的模型规格 -- **Qwen-0.5B**：轻量级部署，适合资源受限环境 -- **Qwen-1.8B**：平衡性能与效率的选择 -- **Qwen-4B**：推荐配置，性能与资源消耗的最佳平衡 -- **Qwen-7B**：高性能配置，适合对准确率要求较高的场景 -- **Qwen-14B**：顶级性能，适合研究和高精度应用 - -### 微调策略 -- **全参数微调**：针对有充足计算资源的用户 -- **LoRA微调**：低资源消耗的高效微调方案 -- **QLoRA微调**：量化版本，进一步降低内存需求 - -## 使用说明 - -### 环境要求 -- Python 3.8+ -- PyTorch 1.12+ -- transformers 4.20+ -- 建议使用GPU进行训练和推理 - -### 快速开始 -```bash -# 安装依赖 -pip install -r requirements.txt - -# 数据预处理 -python data_preprocessing.py - -# 模型微调 -python train_qwen.py --model_size 4B --batch_size 16 --epochs 3 - -# 模型评估 -python evaluate.py --model_path ./checkpoints/qwen-4b-finetuned - -# 模型推理 -python inference.py --text "这是一条测试微博" --model_path ./checkpoints/qwen-4b-finetuned -``` - -## 项目结构 -``` -WeiboSentiment_Qwen/ -├── data/ # 数据集目录 -│ ├── train.json # 训练数据 -│ ├── dev.json # 验证数据 -│ └── test.json # 测试数据 -├── models/ # 模型配置文件 -├── scripts/ # 训练和评估脚本 -├── checkpoints/ # 模型检查点 -├── results/ # 实验结果 -└── utils/ # 工具函数 -``` - -## 实验结果 - -| 模型 | 参数量 | 准确率 | F1分数 | 推理速度 | -|------|--------|--------|--------|----------| -| BERT-base | 110M | 0.851 | 0.847 | 基准 | -| Qwen-0.5B | 620M | 0.863 | 0.859 | 2.1x | -| Qwen-1.8B | 1.8B | 0.884 | 0.881 | 1.8x | -| Qwen-4B | 3.9B | 0.897 | 0.893 | 1.4x | -| Qwen-7B | 7.7B | 0.903 | 0.899 | 1.0x | - -## 模型选择建议 - -### 资源受限环境 -- **推荐**：Qwen-0.5B 或 Qwen-1.8B -- **适用场景**：移动端部署、边缘计算、实时性要求高的应用 - -### 平衡配置 -- **推荐**：Qwen-4B -- **适用场景**：大多数生产环境、批量处理任务 - -### 高精度需求 -- **推荐**：Qwen-7B 或 Qwen-14B -- **适用场景**：研究实验、对准确率要求极高的应用 - -## 贡献指南 - -欢迎社区贡献代码和改进建议： - -1. Fork本项目 -2. 创建特性分支 (`git checkout -b feature/AmazingFeature`) -3. 提交更改 (`git commit -m 'Add some AmazingFeature'`) -4. 推送到分支 (`git push origin feature/AmazingFeature`) -5. 开启Pull Request - -## 许可证 - -本项目遵循主项目的开源许可证，详见根目录LICENSE文件。 - -## 联系方式 - -如有问题或建议，请通过以下方式联系： -- 提交Issue到主项目仓库 -- 参与项目讨论区 - ---- - -**注意**：本项目是Weibo_PublicOpinion_AnalysisSystem的子模块，专注于Qwen模型的情感分析任务。用户可以根据自身需求和资源条件自由选择合适的模型规格进行使用。 +虽然这个参数在LLM时代算小，但作为个人开发者计算资源有限，微调他们还是实属不易。 \ No newline at end of file