A new microblog sentiment recognition model has been added, based on the fine-tuning of GPT2, but it has not yet been adapted to the system.

2025-05-18 22:07:18 +08:00
parent d24b47acfc
commit ed23ab1908
11 changed files with 120928 additions and 0 deletions
@@ -0,0 +1,11 @@
+一种Adapter-tuning的实现方式，只提供的思路，具体可以视情况稍微修改。
+
+
+这里补充一些模型层数：
+GPT-2 Small：12个GPT2Block，约有1.17亿个参数。
+GPT-2 Medium：24个GPT2Block，约有3.48亿个参数。
+GPT-2 Large：36个GPT2Block，约有7.55亿个参数。
+GPT-2 XL (也称为Extra Large)：48个GPT2Block，约有15.54亿个参数。
+
+RoBERTa Base：12个RobertaLayer，总共约有1.25亿个参数。
+RoBERTa Large：24个RobertaLayer，总共约有3.55亿个参数。