Update the partial fine-tuning model and dataset.

2025-08-04 00:32:40 +08:00
parent 5fc3146199
commit 77214ea92e
22 changed files with 362001 additions and 3 deletions
@@ -0,0 +1,11 @@
+一种Adapter-tuning的实现方式，只提供的思路，具体可以视情况稍微修改。
+
+
+这里补充一些模型层数：
+GPT-2 Small：12个GPT2Block，约有1.17亿个参数。
+GPT-2 Medium：24个GPT2Block，约有3.48亿个参数。
+GPT-2 Large：36个GPT2Block，约有7.55亿个参数。
+GPT-2 XL (也称为Extra Large)：48个GPT2Block，约有15.54亿个参数。
+
+RoBERTa Base：12个RobertaLayer，总共约有1.25亿个参数。
+RoBERTa Large：24个RobertaLayer，总共约有3.55亿个参数。