bettafish-company/SentimentAnalysisModel/WeiboSentiment_Finetuned/GPT2-AdapterTuning/example/README.md

一种Adapter-tuning的实现方式，只提供的思路，具体可以视情况稍微修改。

这里补充一些模型层数： GPT-2 Small：12个GPT2Block，约有1.17亿个参数。 GPT-2 Medium：24个GPT2Block，约有3.48亿个参数。 GPT-2 Large：36个GPT2Block，约有7.55亿个参数。 GPT-2 XL (也称为Extra Large)：48个GPT2Block，约有15.54亿个参数。

RoBERTa Base：12个RobertaLayer，总共约有1.25亿个参数。 RoBERTa Large：24个RobertaLayer，总共约有3.55亿个参数。