BERT的参数应该如何冻结?
BERT是极具代表性的预训练语言模型,几乎是现在很多语言理解任务,甚至是数据挖掘任务的基座。由于种种原因,部分任务在使用BERT的时候需要冻结部分参数,或者只引入部分层,因此需要对BERT中的参数进行冻结(或解冻)处理。
Elsewhere to write something.
BERT是极具代表性的预训练语言模型,几乎是现在很多语言理解任务,甚至是数据挖掘任务的基座。由于种种原因,部分任务在使用BERT的时候需要冻结部分参数,或者只引入部分层,因此需要对BERT中的参数进行冻结(或解冻)处理。