立山 发表于 2024-11-15 06:57:55

动手学深度学习70 BERT微调

1. BERT微调

https://i-blog.csdnimg.cn/direct/ad9c235316f349c0bf3a2a8a6b2423dc.png
https://i-blog.csdnimg.cn/direct/2c9f039f216848b3954334de311651b3.png
https://i-blog.csdnimg.cn/direct/53da70fc421b443a805cdcd6fc38b9d9.png
https://i-blog.csdnimg.cn/direct/11128e1ee6b34977abe7a29586c100f5.png
https://i-blog.csdnimg.cn/direct/b24683647ad94fb596d0e0dd64bb9e27.png
https://i-blog.csdnimg.cn/direct/594bb5d864d54a23be274e6d91e401f1.png
2. 天然语言推理数据集

3. BERT微调代码

4. QA

https://i-blog.csdnimg.cn/direct/19f30c64099e47d88e86425f7e867b27.png
9 10, 一样平常不固定,固定参数可以使训练速度加快,可以实验
11 应该能
12 本身很快+技能细节–>精度高
13 bert一样平常可以用工具转成c++ 开销大。考虑怎么提升bert性能。
14 装备性能不高,可以用蒸馏bert。模型中有大量冗余的东西。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 动手学深度学习70 BERT微调