ToB企服应用市场:ToB评测及商务社交产业平台

标题: 深度学习-14-深入理解BERT的根本思想和如何练习BERT模型 [打印本页]

作者: 玛卡巴卡的卡巴卡玛 时间: 昨天 10:45
标题: 深度学习-14-深入理解BERT的根本思想和如何练习BERT模型
1 BERT

BERT(Bidirectional Encoder Representations from Transformers)
1.1 BERT的根本思想

BERT是一种双向Transformer架构，擅长处置惩罚天然语言理解认为。它通过遮盖语言模型，和下一句猜测举行练习。双向性允许BERT同时思量左侧和右侧的上下文，加强了理解能力。
BERT云云乐成的一个原因之一是它是基于上下文(context-based)的嵌入模型。
不像其他流行的嵌入模型，好比word2vec，是上下文无关的(context-free)。
首先，让我们理解基于上下文和上下文无关的嵌入模型的区别。
思量下面两个句子：

Sentence A：He got bit by Python.
Sentence B：Python is my favorite programming language.

复制代码

在句子A中，Python是蟒蛇的意思。
在句子B中，Python是编程语言的意思。
如果我们得到上面两个句子中单词Python的嵌入向量：
那么像word2vec这种嵌入模型就会为这两个句子中的Python赋予相同的

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)