深度学习-14-深入理解BERT的根本思想和如何练习BERT模型 ...

1 BERT

BERT(Bidirectional Encoder Representations from Transformers)
1.1 BERT的根本思想

BERT是一种双向Transformer架构，擅长处置惩罚天然语言理解认为。它通过遮盖语言模型，和下一句猜测举行练习。双向性允许BERT同时思量左侧和右侧的上下文，加强了理解能力。
BERT云云乐成的一个原因之一是它是基于上下文(context-based)的嵌入模型。
不像其他流行的嵌入模型，好比word2vec，是上下文无关的(context-free)。
首先，让我们理解基于上下文和上下文无关的嵌入模型的区别。
思量下面两个句子：

1. Sentence A：He got bit by Python.
2. Sentence B：Python is my favorite programming language.

复制代码

在句子A中，​​Python​​​是蟒蛇的意思。
在句子B中，Python是编程语言的意思。
如果我们得到上面两个句子中单词​​​Python​​​的嵌入向量：
那么像word2vec这种嵌入模型就会为这两个句子中的​​Python​​​赋予相同的

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。