[人工智能]Bert系列（一）

?Pre-Train Model

?上面模型最大的问题：是不会考虑每次token的context，因为对于这样的模型”单身狗“中的狗和”养只狗“的狗的对应的向量是一样的、如下图：

?因此诞生了contextualized word embedding,它们是看完整个句子之后给每个token一个embedding。不像word2vec,glove等模型吃一个词，输出一个embedding,没有考虑token的上下文。

模型趋势越来越大?

?轻量级模型

?transformer-xl:解决非常多的token句子问题

?QA问题解决方案：黄色和蓝色向量分别用来侦测答案的开始位置和终止位置

?pre-train解决序列问题解决方案1：

?pre-train解决序列问题解决方案2：

?fintune模型只是需要调节model里面的apt

?举例子：