用浅显的语言告诉你什么是GPT | 大模型系列知识分享(2)
用浅显的语言告诉你什么是GPT | 大模型系列知识分享(2)用浅显的语言告诉你什么是GPT | 大模型系列知识分享(2)上周咱们分享了大模型时代的四种玩家。那么今天尽量用浅显的语言跟大家科普一下GPT的理论原理。ChatGPT大家应该都玩过。比如你问GPT一个问题，"中国的秦朝有几位皇帝？"，那么GPT会从这个问题中提取一些关键字，“中国”、“秦朝”、“皇帝”，并根据自己掌握的知识找到与这些词汇相关的一些词汇。比如回答这问题，就有秦始皇嬴政，他的儿子胡亥，还有第三位子婴，其实是位“傀儡皇帝”。那么接着GPT会按照正确的语法顺序和逻辑关系，将这些词汇组成一个完整的答案，这个答案就是：中国的秦朝共有三位皇帝。第一位是秦始皇嬴政，他是秦朝的建立者，统一了六国，结束了长期的战国时期。秦始皇去世后，他的儿子胡亥继位，即秦二世胡亥。秦二世在位期间，由于暴政和朝政混乱，导致了陈胜吴广起义，秦朝的统治开始动摇。秦二世死后，子婴被立为傀儡皇帝，但不久之后秦朝就灭亡了。因此，虽然严格意义上秦朝有三位皇帝，但通常提到的是秦始皇和秦二世胡亥。所以你看这个回答还是挺考究和详细具体的。因为通常来讲大部分人不会记得还有第三位傀儡皇帝。但是GPT这个知识库可以看出来，可见其知识库还是很丰富的。这个例子展示了GPT如果从输入的问题中提取关键信息，并根据他自己的知识和经验生成相关的回答，这是一个比较笼统的解释。想必你现在也有疑问，为什么大模型就知道有第三位皇帝的存在。简单来说，大模型训练的数据里面，有的说了只有两位皇帝，有的说了有三位皇帝，而更正确的三位皇帝的相关说明更多，那么大模型会去寻找字与字之间的相关性，他会去预测每个字后面的下一个字出现的概率。如何预测下一个字的概率，我们后面会讲到。在此之前我们先科普一下什么叫GPT。GPT这三个单词，实际上这个generative pre-trained t非会员试读19%,加入社区后可阅读全文
页:
[1]
