ChatGPT工作原理与技术细节 自ChatGPT发布以来，ChatGPT的能力一直在刷新

李亚南

ChatGPT工作原理与技术细节

自ChatGPT发布以来，ChatGPT的能力一直在刷新大家对人工智能的认知，但 ChatGPT究竟是如何工作的呢？虽然其内部运作的细节尚未公布，但我们可以从最近的研究中拼凑出它的工作原理。
 
 
ChatGPT 的工作原理

ChatGPT 是 OpenAI 的最新语言模型，比其前身 GPT-3 有了重大改进。与许多大型语言模型类似，ChatGPT 能够为不同任务生成多种样式的文本，且具有更高的精确度、细节和连贯性。它代表了 OpenAI 大型语言模型系列的下一代产品，其设计非常注重交互式对话。
 
通过结合使用监督学习和强化学习来微调学习ChatGPT，其中强化学习是使得 ChatG...

自ChatGPT发布以来，ChatGPT的能力一直在刷新大家对人工智能的认知，但 ChatGPT究竟是如何工作的呢？虽然其内部运作的细节尚未公布，但我们可以从最近的研究中拼凑出它的工作原理。

 

 

ChatGPT 的工作原理

ChatGPT 是 OpenAI 的最新语言模型，比其前身 GPT-3 有了重大改进。与许多大型语言模型类似，ChatGPT 能够为不同任务生成多种样式的文本，且具有更高的精确度、细节和连贯性。它代表了 OpenAI 大型语言模型系列的下一代产品，其设计非常注重交互式对话。

 

通过结合使用监督学习和强化学习来微调学习ChatGPT，其中强化学习是使得 ChatGPT 独一无二的关键。创作者使用一种称为人类反馈强化学习 (RLHF) 的特殊技术，该技术在训练循环中使用人类反馈来最大限度地减少有害、不真实和/或有偏见的输出。

 

在了解 RLHF 的工作原理和 ChatGPT 如何使用 RLHF 来克服这些问题之前，我们将研究ChatGPT 的前身 GPT-3 的局限性以及这些局限性如何源于其训练过程。

 

大型语言模型中的"准确性（alignment）与精确度（capability）"

 

"alignment vs capability"可以被认为是"准确性与精确度"的更抽象的类比

 

In the context of machine learning, the term capability refers to a model's ability to perform a specific task or set of tasks. A model's capability is typically evaluated by how well it is able to optimize its objective function, the mathematical expression that defines the goal of the model. For example, a model designed to predict stock market prices might have an objective function that measures the accuracy of the model's predictions. If the model is able to accurately predict the movement of stock prices over time, it would be considered to have a high level of capability for this task.

 

在机器学习中，术语 capability 是指模型执行特定任务或一组任务的能力。模型的 capability 通常通过优化其目标函数来评估，目标函数是定义模型目标的数学表达式。例如，设计用于预测股票市场价格的模型可能具有衡量模型预测准确性的目标函数。如果该模型能够准确预测股票价格随时间的变化，则可以认为它具有完成此任务的高水平能力。

 

另一方面，Alignment 关注的是我们实际希望模型做什么而不是训练它做什么。它问的问题是"目标函数是否符合我们的意图？并指模型的目标和行为与人类价值观和期望相一致的程度。举一个简单的具体例子，假设我们训练一个鸟类分类器将鸟类分类为"麻雀"或"知更鸟"，我们使用 log loss（衡量模型预测概率分布与真实分布之间的差异）作为训练目标，即使我们的最终目标是高分类精度。该模型可能具有低对数损失，即模型的能力很高，但在测试集上的准确性很差。事实上，log loss与分类任务的准确性并不完全相关。这是一个misalignment的例子，模型能够优化训练目标，但与我们的最终目标不一致。

 

原始的GPT-

试读已结束，加入《Affiliate营销圈》全文更精彩

您尚未登录，请登录后操作

一堆薄码

太干了，看不懂

Aimmon

定位美国？！是个大佬

ttyml

让我差点以为这是，他GPT写的

临西

看懂了一半，鉴定完毕，这是高手！