ChatGPT真正做的事情-文字接龙

原理

ChatGPT： 理解它就是一个函数，有输入，有输出，只是它的输入是一个句子，输出这个句子后面应该输出的词汇的机率

输入的是“什么是机器学习”， 输出一个词汇的机率的，给每一个可能的符号排一个机率，根据这个机率分布进行取样。如上图，“机”的机率最高的

因为它是对可能输出做的机率，所以每次回答的答案都不相同

此时只能解答它回答一个词汇，不能回答一个句子

回答句子的方式是： 当一个词汇出来之后，会加到输入的句子后面，比如“什么是机器学习？机”， 之后它就会对后面的输出词汇进行排机率，“机”后面最大的可能是 “器”

当反复上面的动作之后，在chatgpt可以输出的符号里面有一个结束符号

ChatGPT如何考虑过去对话历史记录

多轮对话，它还能理解上下文的原因是它把历史问的记录一并当作输入给f函数，所以f函数的是非常复杂的函数，它有非常多的参数，从gpt3.5来看就有1700亿个参数，gpt4.0更多参数

复杂f函数如何被找出来的

f函数是通过人类的教导和网络资料找出来的

寻找函数的过程就叫训练，寻找函数的时候chatgpt会找网络资料来帮助它找出文字接龙的函数f, 当找到函数f之后，它就不需要联网了，就进入下一个阶段，就是测试。

比如平时翻书或上网查资料，或者听老师讲课，就是在训练自己，这个阶段就是训练阶段；当你考试的时候，就不能翻书或去找资料，这个就算测试阶段。