在自然语（yǔ）言处理（lǐ）领域，基本概念是“语言模型（xíng）”，即计算句子（单词序列）的（de）概率（lǜ）或（huò）序（xù）列中下一个单词的概率的模型。在一句话（huà）中的（de）单词（cí）总是顺（shùn）序出现（xiàn）的，每个单（dān）词都（dōu）可以通（tōng）过前面所有单词计（jì）算出概率，把所（suǒ）有这些单词的概率相乘，总（zǒng）概（gài）率数值（zhí）越大，说明越像（xiàng）是人类（lèi）语言。那么是（shì）否（fǒu）可以用神经网络来打（dǎ）造（zào）这样（yàng）一（yī）个语言模型呢？通过（guò）海量的人类语言语料，来训练出（chū）一个神经网络（luò），然后（hòu）向这个神（shén）经网络（luò）模型（xíng）输入一句话的前（qián）面（miàn）几个词，这个模型就能计算出这句话的下一个（gè）单词。从“基于语法（fǎ）的（de）语言模型”到“基于（yú）统计的语言模型”，进（jìn）而（ér）到“基（jī）于神经（jīng）网（wǎng）络的（de）语言模型（xíng）”，ChatGPT所（suǒ）在的阶段（duàn）正是“基于（yú）神（shén）经网络的语言（yán）模型”阶（jiē）段（duàn）。

ChatGPT使用基于GPT-3.5架构的大型神经网络语言模（mó）型，通过强化学习进行训（xùn）练。OpenAI使用监督学（xué）习（xí）和（hé）强化学习的组（zǔ）合来调优ChatGPT，其中的强化学（xué）习组件独一无二，即使（shǐ）用了人（rén）类（lèi）反（fǎn）馈强化学习（xí）（RLHF）的训练方法，该方法在训（xùn）练中使用（yòng）人类反馈（kuì），以最（zuì）小化（huà）无益（yì）、失真或偏（piān）见的输出。

ChatGPT通过（guò）连接大量的（de）语料库来训练（liàn）模（mó）型，强（qiáng）大的学习能力（lì）来自于大规模（mó）的、海量的文本数据训练，通过（guò）对其（qí）不断地监督学习、人工纠错、强化（huà）学习进行对话模拟，最终形成越（yuè）来越接近于人类语言的语言模（mó）型。