ChatGPT，由OpenAI开发的人工智能模型，其核心是基于大型语言模型（LLM）的Transformer架构。该模型在2017年被提出，其关键技术在于自注意力机制。
LLM的运作依赖于海量数据的训练，通过对这些数据进行学习，模型能够识别词语之间的关联性，并预测下一个最有可能出现的词语。这个过程涉及到对模型参数（权重）的不断调整和优化。
在生成文本时，ChatGPT会将输入的文本分解成一个个“标记”（Token）。这些标记随后被输入到模型中进行处理。为了理解对话的连贯性，模型会利用一个“语境视窗”（Context Window）来记住之前的对话内容。这个视窗的大小决定了模型能够同时考虑多少个标记，从而影响其生成文本的连贯性和相关性。
训练和运行LLM需要强大的计算能力，通常依赖于图形处理器（GPU）来加速运算。每一次与ChatGPT的交互，即使是“new chat”，模型都在内部进行复杂的计算，以生成符合语境的回复。