理解 LLM 的上下文长度（context length）
一、上下文长度（context length）的定义
在 LLM 处理信息时，文本被分解成一系列的标记（tokens），这个过程称为标记化（tokenization）。然后给模型提供每个标记在原始文本中的位置信息，这个过程称为位置编码（position encoding）。经过标记化和位置编码后，模型会处理这些结构化信息。
（处理流程举例：一个英文单词可能被拆分成多个标记，每个标记对应一个数字。这种转换使得模型能够以一种结构化的方式处理语言，就像人类使用字母表一样。）