nanoGpt：11个单词，每个单词表示48维度；3种类型单词；Token Embed（词元嵌入）；Input Embed（输入嵌入）；Position Embed（位置嵌入）

目录

nanoGpt：11个单词，每个单词表示48维度；3种类型单词

Token Embed（词元嵌入）

Input Embed（输入嵌入）

Position Embed（位置嵌入）

单词种类数

Position Embed元素代表什么意思

定义和基本概念

元素的具体含义:

---

nanoGpt：11个单词，每个单词表示48维度；3种类型单词

扫描二维码关注公众号，回复： 17422326 查看本文章

1. Token Embed（词元嵌入）

   • 长度（长）：在大语言模型中，词元嵌入的长度通常是指每个词元（token）对应的嵌入向量的维度。例如，如果词元嵌入长度为 768，这意味着每个 token 都被表示为一个 768 维的向