最近这一两周看到不少互联网公司都已经开始秋招提前批了。
不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。
最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。
总结链接如下：
喜欢本文记得收藏、关注、点赞。更多实战和面试交流，文末加入我们
这两天求职群分享了很多大厂的算法岗面试真题，发现大模型、AIGC、LLM相关的面试题特别多。
要知道现在这类岗位需求增量非常大，而且很高薪！于是我整理了大模型面试高频题，希望对你有所帮助
1. 位置编码有哪些？
2. 介绍LoRA与QLoRA
3. RAG和微调的区别是什么？
4. 哪些因素会导致LLM的偏见？
5. 什么是思维链（CoT）提示？
6. Tokenizer的实现方法及原理
7. 解释一下大模型的涌现能力？
8. 解释langchainAgent的概念
9. langchain有哪些替代方案？
10. RLHF完整训练过程是什么？
11. RAG和微调的区别是什么？
12. 有了解过什么是稀疏微调吗？
13. 简述一下FlashAttention的原理
14. 画图说明 Transformer 基本流程
15. LLM预训练阶段有哪几个关键步骤？
16. RLHF模型为什么会表现比SFT更好？
17. LLaMA 模型为什么要用旋转位置编码？
18. DeepSpeed推理对算子融合做了哪些优化？
19. MHA，GQA，MQA三种注意力机制的区别是什么？
20. 为什么现在的大模型大多是 decoder-only 的架构？
21. 训练后量化（PTQ）和量化感知训练（QAT）与什么区别？
还特别整理15道Transformer高频面试题
-
介绍Transformer和ViT
-
介绍Transformer的QKV
-
介绍Layer Normalization
-
Transformer训练和部署技巧
-
介绍Transformer的位置编码
-
介绍自注意力机制和数学公式
-
介绍Transformer的Encoder模块
-
介绍Transformer的Decoder模块
-
Transformer和Mamba（SSM）的区别
-
Transformer中的残差结构以及意义
-
为什么Transformer适合多模态任务？
-
Transformer的并行化体现在哪个地方？
-
为什么Transformer一般使用LayerNorm？
-
Transformer为什么使用多头注意力机制？
-
Transformer训练的Dropout是如何设定的？
技术交流&资料
用通俗易懂方式讲解系列
- 用通俗易懂的方式讲解：自然语言处理初学者指南（附1000页的PPT讲解）
- 用通俗易懂的方式讲解：1.6万字全面掌握 BERT
- 用通俗易懂的方式讲解：NLP 这样学习才是正确路线
- 用通俗易懂的方式讲解：28张图全解深度学习知识！
- 用通俗易懂的方式讲解：不用再找了，这就是 NLP 方向最全面试题库
- 用通俗易懂的方式讲解：实体关系抽取入门教程
- 用通俗易懂的方式讲解：灵魂 20 问帮你彻底搞定Transformer
- 用通俗易懂的方式讲解：图解 Transformer 架构
- 用通俗易懂的方式讲解：大模型算法面经指南（附答案）
- 用通俗易懂的方式讲解：十分钟部署清华 ChatGLM-6B，实测效果超预期
- 用通俗易懂的方式讲解：内容讲解+代码案例，轻松掌握大模型应用框架 LangChain
- 用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统
- 用通俗易懂的方式讲解：最全的大模型 RAG 技术概览
- 用通俗易懂的方式讲解：利用 LangChain 和 Neo4j 向量索引，构建一个RAG应用程序
- 用通俗易懂的方式讲解：使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA
- 用通俗易懂的方式讲解：面了 5 家知名企业的NLP算法岗(大模型方向)，被考倒了。。。。。
- 用通俗易懂的方式讲解：NLP 算法实习岗，对我后续找工作太重要了！。
- 用通俗易懂的方式讲解：理想汽车大模型算法工程师面试，被问的瑟瑟发抖。。。。
- 用通俗易懂的方式讲解：基于 Langchain-Chatchat，我搭建了一个本地知识库问答系统
- 用通俗易懂的方式讲解：面试字节大模型算法岗(实习)
- 用通俗易懂的方式讲解：大模型算法岗(含实习)最走心的总结
- 用通俗易懂的方式讲解：大模型微调方法汇总