2024年大模型算法工程师口试全攻略：题库与答案解析

前言

在准备大模型的口试时，我们必要对模型的基础理论、进阶应用、微调计谋、以及特定技能如LangChain、参数高效微调（PEFT）等有深入的理解。
这里给各人整理了一份具体的口试题，资助各人提进步行口试复习，同时对自己的技能进行查漏补缺。
一、大模型基础口试题

• 现在主流的开源模型体系有哪些？
  
• prefix LM 和 causal LM 区别是什么？
  
• 涌现能力是啥原因？
  
• 大模型LLM的架构先容？
  

二、大模型进阶口试题

• llama 输入句子长度理论上可以无限长吗？
  
• 什么是 LLMs 复读机题目？
  
• 为什么会出现 LLMs 复读机题目？
  
• 如何缓解 LLMs 复读机题目？
  
• LLMs 复读机题目
  
• llama 系列题目
  
• 什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
  
• 各个专业领域是否必要各自的大模型来服务？
  
• 如何让大模型处理更长的文本？
  

三、大模型微调口试题

• 假如想要在某个模型基础上做全参数微调，毕竟必要多少显存？
  
• 为什么SFT之后感觉LLM傻了?
  
• SFT 指令微调数据 如何构建?
  
• 领域模型Continue PreTrain 数据选取？
  
• 领域数据练习后，通用能力往往会有所降落，如何缓解模型遗忘通用能力？
  
• 领域模型Continue PreTrain ，如何 让模型在预练习过程中就学习到更多的知识？
  
• 进行SFT操作的时间，基座模型选用Chat还是Base?
  
• 领域模型微调 指令&数据输入格式 要求？
  
• 领域模型微调 领域评测集 构建？
  
• 领域模型词表扩增是不是有须要的？
  
• 如何练习自己的大模型？
  
• 练习中文大模型有啥经验？
  
• 指令微调的利益？
  
• 预练习和微调哪个阶段注入知识的？
  
• 想让模型学习某个领域或行业的知识，是应该预练习还是应该微调？
  
• 多轮对话任务如何微调模型？
  
• 微调后的模型出现能力劣化，劫难性遗忘是怎么回事？
  
• 微调模型必要多大显存？
  
• 大模型LLM进行SFT操作的时间在学习什么？
  
• 预练习和SFT操作有什么不同
  
• 样本量规模增大，练习出现OOM错
  
• 大模型LLM进行SFT 如何对样本进行优化？
  
• 模型参数迭代实验
  

   有必要全套的AI大模型口试题及答案解析资料的小同伴，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】
  

四、大模型langchain口试题

• 基于LLM+向量库的文档对话 基础面
  
• 基于LLM+向量库的文档对话 优化面
  
• 基于LLM+向量库的文档对话 工程示例面
  
• LLMs 存在模型幻觉题目，叨教如那边理？
  
• 基于LLM+向量库的文档对话 思绪是怎么样？
  
• 基于LLM+向量库的文档对话 核心技能是什么？
  
• 基于LLM+向量库的文档对话 prompt 模板 如何构建？
  
• 痛点1：文档切分粒度欠好把控，既担心噪声太多又担心语义信息丢失
  
• 痛点2：在基于垂直领域 表现不佳
  
• 痛点3：langchain 内置 问答分句效果不佳题目
  
• 痛点4：如何 尽可能召回与query相关的Document 题目
  
• 痛点5：如何让LLM基于query和context得到高质量的response
  
• 避坑记录
  
• 本地知识库问答体系（Langchain-chatGLM）
  
• 什么是 LangChain?
  
• LangChain 包罗哪些 核心概念？
  
• 什么是 LangChain Agent?
  
• 如何利用 LangChain ?
  
• LangChain 支持哪些功能?
  
• 什么是 LangChain model?
  
• LangChain 包罗哪些特点?
  
• LangChain 如何利用?
  
• LangChain 存在哪些题目及方法方案？
  
• LangChain 替代方案？
  
• LangChain 中 Components and Chains 是什么？
  
• LangChain 中 Prompt Templates and Values 是什么？
  
• LangChain 中 Example Selectors 是什么？
  
• LangChain 中 Output Parsers 是什么？
  
• LangChain 中 Indexes and Retrievers 是什么？
  
• LangChain 中 Chat Message History 是什么？
  
• LangChain 中 Agents and Toolkits 是什么？
  
• LangChain 如何调用 LLMs 天生回复？
  
• LangChain 如何修改 提示模板？
  
• LangChain 如何链接多个组件处理一个特定的下游任务？
  
• LangChain 如何Embedding & vector store？
  
• LangChain 低效的令牌利用题目
  
• LangChain 文档的题目
  
• LangChain 太多概念容易混淆，过多的“辅助”函数题目
  
• LangChain 举动不一致并且隐蔽细节题目
  
• LangChain 缺乏标准的可互操作数据类型题目
  

五、大模型参数高效微调(PEFT) 口试题

• 什么是 LoRA？
  
• LoRA 的思绪是什么？
  
• LoRA 的特点是什么？
  
• QLoRA 的思绪是怎么样的？
  
• QLoRA 的特点是什么？
  
• AdaLoRA 的思绪是怎么样的？
  
• LoRA权重是否可以合入原模型？
  
• ChatGLM-6B LoRA后的权重多大？
  
• LoRA 微调长处是什么？
  
• LoRA微调方法为啥能加速练习？
  
• 如何在已有LoRA模型上继续练习？
  
• 为什么必要 提示学习（Prompting）？
  
• 什么是 提示学习（Prompting）？
  
• 提示学习（Prompting） 有什么长处？
  
• 提示学习（Prompting）有哪些方法，能不能稍微先容一下它们间？
  
• 为什么必要 P-tuning v2？
  
• 为什么必要 P-tuning？
  
• 为什么必要 指示微调（Prompt-tuning）？
  
• 指示微调（Prompt-tuning）与 Prefix-tuning 区别 是什么？
  
• 指示微调（Prompt-tuning）与 fine-tuning 区别 是什么？
  
• 为什么必要 前缀微调（Prefix-tuning）？
  
• 为什么 必要 适配器微调（Adapter-tuning）？
  
• 微调方法是啥？如何微调？
  
• 为什么必要 PEFT？
  
• 先容一下 PEFT？
  
• PEFT 有什么长处？
  
• 微调方法批处理大小模式GPU显存速率？
  
• Peft 和 全量微调区别？
  
• 多种不同的高效微调方法对比
  
• 当前高效微调技能存在的一些题目
  
• 高效微调技能最佳实践
  
• PEFT 存在题目？
  
• 能不能总结一下各种参数高效微调方法？
  
• 大模型（LLMs）参数高效微调(PEFT) 面
  
• 适配器微调（Adapter-tuning）篇
  
• 提示学习（Prompting）
  

六、大模型推理口试题

• 为什么大模型推理时显存涨的那么多还一直占着？
  
• 大模型在gpu和cpu上推理速率如何？
  
• 推理速率上，int8和fp16比起来怎么样？
  
• 大模型有推理能力吗？
  
• 大模型天生时的参数怎么设置？
  
• 有哪些省内存的大语言模型练习/微调/推理方法？
  
• 如何让大模型输出合规化
  
• 应用模式变动
  

七、大模型评测口试题

• 大模型怎么评测？
  
• 大模型的honest原则是如何实现的？
  
• 模型如何判定回复的知识是练习过的已知的知识，怎么练习这种能力？
  

八、大模型强化学习口试题

• 嘉奖模型必要和基础模型一致吗？
  
• RLHF 在实践过程中存在哪些不敷？
  
• 如何解决 人工产生的偏好数据集本钱较高，很难量产题目？
  
• 如何解决三个阶段的练习（SFT->RM->PO）过程较长，更新迭代较慢题目？
  
• 如何解决 PPO 的练习过程同时存在4个模型（2练习，2推理），对计算资源的要求较高 题目？
  

九、大模型练习集口试题

• SFT（有监视微调）的数据集格式？
  
• RM（嘉奖模型）的数据格式？
  
• PPO（强化学习）的数据格式？
  
• 找数据集那边找？
  
• 微调必要多少条数据？
  
• 有哪些大模型的练习集？
  
• 进行领域大模型预练习应用哪些数据集比较好？
  
• 大模型（LLMs）显存题目面
  
• 大模型（LLMs）分布式练习面
  

   有必要全套的AI大模型口试题及答案解析资料的小同伴，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】
  十、大模型Agent 口试题

• 如何给LLM注入领域知识？
  
• 假如想要快速体验各种模型，该怎么办？
  

十一、Token及模型参数准备篇

• 预练习数据 Token 重复 是否影响 模型性能？
  
• SFT必要练习Token数？
  

十二、大模型位置编码篇

• 什么是 长度外推题目？
  
• 长度外推题目 的 解决方法 有哪些？
  
• 旋转位置编码 RoPE 思绪是什么？
  
• 推导一下 旋转位置编码 RoPE ？
  
• 旋转位置编码 RoPE 有什么长处？
  
• 旋转位置编码 RoPE 被哪些 LLMs 应用？
  
• 什么是位置编码？
  
• 什么是绝对位置编码？
  
• 什么是相对位置编码？
  

十三、大模型 Tokenizer 篇

• Byte-Pair Encoding(BPE) 如何构建词典？
  
• WordPiece 与 BPE 异同点是什么？
  
• 简单先容一下 SentencePiece 思绪？
  
• 举例 先容一下 不同 大模型LLMs 的分词方式？
  
• 先容一下 不同 大模型LLMs 的分词方式 的区别？
  

十四、Layer Normalization 篇

• LLMs 各模型分别用了 哪种 Layer normalization？
  
• LN 在 LLMs 中的不同位置 有什么区别么？假如有，能先容一下区别么？
  
• Deep Norm 有什么长处？
  
• Layer Norm 的计算公式写一下？
  
• RMS Norm 的计算公式写一下？
  
• RMS Norm 相比于 Layer Norm 有什么特点？
  
• Deep Norm 思绪？
  
• 写一下 Deep Norm 代码实现？
  
• Layer normalization-方法篇
  
• Layer normalization-位置篇
  
• Layer normalization 对比篇
  

十五、大模型激活函数篇

• 先容一下 FFN 块 计算公式？
  
• 先容一下 GeLU 计算公式？
  
• 先容一下 Swish 计算公式？
  
• 先容一下 利用 GLU 线性门控单位的 FFN 块 计算公式？
  
• 先容一下 利用 GeLU 的 GLU 块 计算公式？
  
• 先容一下 利用 Swish 的 GLU 块 计算公式？
  
• 各LLMs 都利用哪种激活函数？
  

   有必要全套的AI大模型口试题及答案解析资料的小同伴，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】
  AI大模型学习蹊径

假如你对AI大模型入门感兴趣，那么你必要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！
扫描下方csdn官方互助二维码获取哦！

这是一份大模型从零基础到进阶的学习蹊径大纲全览，小同伴们记得点个收藏！

第一阶段： 从大模型体系设计入手，解说大模型的告急方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣体系；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物盛行业咨询智能问答体系；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建恰当当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小步调案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍