大语言模型学习及复习笔记（1）语言模型的发展历程

1.大模型进入人们视野

ChatGPT 于2022年11月底上线

模型名称	发布时间	核心突破
GPT-3	2020年6月	首款千亿参数模型，少样本学习
GPT-3.5-Turbo	2022年11月	对话本领优化，用户级应用落地
GPT-4	2023年3月	多模态、强逻辑推理
GPT-4o / GPT-4 Omni	2024年5月	万能输入输出，及时联网
o1-preview	2024年9月

2.什么是大语言模型

语言模型的核心功能是通过概率建模猜测自然语言文本的天生规律。传统语言模型（如N-gram模型）主要基于统计方法，通过局部上下文猜测词序列的分布。然而，大语言模型（Large Language Model, LLM） 的出现标志着从单纯的语言建模向复杂任务求解的跃迁，其本质是通过海量数据与深度学习技能构建的通用智能系统。

2.1 传统语言模型的局限性

• 知识依赖性强：需依赖外部知识库（如知识图谱）增补配景信息，难以自主理解隐含语义。
  

• 泛化本领不足：需针对特定任务微调模型，适配资本高且跨领域迁移效果差。
  

• 推理本领受限：处理复杂逻辑（如多步推理、因果分析）时体现较弱，需调整模型结构或引入额外训练策略。
  

2.2 大语言模型的技能突破

大语言模型通过以下创新解决了传统模型的瓶颈：

• 规模跃升：参数规模达百亿至万亿级，训练数据覆盖多领域文本，可捕获深层语言规律与知识。
  

• 统一架构：基于Transformer的自注意力机制，支持长距离依赖建模与上下文感知，无需任务特定结构调整。
  

• 预训练范式：通过海量无标注文本的自监督学习（如掩码语言建模），得到通用语义表示本领，显着低落下游任务适配资本。
  

• 涌现本领：在零样本/少样本场景下展现复杂推理、知识联想等本领，如代码天生、多轮对话。
  
• 
  
  

2.3 传统模型的本质差别

维度传统语言模型大语言模型参数规模百万至千万级百亿至万亿级训练数据有限领域标注数据跨领域无标注文本（如网页、书籍）任务适配需针对性微调通过提示工程直接调用通用本领推理机制局部上下文依赖全局语义建模与逻辑链天生
应用与挑战

大语言模型已广泛应用于机器翻译、文本天生、智能问答等领域，但其仍面对幻觉问题（天生不准确内容）、算力需求高、伦理风险等挑战。将来，联合外部知识库与多模态数据大概成为进一步突破的方向。



3.大语言模型的定义和相关技能

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。