LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安 ...

LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
   导读
：2023年4月17日，哈工大讯飞联合实验室，本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步促进大模型在中文NLP社区的开放研究。Chinese-
LLaMA 在原版LLaMA的基础上举行了三步走=扩充中文词表+增量预训练+指令精调 ：扩充中文词表
并使用了大规模中文语料数据举行增量预训练(由于采用了LoRA技巧，其本质照旧高效参数微调)，更好地明白新的语义和语境，进一步提拔了中文基础语义明白能力。然后，Chinese-
Alpaca 模型进一步使用了中文指令数据举行指令精调(依旧采用了LoRA技巧)，明显提拔了模型对指令的明白和实行能力。
         LoRA权重无法单独使用：明白为原LLaMA模型上的一个补丁，即需要合并原版LLaMA模型才华使用；
针对原版LLaMA模型扩充了中文词表，提拔了中文编解码效率；
开源了使用中文文本数据预训练的Chinese-LLaMA 以及颠末指令精调的Chinese-Alpaca ；
开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型；
快速使用笔记本电脑（个人PC）的CPU/GPU当地量化和摆设体验大模型；
       排疑： 可以不举行增量预训练而直接采用指令微调吗？
  如果没有举行增量预训练，模型可能无法充分使用新的中文词表，并可能在生成和明白中碰到困难。不举行增量预训练而直接使用指令微调，可能会限定模型在新的中文词表上的性能温顺应性。因此，建议在举行指令微调之前，先辈行适当的增量预训练，以提高模型的性能温顺应性。
  目次
相关文章
论文相关
LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and
Alpaca-4月17日版》翻译与解读
LLMs：《Efficient And Effective Text Encoding For Chinese Llama And
Alpaca—6月15日版本》翻译与解读
LLMs之LLaMA2：LLaMA2的简介(技能细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
实战应用相关
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
LLMs之Chinese-LLaMA-Alpaca：LLaMA汉化版项目详细源码解读多个py文件-
基于Ng单机单卡实现定义数据集(生成指令数据)→数据预处理(token分词/合并权重)→增量预训练(本质是高效参数微调，LoRA的参数/LLaMA的参数)→指令微调LoRA权重(继承训练/全新训练)→模型推理(CLI、GUI【webui/LLaMACha/LangChain】)
LLMs之Chinese-LLaMA-
Alpaca：基于单机CPU+Windows系统实现中文LLaMA算法举行模型摆设(llama.cpp)+模型推理全流程步调【安装环境+创建环境并安装依赖+原版LLaMA转HF格式+合并llama_hf和chinese-
alpaca-
lora-7b→下载llama.cpp举行模型的量化(CMake编译+生成量化版本模型)→摆设f16/q4_0+测试效果】的图文教程(非常详细)
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs之Chinese-LLaMA-
Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数剖析+配置日记)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(处理【标志化+分块】+切分txt数据集)→优化模型配置(量化模块+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+梯度累积checkpointing等)→模型训练(继承训练+评估指标+自动保存中间训练结果)/模型评估(+PPL指标)
LLMs之Chinese-LLaMA-
Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数剖析+配置日记)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(监督式任务的数据收集器+指令数据集【json格式】)→优化模型配置(量化模块+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+梯度累积checkpointing等)→模型训练(继承训练+评估指标+自动保存中间训练结果)/模型评估(+PPL指标)
Chinese-LLaMA-Alpaca的简介
1、主要内容
2、版本更新内容公告
3、系统效果：介绍了部分场景和任务下的使用体验效果
生成效果评测
客观效果评测
4、下图展示了本项目以及二期项目推出的全部大模型之间的关系
5、下面是中文LLaMA和Alpaca模型的根本对比以及建议使用场景（包罗但不限于），更多内容见训练细节。
Chinese-LLaMA-Alpaca的的安装
1、模型下载：中文LLaMA、Alpaca大模型下载地址：LoRA权重无法单独使用(明白为原LLaMA模型上的一个补丁)+需要合并原版LLaMA模型才华使用
T1、直接从网盘下载
推荐模型下载
其他模型下载
T2、在transformers平台下载，