MetaLlama大模子

llama 大模子介绍

   我们介绍 LLaMA，这是一个基础语言模子的聚集，参数范围从 7B 到 65B。我们在数万亿个Token上训练我们的模子，并表明可以专门使用公开可用的数据集来训练最先进的模子，而无需诉诸专有的和无法访问的数据集。特别是，LLaMA-13B 在大多数基准测试中都优于 GPT-3 (175B)，
  llama2 大模子介绍

   我们开发并发布了 Llama 2，这是一组经过预训练和微调的大型语言模子 (LLM)，其参数规模从 70 亿到 700 亿不等。我们经过微调的大语言模子（称为 Llama 2-Chat）针对对话用例举行了优化。我们的模子在我们测试的大多数基准上都优于开源聊天模子，并且根据我们对有用性和安全性的人工评估，可能是闭源模子的合适替换品
  相关网址

• https://ai.meta.com/llama/
  
• https://github.com/facebookresearch/llama
  
• https://huggingface.co/meta-llama/Llama-2-7b
  
• https://huggingface.co/docs/transformers/model_doc/llama
  

llama 大语言模子提供的重要模子列表

Code Llama 模子

Code Llama 是一个基于 Llama 2 的大型代码语言模子系列，在开放模子、填充功能、对大输入上下文的支持以及编程任务的零样本指令跟踪能力中提供最先进的性能。我们提供多种风格来覆盖广泛的应用程序：基础模子 (Code Llama)、Python 专业化 (Code Llama - Python) 和指令跟随模子 (Code Llama - Instruct)，每个模子都有 7B、13B 和 34B 参数。全部模子均在 16k 个标志序列上举行训练，并在最多 100k 个标志的输入上显示出改进。7B 和 13B Code Llama 和 Code Llama - 指令变体支持基于周围内容的填充。Code Llama 是通过使用更高的代码采样对 Llama 2 举行微调而开发的。与 Llama 2 一样，我们对模子的微调版本应用了大量的安全缓解措施。有关模子训练、架构和参数、评估、负责任的人工智能和安全性的详细信息，请参阅我们的研究论文。Llama 材料（包罗 Code Llama）的代码生乐成能生成的输出可能受第三方许可的约束，包罗但不限于开源许可。
Code Llama 提供的重要模子列表

Base ModelPythonInstruct7Bcodellama/CodeLlama-7b-hfcodellama/CodeLlama-7b-Python-hfcodellama/CodeLlama-7b-Instruct-hf13Bcodellama/CodeLlama-13b-hfcodellama/CodeLlama-13b-Python-hfcodellama/CodeLlama-13b-Instruct-hf34Bcodellama/CodeLlama-34b-hfcodellama/CodeLlama-34b-Python-hfcodellama/CodeLlama-34b-Instruct-hf 申请模子

申请地址 https://ai.meta.com/resources/models-and-libraries/llama-downloads/
申请通过后，在 hugging face 上如果邮箱同等，会提示已经授权

使用模子

• 使用官方的 Api
  
• 使用第三方封装 Api llama.cpp-python ollama
  
• 使用 langchain
  
• 使用 hugging face 的 transformers
  

llama

https://github.com/facebookresearch/llama

1. torchrun --nproc_per_node 1 example_text_completion.py \
2.     --ckpt_dir llama-2-7b/ \
3.     --tokenizer_path tokenizer.model \
4.     --max_seq_len 128 --max_batch_size 4

复制代码

NCCL 错误

   RuntimeError: Distributed package doesn’t have NCCL built in
  windows 和 mac 上基本跑不起来，因为 torchrun 依赖 NCCL
https://pytorch.org/docs/stable/distributed.html
llama.cpp

https://github.com/ggerganov/llama.cpp
Port of Facebook’s LLaMA model in C/C++
因为很多同砚受限于个人电脑的情况，没法运行完备的 llama 模子。llama.cpp 提供了一个非常好的移植版本，可以降低电脑的硬件要求，方便个人电脑运行与测试。
下载

1. git clone https://github.com/ggerganov/llama.cpp.git
2. cd llama.cpp
4. make

复制代码

模子转换

通过对模子举行转化，可以降低资源斲丧。

1. # obtain the original LLaMA model weights and place them in ./models
2. ls ./models
3. 65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model
4.   # [Optional] for models using BPE tokenizers
5.   ls ./models
6.   65B 30B 13B 7B vocab.json
8. # install Python dependencies
9. python3 -m pip install -r requirements.txt
11. # convert the 7B model to ggml FP16 format
12. python3 convert.py models/7B/
14.   # [Optional] for models using BPE tokenizers
15.   python convert.py models/7B/ --vocabtype bpe
17. # quantize the model to 4-bits (using q4_0 method)
18. ./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0
20. # update the gguf filetype to current if older version is unsupported by another application
21. ./quantize ./models/7B/ggml-model-q4_0.gguf ./models/7B/ggml-model-q4_0-v2.gguf COPY
24. # run the inference
25. ./main -m ./models/7B/ggml-model-q4_0.gguf -n 128

复制代码

此步可以省略，直接下载别人转换好的量化模子即可。
https://huggingface.co/TheBloke/Llama-2-7b-Chat-GGUF
运行

下令行交互模式

1. ./main -m ./models/llama-2-7b.Q4_0.gguf -i   -n 256 --color

复制代码

开启 server 模式，访问 http://127.0.0.1:8080/

1. ./server -m ./models/llama-2-7b.Q4_0.gguf

复制代码

llama-cpp-python

https://github.com/abetlen/llama-cpp-python

1. pip install llama-cpp-python

复制代码

mac m1 上构建的时间需要加上特别的参数

2. CMAKE_ARGS="-DLLAMA_METAL=on -DCMAKE_OSX_ARCHITECTURES=arm64" FORCE_CMAKE=1 pip install -U llama-cpp-python --no-cache-dir --force-reinstall

复制代码

启动 Api 模式

1. pip install llama-cpp-python
2. [server]python  -m llama_cpp.server --model models/llama-2-7b.Q4_0.ggufpython  -m llama_cpp.server --model models/llama-2-7b.Q4_0.gguf --n_gpu_layers 1

复制代码

访问 http://localhost:8000/docs 可以看到 api 的文档，与 openai 兼容。
ollama

• 官网 https://ollama.ai/
  
• github https://github.com/jmorganca/ollama
  
• docker https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image
  

1. (base) hogwarts: ~ seveniruby$ ollama serve codellama:7b
2. 2023/10/08 02:31:04 images.go:987: total blobs: 6
3. 2023/10/08 02:31:04 images.go:994: total unused blobs removed: 0
4. 2023/10/08 02:31:04 routes.go:535: Listening on 127.0.0.1:11434

复制代码

api 文档 https://github.com/jmorganca/ollama/blob/main/docs/api.md
基于 langchain 使用 llama

使用 langchain 调用

2. def test_llama_cpp_local():
3.     """
4.     使用本地模型
5.     :return:
6.     """
7.     llm = Llama(model_path="/Users/seveniruby/projects/llama.cpp/models/llama-2-7b.Q4_0.gguf")
8.     output = llm("Q: 法国的首都在哪里\n A: ", echo=True, max_tokens=6, temperature=0)
9.     debug(json.dumps(output, indent=2, ensure_ascii=False))

复制代码

输出

1. {
2.   "id": "cmpl-6d3e491e-716f-4e6c-b167-4f52e3f9786f",
3.   "object": "text_completion",
4.   "created": 1696709780,
5.   "model": "/Users/seveniruby/projects/llama.cpp/models/llama-2-7b.Q4_0.gguf",
6.   "choices": [
7.     {
8.       "text": "Q: 法国的首都在哪里\n A: 巴黎。\n",
9.       "index": 0,
10.       "logprobs": null,
11.       "finish_reason": "length"
12.     }
13.   ],
14.   "usage": {
15.     "prompt_tokens": 18,
16.     "completion_tokens": 6,
17.     "total_tokens": 24
18.   }
19. }

复制代码

使用 langchain 团结 api 服务

2. def test_llama_cpp_local():
3.     """
4.     使用本地模型
5.     :return:
6.     """
7.     llm = Llama(model_path="/Users/seveniruby/projects/llama.cpp/models/llama-2-7b.Q4_0.gguf")
8.     output = llm("Q: 法国的首都在哪里\n A: ", echo=True, max_tokens=6, temperature=0)
9.     debug(json.dumps(output, indent=2, ensure_ascii=False))

复制代码

基于 langchain 与 hugging face

1. def test_pipeline():
2.     pipe = pipeline(
3.         "text-generation",
4.         model="meta-llama/Llama-2-7b-hf",
5.         torch_dtype=torch.float16,
6.         device='mps',  # 按需改成你的cuda或者cpu
7.         revision='main',
8.     )
9.     debug(pipe)
11. debug(pipe('法国的首都在哪里'))

复制代码

获取更多软件测试技能资料/面试题解析，请点击！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。