Llama 3.1深度解析：405B、70B及8B模型的多语言与长上下文处理能力 ...

Llama 3.1 发布了！今天我们迎来了 Llama 眷属的新成员 Llama 3.1 进入 Hugging Face 平台。我们很高兴与 Meta 互助，确保在 Hugging Face 生态系统中实现最佳集成。Hub 上现有八个开源权重模型 (3 个底子模型和 5 个微调模型)。
Llama 3.1 有三种规格: 8B 得当在消耗者级 GPU 上举行高效部署和开发，70B 得当大规模 AI 原生应用，而 405B 则适用于合成数据、大语言模型 (LLM) 作为评判者或蒸馏。这三个规格都提供底子版和指令调优版。
除了六个天生模型，Meta 还发布了两个新模型: Llama Guard 3 和 Prompt Guard。Prompt Guard 是一个小型分类器，可以检测提示注入和越狱。Llama Guard 3 是一个掩护模型，能够分类 LLM 输入和天生的内容。
此次发布的一些功能和集成包括:

• Hub 上的模型
  
• Hugging Face Transformers 和 TGI 集成
  
• Meta Llama 3.1 405B Instruct 的 Hugging Chat 集成
  
• 使用推理端点、Google Cloud、Amazon SageMaker 和 DELL Enterprise Hub 举行推理和部署集成
  
• FP8、AWQ 和 GPTQ 的量化，便于推理
  
• 使用