探索Meta新发布的大模子：Llama 3.1

近来正好关注到了meta发布的新大模子llama3.1，于是抱着好奇的态度来试一下。
近期，Meta发布了其最新的大模子——Llama 3.1。作为一名科技爱好者和人工智能的追随者，我如饥似渴地想要相识这一新模子的性能和特点。本文将带你一起探索Llama 3.1的亮点，分析其在人工智能范畴的潜在影响，以及我对其前景的个人见解。
一、Llama 3.1 的发布背景

Meta一直在人工智能范畴积极探索和创新。Llama系列作为Meta的重要研究成果，一直备受关注。从最初的Llama，到后来的Llama 2，再到今天的Llama 3.1，Meta在大模子研发方面的步伐稳步推进。Llama 3.1的发布，不仅是对前代模子的优化和升级，更是Meta在AI技术发展中的一次重要尝试。
二、Llama 3.1 的技术特点

Llama 3.1在多个方面进行了改进和优化，以下是其重要技术特点：
更大的参数规模：Llama 3.1在参数规模上进行了扩展，使其具备更强的学习和推理能力。这意味着它可以处置惩罚更复杂的使命，并在更多范畴展现其优势。
优化的训练算法：新模子采用了更为先进的训练算法，使其在雷同计算资源下，能够到达更高的精度和服从。
多语言支持：Llama 3.1加强了对多种语言的支持，这使得它在跨语言使掷中表现精彩，能够更好地服务于全球用户。
加强的安全性和隐私掩护：Meta在Llama 3.1中引入了更严格的安全和隐私掩护机制，确保用户数据在使用过程中的安全性。
三、注册huggingface和申请使用

Hugging Face下载:

平台特点：Hugging Face是一个广受欢迎的机器学习平台，提供了丰富的预训练模子和工具，方便用户在其生态系统中进行模子的下载和摆设。
使用流程：用户可以通过Hugging Face的官方网站，找到Llama 3.1模子页面，然后使用transformers库或datasets库轻松下载和使用模子。整个流程对于已经熟悉Hugging Face平台的用户来说相对简单。
文档与支持：Hugging Face提供了详细的文档和社区支持，用户可以通过官方文档、论坛和GitHub仓库找到办理方案。
Meta下载:

平台特点：Meta通常通过其自己的研究门户或GitHub发布模子和相关代码。这些资源通常直接面向研究职员和开发者。
使用流程：从Meta下载模子可能需要访问特定的研究门户或GitHub仓库。用户需要手动下载模子文件并进行配置，相对来说可能需要更多的技术背景和操作步骤。
文档与支持：Meta会提供相应的技术文档和研究论文，但社区支持相对较少，更多的是面向具备肯定技术能力的用户。

在Files and versions里面填写申请。
我试过，假如国家填写China的话，会被拒。没办法只能写USA了。根本几分钟就通过了。
四、下载

下载之所以会单独列出来，由于我试过很多种下载方式，失败的多数。由于每一个模子都非常大，所以非常耗时。
1、通过Transformer库下载

这也是我在用的，挺好用，就是要做好文件夹的管理。由于默认是下载到用户文档下.cache的，于是会把系统盘搞的很大。
详细代码如下：

1. from huggingface_hub import snapshot_download
2. from huggingface_hub import login
3. import os
4. login(token="hf_Lipu*********************hCIJ")
5. snapshot_download(
6.   repo_id="meta-llama/Meta-Llama-3.1-8B-Instruct",
7.   local_dir="D:/vscodeProjects/huggingface/hub/meta-llama/Meta-Llama-3.1-8B-Instruct",
8.   max_workers=8
9. )

复制代码

我将模子存放在D盘中，并且打开梯子，然后下载速度还是比力快的。
2、通过网页下载

假如对自己的欣赏器有信心的话，当然可以通过网页下载。

实在等候的时间也差不多
五、摆设

在使用Llama 3.1模子时，硬件配置的差别会对运行速度产生显著影响。拥有NVIDIA RTX 3080 16GB显卡的用户可以使用CUDA加速，在这种配置下，每条文本生成约莫需要1分钟。而假如使用Intel i7 12800的CPU，则可能需要约5分钟。这表明纵然在没有高端显卡的情况下，仍旧可以使用NPU或者CPU来运行模子，只是相对而言速度会慢一些。

2. import torch
3. from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
4. local_model_dir = "D:/vscodeProjects/huggingface/hub/meta-llama/Meta-Llama-3.1-8B-Instruct/"
6. # 加载模型和分词器
7. model = AutoModelForCausalLM.from_pretrained(local_model_dir,device_map="cuda", torch_dtype=torch.bfloat16)
8. tokenizer = AutoTokenizer.from_pretrained(local_model_dir)
10. # 创建文本生成管道
11. text_generator = pipeline(
12.     "text-generation",
13.     model=model,
14.     tokenizer=tokenizer,
15.     device_map="auto"
16. )
18. # 测试文本生成
19. result = text_generator("用Python写一个汉诺塔的程序", max_length=500)
20. print(result)

复制代码

以下是生成的结果：

1. #用Python写一个汉诺塔的程序
2. import time
3. def hanoi(n, x, y, z):
4.     if n > 0:
5.                 hanoi(n - 1, x, z, y)
6.                 print(f"Move disk {n} from peg {x} to peg {y}")
7.                 hanoi(n - 1, z, y, x)
8. def main():
9.         n = int(input("Enter the number of disks: "))
10.         print("Hanoi Tower:")
11.     hanoi(n, \'A\', \'C\', \'B\')\n
12. if __name__ == "__main__":
13.         main()

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。