【丹摩智算实战】手把手教你Llama 3.1 8B摆设：开启天然语言处理新篇章
前言在天然语言处理（NLP）领域，大模型（LLM）的发展日新月异，为各种应用场景带来了亘古未有的能力。近日，Meta公司公布推出了其最新的开源模型——Llama 3.1，这一消息在行业内引起了广泛关注。本文将详细介绍Llama 3.1的配景、特点、摆设流程以及使用实例，资助读者深入相识并把握这一强盛的NLP工具。
Llama 3.1概述
大模型（LLM）是指基于深度学习算法举行训练的天然语言处理模型，它们不但在天然语言明白和生成方面表现出色，还广泛应用于机器视觉、多模态处理和科学盘算等领域。随着“百模大战”的愈演愈烈，开源LLM如雨后春笋般涌现，其中包罗国外的LLaMA、Alpaca以及国内的ChatGLM、BaiChuan、InternLM等。这些模型支持用户当地摆设和私域微调，为每一个想要构建独特大模型的开辟者提供了可能。
2024年7月23日，Meta公司公布了迄今为止最强盛的开源模型Llama 3.1，并同时发布了405B、70B和8B三个版本的模型。其中，Llama 3.1 405B模型支持上下文长度为128K Tokens，在基于15万亿个Tokens、凌驾1.6万个H100 GPU上举行训练，是Meta有史以来训练规模最大的一次。尽管我们此次主要关注8B版本的摆设与使用，但其背后的技术力气和应用潜力不容忽视。
Llama 3.1 8B摆设流程
创建实例
摆设Llama 3.1 8B模型的第一步是创建一个符合的GPU云实例。以下是在Ubuntu 22.04情况下，使用Python 3.12、CUDA 12.1和PyTorch 2.4.0的基本步调：
[*]选择实例配置：在GPU云实例页面选择付费类型（如按量付费或包月套餐），并配置GPU数目和型号。推荐配置为NVIDIA GeForce RTX 4090，其拥有60GB内存和24GB显存（满足Llama 3.1 8B至少16G显存的需求）。
https://img-blog.csdnimg.cn/img_convert/9182b809e82209273c6f4255a7b443a4.png
[*]配置数据硬盘：每个实例默认附带50GB数据硬盘，可根据需要扩容至60GB。
[*]选择镜像：选择安装了PyTorch 2.4.0的基础镜像，以快速启动情况。
https://img-blog.csdnimg.cn/img_convert/b53dc333ecbed6e419bb52425b535666.png
[*]创建密钥对：创建并生存密钥对，以便后续通过SSH登录实例。
https://img-blog.csdnimg.cn/img_convert/3d3bce8d7d746559f67ae43d13a7ace2.png
登录实例
实例创建成功后，可以通过多种方式登录，包罗JupyterLab和SSH。SSH登录需要用户名、远程主机域名或IP、端标语以及登录暗码或密钥。
https://img-blog.csdnimg.cn/img_convert/23705f8ee785b1f268d23711098bb7d6.png
摆设Llama 3.1
[*]创建Conda情况：使用conda创建Python 3.12的新情况，并激活该情况。
[*]安装依靠：安装Langchain、Streamlit、Transformers和Accelerate等依靠库。
[*]下载模型：通过内网高速下载Llama-3.1-8B-Instruct模型，并解压缩。
使用教程
摆设完成后，可以开始使用Llama 3.1 8B模型举行天然语言处理使命。以下是一个简单的聊天机器人示例：
[*]编写Python脚本：创建<font style="color:rgb(5, 7, 59);">llamaBot.py</font>文件，并编写代码加载模型、处理用户输入和生成相应。
[*]启动Streamlit服务：在终端中运行下令启动Streamlit服务，确保服务地址指定为0.0.0.0，以便通过浏览器访问。
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import streamlit as st
# 创建一个标题和一个副标题
st.title("
页:
[1]