开源大模子新王者Llama 3.3 70B，用Ollama跑起来

各人好，Meta公司新近推出的Llama 3.3 70B模子，为大型语言模子带来了新突破。这款模子不仅支持多语言，性能强劲，而且具备成本效益，有望彻底改变企业和科研职员利用AI的方式。本文带各人深入剖析Llama 3.3 70B。
1.Meta Llama 3.3 70B 新亮点

Meta的Llama 3.3 70B模子在智能推理、编程编码和指令实验上做了大幅提升，是现在最前沿的开放模子之一。几大亮点如下：

• 精准输出：针对布局化数据，能天生条理清晰的推理过程和精确的JSON格式响应。
  
• 多语言兼容：支持八种主流语言，包括英语、法语、印地语和泰语，实现真正的多语言互换。
  
• 编程强化：对多种编程语言有更好的支持，错误处理更精致，代码反馈更详尽。
  
• 智能工具调用：根据预设参数，智能选择工具，避免不必要的操作。
  

这款模子让开发者以更低成本享受到接近405B模子的性能，让高端天生式AI技术触手可及。
2.性能与服从的新标杆

Llama 3.3 70B模子的性能媲美更大的Llama 3.1 405B模子，而成本却大大降低。
这意味着开发者和企业现在可以用更低的盘算成本，得到行业领先的成果。这款模子以700亿参数实现了规模与易用的双赢，让更多人能够轻松使用。

Llama3.3 70B 性能

Llama 3.3 70B性能：

• 更长的上下文窗口：该模子支持高达128k个标志，得当处理大规模文档、深入分析和复杂对话。
  
• 改进的布局化输出：能够天生逐步推理和精确的JSON输出，非常得当需要布局化数据的应用场景。
  
• 分组查询注意力（GQA）：这一架构加强确保了推理的可扩展性和高效性，尤实在用于及时应用。
  
• 加强的编码支持：Llama 3.3在编码任务中表现优秀，提供详细的错误处理、广泛的语言支持和布局化的代码反馈。
  

3.多语言支持

Llama 3.3是经过专业调优的多语言模子，能够流畅处理英语、法语、德语、意大利语、葡萄牙语、西班牙语、印地语和泰语等八种重要语言。
虽然此模子训练数据覆盖了更广的语言种类，但仍然鼓励开发者对未覆盖的语言举行微调，以保障对话的安全性和可靠性。
Llama 3.3的多语言支持为以下领域带来了新机会：

• 教育领域：提供特定语言的辅导和资源。
  
• 全球客户服务：在企业环境中简化多语言沟通流程。
  
• 内容创作：实现多样化、文化敏感的内容创造。
  

Llama 3.3的一个突出特点是其加强的编码本事。开发者可以期待：

• 广泛的语言覆盖：模子支持广泛的编程语言，提供详细的错误检测和调试帮助。
  
• 任务感知工具使用：集成智能确保模子有效地调用外部工具，避免不必要的或冗余的调用。
  

这些特性使Llama 3.3成为软件开发的名贵工具，赋予团队更高效地编写、调试和优化代码的本事。
4.集成Llama 3.3：最佳实践

为了最大化Llama 3.3的潜力，开发者和企业应遵循以下最佳实践：

• 明确用例：明确应用目标，以有效利用模子的上风。
  
• 实验安全措施：使用内置的安全特性，如Llama Guard 3，以最小化风险。
  
• 多语言微调：在处理不支持的语言时，应用微调以确保高质量的输出，符合模子的指南。
  
• 监控和优化：持续评估模子的性能，并针对特定任务优化其集成。
  

5.本地部署LLaMA 3.3 70B

了解LLaMA 3.3的技术亮点后，现在通过详细的步骤指南来学习怎样使用LangChain和Ollama在本地盘算机上运行LLaMA 3.3，按照以下步骤即可在终端上完成部署。
5.1 安装所需库

首先，在Python环境中安装所需的库。运行以下下令来设置LangChain和Ollama：

1. !pip install langchain
2. !pip install -U langchain-community
3. !pip install langchain_ollama

复制代码

5.2 安装依赖项

运行以下单元格以安装必要的工具：

1. !sudo apt update
2. !sudo apt install -y pciutils
3. !curl -fsSL https://ollama.com/install.sh | sh

复制代码

这个脚本将完成以下任务：

• 安装pciutils用于GPU检测。
  
• 一键安装Ollama运行时。
  

5.3 启动Ollama服务

使用以下Python代码片段启动Ollama服务：

1. import threading
2. import subprocess
3. import time
5. def run_ollama_serve():
6.    subprocess.Popen(["ollama", "serve"])
8. thread = threading.Thread(target=run_ollama_serve)
9. thread.start()
10. time.sleep(5)

复制代码

这个设置在配景运行Ollama，支持你同时实验其他下令。
5.4 下载并运行模子

要加载特定模子（例如Llama 3.3），请实验：

1. !ollama pull llama3.3

复制代码

可以在Ollama库（https://ollama.com/library）中探索更多模子。
5.5 将LLaMA 3.3与LangChain集成

LangChain可以轻松调用LLaMA 3.3举行各种NLP任务。这里是一个简朴的脚原来测试模子：

1. from langchain_community.llms import Ollama
3. # 初始化Llama 3.3模型的实例
4. llm_llama = Ollama(model="llama3.3")
6. # 调用模型生成响应
7. response = llm_llama.invoke("Tell me a joke")
8. print(response)

复制代码

输出：

1. Here's one:
3. What do you call a fake noodle?
5. An impasta.

复制代码

5.6 尝试差别的任务

可以将其扩展到更复杂的任务，如摘要、多语言翻译和推理：

1. # 摘要
3. response = llm_llama.invoke("Summarize the following text: 'LLaMA 3.3 represents a major step forward in AI development...'")
4. print(response)
6. # 多语言生成
8. response = llm_llama.invoke("Translate the following into French: 'What are the major improvements in LLaMA 3.3?'")
9. print(response)

复制代码

输出：

1. The translation of "What are the major improvements in LLaMA 3.3?" into French is:
3. "Quels sont les améliorations majeures de LLaMA 3.3?"

复制代码

现在使用LangChain Ollama集成来提问或实验任务，举行数学查询：

1. from langchain_core.prompts import ChatPromptTemplate
2. from langchain_ollama.llms import OllamaLLM
3. from IPython.display import Markdown
5. # 定义提示模板
6. template = """Question: {question}
8. Answer: Let's think step by step."""
9. prompt = ChatPromptTemplate.from_template(template)
11. # 加载llama3.3模型
12. model = OllamaLLM(model="llama3.3")
14. # 结合提示和模型
15. chain = prompt | model
17. # 查询模型
18. response = chain.invoke({"question": "What is the square root of 2025?"})
19. display(Markdown(response))

复制代码

输出：

1. The length of the hypotenuse in a right-angled triangle can be calculated using the Pythagorean theorem, which states that for a triangle with sides 'a' and 'b', and hypotenuse 'c': c^2 = a^2 + b^2.
3. However, I need more information to provide an accurate answer. Are you dealing with a specific right-angled triangle where both legs (a and b) are known? Please provide the lengths of sides 'a' and 'b', and I'll calculate the hypotenuse 'c'.

复制代码

对该模子的性能举行测算，例如盘算数字阶乘：

1. display(Markdown(chain.invoke({"question": "Write a python program to find a factorial of a number."})))

复制代码

1. 以下是Python函数，用于计算给定数字的阶乘：
3. ```python
4. def factorial(n):
5.    if n == 0:
6.        return 1
7.    else:
8.        return n * factorial(n-1)
10. # 示例用法：
11. num = 5
12. print(f"The factorial of {num} is: {factorial(num)}")

复制代码

这个函数通过递归盘算阶乘。它首先检查输入n是否为0，假如是，则返回1（由于0的阶乘定义为1）。假如n不为0，则递归调用自身，传入n-1，并将结果乘以n。
在实际应用中，需要处理负数和非整数输入等边缘情况。别的对于较大的n值，由于Python对递归调用深度的限定，使用迭代方法可能更高效。
使用大模子举行机器学习分类的典型流程：

1. display(Markdown(chain.invoke({"question": "Write a Python code to run a simple classification algorithm using Sklearn."})))

复制代码

首先需要导入必要的库，对于这个任务使用sklearn，它是Python中广泛用于机器学习任务的库。

1. import numpy as np
2. from sklearn.datasets import load_iris
3. from sklearn.model_selection import train_test_split
4. from sklearn.preprocessing import StandardScaler
5. from sklearn.linear_model import LogisticRegression
6. from sklearn.metrics import accuracy_score
8. # 第一步：加载数据集
9. iris = load_iris()
10. X = iris.data
11. y = iris.target
13. # 第二步：将数据分为训练集和测试集
14. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
16. # 第三步：数据预处理（缩放通常对逻辑回归是必要的）
17. scaler = StandardScaler()
18. X_train_scaled = scaler.fit_transform(X_train)
19. X_test_scaled = scaler.transform(X_test)
21. # 第四步：训练逻辑回归模型
22. logreg = LogisticRegression(solver='liblinear')
23. logreg.fit(X_train_scaled, y_train)
25. # 第五步：做出预测并评估模型
26. y_pred = logreg.predict(X_test_scaled)
27. accuracy = accuracy_score(y_test, y_pred)
29. print(f'Accuracy of the model: {accuracy*100:.2f}%')

复制代码

这个脚本展示了使用Python和Sklearn举行机器学习分类的典型流程。它包括加载数据集、数据划分、特性缩放、模子训练和评估等步骤。在实际应用中，你可能需要根据数据集的特点调整预处理步骤，并探索差别的模子以顺应差别的分类问题。
Meta的Llama 3.3 70B模子，以其多语言本事、高效推理和安全特性，为大型语言模子树立新标杆。它不仅服务于研究者，也助力企业构建AI解决方案，平衡了强盛性能与易用性。Llama 3.3的推出，显现了Meta推动包容性AI未来的承诺，让高质量AI技术更加普及。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。