IT评测·应用市场-qidao123.com

标题: 一文读懂在学习AI时遇到的：GPU 、 Llama与Ollama [打印本页]

作者: 万万哇 时间: 2025-3-23 01:01
标题: 一文读懂在学习AI时遇到的：GPU 、 Llama与Ollama
看到这些名词，有些小白是不是已经头大了？我作为一个新手学习小白也同样如此，看了它们的界说也感觉有些晦涩难懂，于是我决定采用费曼学习法——“输出倒逼输入”让我更有动力去学习，同时也或许能帮助到想学习的小白们~
GPU是什么？

在学习AI的时候，我们经常会听到“算力”这个词，算力是计算机设备或计算系统处理信息的能力，通常指在单位时间内完成计算任务的效能。
在人工智能领域中，算力直接影响大模子的训练速度和模子精度，而这个“算力”主要就是以来GPU等高算力芯片。
GPU？显卡？是谁人影响游戏画质的显卡吗？它和大模子训练有什么关系？和“算力”有什么关系？
这是我看到GPU的第一个反应。但：

显卡和GPU在日常使用中常常被混用，但它们并不完全是同一个东西，它们之间有一些细微的区别：
- GPU （Graphics Processing Unit）（图形处理单位）是显卡（Graphics Card）的焦点组件，可以理解为显卡中的“大脑”。
- 显卡不仅包含 GPU，还包含了处理图形数据所需的其他硬件，如显存、散热系统、连接接口等。
- 显卡的主要作用是通过 GPU 来加速图形渲染和视频输出，同时为计算机提供图形和图像处理的能力。
GPU最初用于图形渲染，但因其并行计算能力强，现广泛用于AI训练和推理：
- GPU是一个硬件组件，专门用于执行图形相关的运算任务，比如渲染图像、视频解码等。
- 今世的GPU通常包含成百上千个小型处理焦点，可以并行处理大量数据，这使得它比传统的CPU在处理图形任务时更为高效。
- 除了用于图形渲染，GPU 还被用于并行计算、呆板学习等领域。

那么，总提到的“并行运算”是什么意思呢？
并行运算（Parallel Computing）是一种计算模式，通过同时执行多个计算任务来进步计算服从和速度。与传统的串行计算不同，串行计算中指令按顺序执行，而并行计算则允很多个处理器或计算单位同时处理不同的任务或数据块。
GPU的焦点极多（如RTX 4090有16384个CUDA焦点），得当同时处理大量简单计算（如矩阵乘法）。
而大语言模子（如Llama）的焦点运算是矩阵乘法，那对拥有数千个焦点可同时处理这些计算的GPU来说那不就是专业对口了嘛！

Llama是什么？

刚刚提到了Llama，那接下来我们可以进一步了解一下什么是Llama？
Llama 是由 Meta AI 开辟的一种基于深度学习的天然语言天生模子，属于大型语言模子（LLM）的范畴。其全称为“Large Language Model Meta AI”，意为“大语言模子元AI”。（它是一个开源项目，任何人都可以访问其源代码并根据自己的需求进行修改和优化。）
Llama模子在实际应用中的具体案例和使用场景非常广泛，用于文本天生、信息抽取、对话系统、内容保举等多种任务。

什么？看完好像连“大模子”是什么也懵了？
——> 大模子（如 Llama、GPT）的本质是一个颠末训练的巨型数学函数。
这下是不是好理解多了？

Ollama是什么？

终于说到了Ollama，这是我为什么写这篇文章的起因。因为我一开始并没有看懂我征采资料里对它的解释：
Ollama 是一个开源的大型语言模子（LLM）服务工具，专注于简化本地环境中大模子的摆设、运行和管理。它通过命令行工具和API接口提供便捷的操作方式，支持多种主流开源模子（如 Llama、Mistral、Gemma 等）。
虽然我之前玩过本地摆设，但着实我只是按照步骤去试一下，但我并没有很懂”本地摆设“的意义是什么，而Ollama的界说中，看起来就是为它而“生”的，于是我得重新“熟悉”一下它们了。

Ollama具备以下焦点特性：

本地化摆设：允许用户在自己的硬件（包括个人电脑或服务器）上运行大模子，无需依赖云端服务，保障数据隐私与安全性。
- 云端服务（如 OpenAI）只是把这个函数摆设在服务器上，通过 API 提供给你调用。
- 本地运行的原理：Ollama 允许你将模子文件下载到自己的电脑，直接在本地硬件（CPU/GPU）上运行这个“数学函数”，无需依赖网络。就像你可以在本地用 Photoshop 修图，而不必要联网使用在线工具。
模子管理：提供命令集用于下载、更新、删除模子，支持通过 Modelfile 自界说模子设置，将模子权重、参数和依赖打包管理。
交互与API支持：用户可通过终端直接与模子对话，或通过类似OpenAI的Web API（默认地点 [http://localhost:11434 ](http://localhost:11434 )）进行集成开辟。

这样看起来有点像我可以利用Ollama做一个自己的“本地ChatGPT"?！
上图！

但必要主义的是：Ollama 更像一个模子容器，对应用步伐的封装。它不参与模子训练，而是将已有的模子文件（如 .gguf 格式）打包，并附加运行环境、API 接口等，使其“开箱即用”。它自己不是 AI 模子，而是一个“模子运行工具”。类似于一个“播放器”，而大模子（如 Llama、Mistral）是“音乐文件”，你必要先下载模子文件（比如 llama2），Ollama 才能用它来回答你的问题。

OK撒花~！盼望对各人有帮助！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)