笔记本电脑本地部署ollama大模型（显存不敷调用CUDA Unified Memory方法）
软硬件：win11,NVIDIA GeForce RTX 3050 显存4g一.ollama模型最低要求
1. Llama 3.1 (8B) 模型
[*]GPU: 至少必要 1 张具有 16 GB 显存的 GPU（比方 NVIDIA Tesla V100 或 A100）。
[*]CPU: 高性能的多核处置处罚器（比方 Intel Xeon 或 AMD Ryzen）。
[*]内存: 最少 32 GB 的系统内存。
[*]存储: 必要约莫 4.7 GB 的存储空间用于模型文件。
2. Llama 3.1 (70B) 模型
[*]GPU: 至少必要 4 张具有 40 GB 或更高显存的 GPU（比方 NVIDIA A100 或 H100）。可以采用分布式计算方式来处置处罚。
[*]CPU: 高性能的多核处置处罚器（比方 Intel Xeon 或 AMD EPYC），推荐使用多台服务器。
[*]内存: 至少 256 GB 的系统内存。
[*]存储: 必要约莫 96 GB 的存储空间用于模型文件，发起使用高速 SSD。
3. Llama 3.1 (405B) 模型
[*]GPU: 必要大规模的 GPU 集群，通常包括数十张具有 80 GB 或更多显存的 GPU（比方 NVIDIA A100 或 H100）。必要专门的硬件设置和高性能计算设施。
[*]CPU: 高性能的多核处置处罚器（比方 Intel Xeon 或 AMD EPYC），而且必要多个处置处罚节点来支持分布式计算。
[*]内存: 至少 1 TB 或更多的系统内存。
[*]存储: 必要几百 GB 到 TB 级别的存储空间，发起使用高速 SSD 或分布式存储系统。
对于我们普通人的电脑，ollama模型的部署，你至少拥有一张有显存的n系显卡，再者就是电脑内存一定要在16g及以上
我的硬件信息，有两张8g的内存，一张英伟达显存为4g的3050显卡
查看内存信息：wmic memorychip get capacity, devicelocator, manufacturer, memorytype, speed
查看GPU的信息：nvidia-smi https://i-blog.csdnimg.cn/direct/0c91bd20bfa445eebb9e7d944eaaa2fc.png
二.cuda和cudnn的安装(办理显存不敷的办法）
CUDA Unified Memory: CUDA 提供了统一内存（Unified Memory），允许 GPU 和 CPU 共享内存空间。这可以使得内存需求超出 GPU 显存时，数据可以存储在主机内存中并在必要时传输到 GPU。
1.cuda的选择与安装
1.打开NVIDIA控制面板>>>系统信息>>>组件
就这个：https://i-blog.csdnimg.cn/direct/ddc0d22f4e39474ead6b43d6d0caaaa6.png
可以看到我的是nvduda64.dll NVIDIA cuda 12.6.41 driver
https://i-blog.csdnimg.cn/direct/2cca7e6d3b454501b80edb2a7e45456e.png
2.进官网，选择相应的cuda,选择版本应该=<本身的版本NVIDIA cuda 12.6.41 driver：CUDA Toolkit Archive | NVIDIA Developer
https://i-blog.csdnimg.cn/direct/b0bd1646be724b0d9defb772ccab7400.png
3.选择本地exe安装
https://i-blog.csdnimg.cn/direct/0150a0351ed24e2cb83d6b0527b55817.png
4.双击安装包，自定义设置，勾选组件：
https://i-blog.csdnimg.cn/direct/764c85adfee5414ca224c9f2c8ebd137.png
继续点下一步
点击关闭，安装结束
验证：cmd输入
最高版本：nvidia-smi
当前版本：nvcc --version
结果：https://i-blog.csdnimg.cn/direct/637322eb67194b559e90fc13dc12054d.png
2.cudnn的安装
网址：https://developer.nvidia.com/cudnn-downloads?target_os=Windows
多版本：cuDNN Archive | NVIDIA Developer
https://i-blog.csdnimg.cn/direct/08b87b4cc9d248ac905d582b14b365bd.png
下载的是一个压缩包，解压至你想保存的位置，并将解压的目次中的bin目次添加到环境变量里的系统变量path里面
这是我解压的bin文件夹位置：
D:\app\cudnn\bin https://i-blog.csdnimg.cn/direct/1f3e84ba85c74b5d9ae5c53f0f923ea0.pnghttps://i-blog.csdnimg.cn/direct/76826d90eed64ec882d68244a0e4785c.png
验证是否乐成：
找到你的这个目次，并将下面的变量添加到环境变量里的系统变量path里面
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\demo_suite https://i-blog.csdnimg.cn/direct/bd7c38e1f53a4cd2b098dc7948796103.png
打开cmd，分别输入
bandwidthTest.exe
和
deviceQuery.exe
结果：https://i-blog.csdnimg.cn/direct/182ad6fa8bc94fe1af06ac39653103d4.png
https://i-blog.csdnimg.cn/direct/603b08b7df2b4bd98ae8b229c047ca40.png
三.安装ollama
官网：Ollama
https://i-blog.csdnimg.cn/direct/b0b4554a20af4555b0b0dc94923ec745.png
双击安装，默认会安到c盘，似乎也没法改,但是看了一下也不是很大，大的是模型，待会会说怎么改模型的存储位置，install，等安装完：
https://i-blog.csdnimg.cn/direct/5fef91d1bf184f318b6ba1319f12a6b2.png
它会自动启动
https://i-blog.csdnimg.cn/direct/802354f3ed1e4983b36d1bd2a4754e2a.png
打开cmd,不用设置path啥的，输入下面两个代码看一下结果：
ollama
ollama list https://i-blog.csdnimg.cn/direct/83ae62181ecf4c33ba489931ea7861bb.png
OK啦
四.模型的选择和默认模型存储位置的更改
ollama官方提供的模型：llama3.1
小黄脸hugging face的模型（模型社区），有别人训练好的模型：https://huggingface.co/
模型的选择
1.更改模型下载位置
创建一个想要你想要保存模型的位置
https://i-blog.csdnimg.cn/direct/d870b6dc83ec4a9d9b3ef0fed2f02675.png
添加系统环境变量
变量名：OLLAMA_MODELS
变量值：D:\app\OLLAMA_MODELS 2.ollama的模型下载
8b模型是我们目前能运行的最大模型
https://i-blog.csdnimg.cn/direct/d1f509fba5e749d3b5202b435abb5ee5.png
复制指令，cmd中输入，等下载完
https://i-blog.csdnimg.cn/direct/4b2f9086539642bc8de4051d5a0dd954.png
上一步设置无误的话，下载文件会有在你的模型存储位置会有两个这样的文件
https://i-blog.csdnimg.cn/direct/ce5788beb3674445a841ffcf47a430fc.png
下载完后，它本身会启动，试着对话一下，照旧很顺畅的
https://i-blog.csdnimg.cn/direct/a37b1311627a401bac7c5bd9598fddd0.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]