华为昇腾920b服务器摆设DeepSeek翻车现场

自由的羽毛  论坛元老 | 2025-2-18 09:51:19 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 1952|帖子 1952|积分 5856

最近到祸一台HUAWEI Kunpeng 920 5250，先看看配置。之前是摆设的讯飞大模子，发现资源利用率太低了。把5台减少到3台，就出了他
硬件配置信息

根本硬件信息

按照惯例先来看看配置。一共3块盘，500G的体系盘，+ 2块3T固态，背面把固态硬盘也组合成了逻辑卷
内存是1.5T的，比我电脑硬盘都大
  1. [root@localhost ~]# lsblk
  2. NAME                    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
  3. sda                       8:0    0 446.6G  0 disk
  4. ├─sda1                    8:1    0   600M  0 part /boot/efi
  5. ├─sda2                    8:2    0     1G  0 part /boot
  6. └─sda3                    8:3    0   445G  0 part
  7.   ├─openeuler-root      253:0    0    70G  0 lvm  /
  8.   ├─openeuler-swap      253:1    0     4G  0 lvm  [SWAP]
  9.   └─openeuler-home      253:2    0   371G  0 lvm  /home
  10. nvme1n1                 259:0    0   2.9T  0 disk
  11. └─nvme1n1p1             259:4    0   2.9T  0 part
  12.   └─vg_data01-lv_data01 253:3    0   5.8T  0 lvm  /data
  13. nvme0n1                 259:1    0   2.9T  0 disk
  14. └─nvme0n1p1             259:3    0   2.9T  0 part
  15.   └─vg_data01-lv_data01 253:3    0   5.8T  0 lvm  /data
  16.   
  17. [root@localhost ~]# df -Th | awk '$2 !~ /overlay/ && $2 !~ /tmpfs/'
  18. 文件系统                        类型      容量  已用  可用 已用% 挂载点
  19. /dev/mapper/openeuler-root      ext4       69G   45G   21G   69% /
  20. /dev/sda2                       ext4      974M   72M  835M    8% /boot
  21. /dev/sda1                       vfat      599M  5.8M  594M    1% /boot/efi
  22. /dev/mapper/openeuler-home      ext4      365G  4.6G  342G    2% /home
  23. /dev/mapper/vg_data01-lv_data01 ext4      5.8T  4.3T  1.3T   78% /data
复制代码
  1. [root@localhost ~]# cat /etc/os-release
  2. NAME="openEuler"
  3. VERSION="22.03 LTS"
  4. ID="openEuler"
  5. VERSION_ID="22.03"
  6. PRETTY_NAME="openEuler 22.03 LTS"
  7. ANSI_COLOR="0;31"
  9. [root@localhost ~]# uname -a
  10. Linux localhost.localdomain 5.10.0-60.18.0.50.oe2203.aarch64 #1 SMP Wed Mar 30 02:43:08 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux
  11. [root@localhost ~]# lscpu
  12. 架构：               aarch64
  13.   CPU 运行模式：     64-bit
  14.   字节序：           Little Endian
  15. CPU:                 192
  16.   在线 CPU 列表：    0-191
  17. 厂商 ID：            HiSilicon
  18.   BIOS Vendor ID:    HiSilicon
  19.   型号名称：         Kunpeng-920
  20.     BIOS Model name: HUAWEI Kunpeng 920 5250
  21.     型号：           0
  22.     每个核的线程数： 1
  23.     每个座的核数：   48
  24.     座：             4
  25.     步进：           0x1
  26.     Frequency boost: disabled
  27.     CPU 最大 MHz：   2600.0000
  28.     CPU 最小 MHz：   200.0000
  29.     BogoMIPS：       200.00
  30.     标记：           fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop asimddp asimdfhm ssbs
  31. Caches (sum of all):
  32.   L1d:               12 MiB (192 instances)
  33.   L1i:               12 MiB (192 instances)
  34.   L2:                96 MiB (192 instances)
  35.   L3:                192 MiB (8 instances)
  36. NUMA:               
  37.   NUMA 节点：        8
  38.   NUMA 节点0 CPU：   0-23
  39.   NUMA 节点1 CPU：   24-47
  40.   NUMA 节点2 CPU：   48-71
  41.   NUMA 节点3 CPU：   72-95
  42.   NUMA 节点4 CPU：   96-119
  43.   NUMA 节点5 CPU：   120-143
  44.   NUMA 节点6 CPU：   144-167
  45.   NUMA 节点7 CPU：   168-191
  46. Vulnerabilities:     
  47.   Itlb multihit:     Not affected
  48.   L1tf:              Not affected
  49.   Mds:               Not affected
  50.   Meltdown:          Not affected
  51.   Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
  52.   Spectre v1:        Mitigation; __user pointer sanitization
  53.   Spectre v2:        Not affected
  54.   Srbds:             Not affected
  55.   Tsx async abort:   Not affected
  56. [root@localhost ~]# free -h
  57.                total        used        free      shared  buff/cache   available
  58. Mem:           1.5Ti        12Gi        26Gi        20Mi       1.4Ti       1.5Ti
  59. Swap:          4.0Gi        12Mi       4.0Gi
复制代码
NPU/GPU信息

由于没有摆设任何AI、模子，所以空载着
  1. [root@localhost ~]# npu-smi info
  2. +------------------------------------------------------------------------------------------------+
  3. | npu-smi 24.1.rc1                 Version: 24.1.rc1                                             |
  4. +---------------------------+---------------+----------------------------------------------------+
  5. | NPU   Name                | Health        | Power(W)    Temp(C)           Hugepages-Usage(page)|
  6. | Chip                      | Bus-Id        | AICore(%)   Memory-Usage(MB)  HBM-Usage(MB)        |
  7. +===========================+===============+====================================================+
  8. | 0     910B3               | OK            | 89.7        35                0    / 0             |
  9. | 0                         | 0000:C1:00.0  | 0           0    / 0          3159 / 65536         |
  10. +===========================+===============+====================================================+
  11. | 1     910B3               | OK            | 88.6        38                0    / 0             |
  12. | 0                         | 0000:C2:00.0  | 0           0    / 0          3159 / 65536         |
  13. +===========================+===============+====================================================+
  14. | 2     910B3               | OK            | 91.8        36                0    / 0             |
  15. | 0                         | 0000:81:00.0  | 0           0    / 0          3159 / 65536         |
  16. +===========================+===============+====================================================+
  17. | 3     910B3               | OK            | 87.2        36                0    / 0             |
  18. | 0                         | 0000:82:00.0  | 0           0    / 0          3159 / 65536         |
  19. +===========================+===============+====================================================+
  20. | 4     910B3               | OK            | 88.8        41                0    / 0             |
  21. | 0                         | 0000:01:00.0  | 0           0    / 0          3159 / 65536         |
  22. +===========================+===============+====================================================+
  23. | 5     910B3               | OK            | 95.7        44                0    / 0             |
  24. | 0                         | 0000:02:00.0  | 0           0    / 0          3159 / 65536         |
  25. +===========================+===============+====================================================+
  26. | 6     910B3               | OK            | 93.5        39                0    / 0             |
  27. | 0                         | 0000:41:00.0  | 0           0    / 0          3160 / 65536         |
  28. +===========================+===============+====================================================+
  29. | 7     910B3               | OK            | 89.2        40                0    / 0             |
  30. | 0                         | 0000:42:00.0  | 0           0    / 0          3160 / 65536         |
  31. +===========================+===============+====================================================+
  32. +---------------------------+---------------+----------------------------------------------------+
  33. | NPU     Chip              | Process id    | Process name             | Process memory(MB)      |
  34. +===========================+===============+====================================================+
  35. | No running processes found in NPU 0                                                            |
  36. +===========================+===============+====================================================+
  37. | No running processes found in NPU 1                                                            |
  38. +===========================+===============+====================================================+
  39. | No running processes found in NPU 2                                                            |
  40. +===========================+===============+====================================================+
复制代码
开始摆设DeepSeek

ollama方法

根据网上资料看，只要用ollama摆设就行，背面发现这个行不通。由于ollama只适配了英伟达的GPU，像华为的根本就行不通啊，
ollama的安装脚本也是去下载英伟达的驱动，结果就是下载失败，就算下载乐成了也不能安装上去
https://zhuanlan.zhihu.com/p/22081569918
0
最后折腾了很久
利用 nohup ollama run
摆设一个1.5B的试试，发现可以运行了。但是总以为不对境。答复问题太慢了，用时3分钟。CPU利用率也是狂飙。NPU是一点没有使上劲啊
  1. ollama run deepseek-r1:1.5b
复制代码

容器摆设方法

最后决定下载权重+容器摆设。结果这里就有遇到了坑点
需要用到git lfs 工具 和 华为的镜像。由于这是ARM服务器，全部git lfs命令也很难找，欧拉的yum源还没有提供，最后翻来覆去在github最新的V3.6.1找到了。利用二进制命令接安装脚本既可以实现。这样就能通过git install ，git push 去拉取近1TB的权重了
https://github.com/git-lfs/git-lfs/releases


再说说这个华为的镜像吧，不得不吐槽。华为这是把镜像当宝物供着吗，下载还需要申请权限，不是一般人还申请不下来。还好我们这里条件都满足
晚上提交的申请，第二天早上就通过了

最后参照了好几个教程，不是启动失败，就吃出现权限拒绝，服了
华为服务器社区：https://www.hiascend.com/software/modelzoo/models/detail/68457b8a51324310aad9a0f55c3e56e3
天翼云社区： https://www.ctyun.cn/document/10027724/10944583

摆设R1模子提示不兼容…
天翼云社区： https://www.ctyun.cn/document/10027724/10944583

[外链图片转存中…(img-LlsPC4Gm-1739689559814)]
摆设R1模子提示不兼容…

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

自由的羽毛

论坛元老
这个人很懒什么都没写!

楼主热帖

标签云

AI 运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表