快捷導(dǎo)航

華為昇騰920b服務(wù)器部署DeepSeek翻車現(xiàn)場演示

更新時間：2025年02月19日 16:20:48 作者：是小V呀

文章描述了在華為Kunpeng9205250服務(wù)器上部署DeepSeek模型的全過程,包括配置調(diào)整、使用ollama和nohupollama運行模型、嘗試容器部署以及最終成功部署的步驟,過程中遇到了硬件兼容性、驅(qū)動下載、鏡像獲取權(quán)限等問題,并總結(jié)了解決方案,感興趣的朋友一起看看吧

硬件配置信息

基本硬件信息

按照慣例先來看看配置。一共3塊盤，500G的系統(tǒng)盤，+ 2塊3T固態(tài)，后面把固態(tài)硬盤也組合成了邏輯卷

內(nèi)存是1.5T的，比我電腦硬盤都大

[root@localhost ~]# lsblk
NAME                    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda                       8:0    0 446.6G  0 disk 
├─sda1                    8:1    0   600M  0 part /boot/efi
├─sda2                    8:2    0     1G  0 part /boot
└─sda3                    8:3    0   445G  0 part 
  ├─openeuler-root      253:0    0    70G  0 lvm  /
  ├─openeuler-swap      253:1    0     4G  0 lvm  [SWAP]
  └─openeuler-home      253:2    0   371G  0 lvm  /home
nvme1n1                 259:0    0   2.9T  0 disk 
└─nvme1n1p1             259:4    0   2.9T  0 part 
  └─vg_data01-lv_data01 253:3    0   5.8T  0 lvm  /data
nvme0n1                 259:1    0   2.9T  0 disk 
└─nvme0n1p1             259:3    0   2.9T  0 part 
  └─vg_data01-lv_data01 253:3    0   5.8T  0 lvm  /data
[root@localhost ~]# df -Th | awk '$2 !~ /overlay/ && $2 !~ /tmpfs/'
文件系統(tǒng)                        類型      容量  已用  可用 已用% 掛載點
/dev/mapper/openeuler-root      ext4       69G   45G   21G   69% /
/dev/sda2                       ext4      974M   72M  835M    8% /boot
/dev/sda1                       vfat      599M  5.8M  594M    1% /boot/efi
/dev/mapper/openeuler-home      ext4      365G  4.6G  342G    2% /home
/dev/mapper/vg_data01-lv_data01 ext4      5.8T  4.3T  1.3T   78% /data

[root@localhost ~]# cat /etc/os-release 
NAME="openEuler"
VERSION="22.03 LTS"
ID="openEuler"
VERSION_ID="22.03"
PRETTY_NAME="openEuler 22.03 LTS"
ANSI_COLOR="0;31"
[root@localhost ~]# uname -a
Linux localhost.localdomain 5.10.0-60.18.0.50.oe2203.aarch64 #1 SMP Wed Mar 30 02:43:08 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux
[root@localhost ~]# lscpu
架構(gòu)：               aarch64
  CPU 運行模式：     64-bit
  字節(jié)序：           Little Endian
CPU:                 192
  在線 CPU 列表：    0-191
廠商 ID：            HiSilicon
  BIOS Vendor ID:    HiSilicon
  型號名稱：         Kunpeng-920
    BIOS Model name: HUAWEI Kunpeng 920 5250
    型號：           0
    每個核的線程數(shù)： 1
    每個座的核數(shù)：   48
    座：             4
    步進：           0x1
    Frequency boost: disabled
    CPU 最大 MHz：   2600.0000
    CPU 最小 MHz：   200.0000
    BogoMIPS：       200.00
    標記：           fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop asimddp asimdfhm ssbs
Caches (sum of all): 
  L1d:               12 MiB (192 instances)
  L1i:               12 MiB (192 instances)
  L2:                96 MiB (192 instances)
  L3:                192 MiB (8 instances)
NUMA:                
  NUMA 節(jié)點：        8
  NUMA 節(jié)點0 CPU：   0-23
  NUMA 節(jié)點1 CPU：   24-47
  NUMA 節(jié)點2 CPU：   48-71
  NUMA 節(jié)點3 CPU：   72-95
  NUMA 節(jié)點4 CPU：   96-119
  NUMA 節(jié)點5 CPU：   120-143
  NUMA 節(jié)點6 CPU：   144-167
  NUMA 節(jié)點7 CPU：   168-191
Vulnerabilities:     
  Itlb multihit:     Not affected
  L1tf:              Not affected
  Mds:               Not affected
  Meltdown:          Not affected
  Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
  Spectre v1:        Mitigation; __user pointer sanitization
  Spectre v2:        Not affected
  Srbds:             Not affected
  Tsx async abort:   Not affected
[root@localhost ~]# free -h
               total        used        free      shared  buff/cache   available
Mem:           1.5Ti        12Gi        26Gi        20Mi       1.4Ti       1.5Ti
Swap:          4.0Gi        12Mi       4.0Gi

NPU/GPU信息

由于沒有部署任何AI、模型，所以空載著

[root@localhost ~]# npu-smi info
+------------------------------------------------------------------------------------------------+
| npu-smi 24.1.rc1                 Version: 24.1.rc1                                             |
+---------------------------+---------------+----------------------------------------------------+
| NPU   Name                | Health        | Power(W)    Temp(C)           Hugepages-Usage(page)|
| Chip                      | Bus-Id        | AICore(%)   Memory-Usage(MB)  HBM-Usage(MB)        |
+===========================+===============+====================================================+
| 0     910B3               | OK            | 89.7        35                0    / 0             |
| 0                         | 0000:C1:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 1     910B3               | OK            | 88.6        38                0    / 0             |
| 0                         | 0000:C2:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 2     910B3               | OK            | 91.8        36                0    / 0             |
| 0                         | 0000:81:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 3     910B3               | OK            | 87.2        36                0    / 0             |
| 0                         | 0000:82:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 4     910B3               | OK            | 88.8        41                0    / 0             |
| 0                         | 0000:01:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 5     910B3               | OK            | 95.7        44                0    / 0             |
| 0                         | 0000:02:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 6     910B3               | OK            | 93.5        39                0    / 0             |
| 0                         | 0000:41:00.0  | 0           0    / 0          3160 / 65536         |
+===========================+===============+====================================================+
| 7     910B3               | OK            | 89.2        40                0    / 0             |
| 0                         | 0000:42:00.0  | 0           0    / 0          3160 / 65536         |
+===========================+===============+====================================================+
+---------------------------+---------------+----------------------------------------------------+
| NPU     Chip              | Process id    | Process name             | Process memory(MB)      |
+===========================+===============+====================================================+
| No running processes found in NPU 0                                                            |
+===========================+===============+====================================================+
| No running processes found in NPU 1                                                            |
+===========================+===============+====================================================+
| No running processes found in NPU 2                                                            |
+===========================+===============+====================================================+

開始部署DeepSeek

ollama方法

根據(jù)網(wǎng)上資料看，只要用ollama部署就行，后面發(fā)現(xiàn)這個行不通。因為ollama只適配了英偉達的GPU，像華為的根本就行不通啊，

ollama的安裝腳本也是去下載英偉達的驅(qū)動，結(jié)果就是下載失敗，就算下載成功了也不能安裝上去

https://zhuanlan.zhihu.com/p/22081569918

0

最后折騰了很久

使用 nohup ollama run

部署一個1.5B的試試，發(fā)現(xiàn)可以運行了。但是總覺得不對境?；卮饐栴}太慢了，用時3分鐘。CPU使用率也是狂飆。NPU是一點沒有使上勁啊

ollama run deepseek-r1:1.5b

容器部署方法

最后決定下載權(quán)重+容器部署。結(jié)果這里就有遇到了坑點

需要用到git lfs 工具和華為的鏡像。因為這是ARM服務(wù)器，所有g(shù)it lfs命令也很難找，歐拉的yum源還沒有提供，最后翻來覆去在github最新的V3.6.1找到了。使用二進制命令接安裝腳本既可以實現(xiàn)。這樣就能通過git install ，git push 去拉取近1TB的權(quán)重了

https://github.com/git-lfs/git-lfs/releases