Windows离线部署vllm

打印 上一主题 下一主题

主题 934|帖子 934|积分 2802

1、安装WSL2步骤

1.为Linux启用子系统

检查windows功能是否开启了 实用于 Liunx 的 Windows 子系统 的设置(如果未开启,开启之后需要重启电脑)


cmd下令 wsl -l -v 检查管理实用于 Liunx 的 Windows 子系统的分发,如果没有分发版的则执行:

   
1、wsl -l -v

  2、
  dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
  

重启电脑(注意:需要开启 实用于 Liunx 的 Windows 子系统 的设置 才重新启动计算机 如果已开启,则不需要)

2.检查WSL2的要求

(对于64位系统,版本1903或更高,版本18362或更高。

对于ARM64系统:版本2004或更高,版本19041或更高。)

检查电脑版本 :win+r 在搜索框输入 winver 查看当前版本 19044比1903高符合要求


查看电脑是否开启开辟职员模式


3.启用虚拟机功能

   
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

  

4.安装Linux内核更新包

下载地址:https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi双击安装

5.将WSL2设置为默认版本

   wsl --set-default-version 2
  

6.安装选择的Linux发行版

进入https://docs.microsoft.com/en-us/windows/wsl/install-manual选择合适的系统安装包,这里选择ubuntu22.04
由于这个包比力大,在欣赏器里点击下载链接右键,提取下载地址,打开迅雷或者其他第三方下载工具,新建下载使命,由于迅雷有国内的CDN加快,一般下载可以跑满带宽。原来需要8个小时的使命,现在几分钟就好了。
下载完成后,双击安装完成。一般第一次进入Ubuntu系统,需要设置用户名,暗码等。安装系统提示操作即可。
7.安装成功

在cmd下令界面查看是否安装成功,出现跟截图一样,则已成功




  • root用户修改暗码
cmd窗口使用:
   wsl --user root
  下令登录root用户,使用
   passwd root
  下令修改root用户暗码


2、vllm安装

1.Anaconda3安装

进入wsl2终端Anaconda3安装包的目次下本文以D盘为例:
   cd /mnt/d
  bash Anaconda3-2024.06-1-Linux-x86_64.sh
  即可开始安装。安装过程一路回车输入yes即可,注最后一步发起输yes,会将conda情况变量写入~/.bashrc文件中。
anaconda3下载地址
安装完成使用下令:
   conda -V
  查看

如果情况变量未生效,按照下面方法执行:
   vim  ~/.bashrc
  在最后一行添加下面下令
   export PATH=$PATH:/path/to/anaconda3/bin
  替换/path/to/anaconda3为您的现实安装路径。之后,运行
   source  ~/.bashrc
  来更新情况变量。
2.激活python虚拟情况

将预备好的情况压缩vllm.tar.gz文件解压至anaconda安装路径的envs路径下进行解压。
   tar -xzvf vllm.tar.gz -C vllm
  解压完成后使用
   conda activate vllm
  检查情况是否迁徙成功


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

写过一篇

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表