IT评测·应用市场-qidao123.com

标题: mac当地部署Qwq-32b记载 [打印本页]
作者: 耶耶耶耶耶    时间: 2025-3-14 13:37
标题: mac当地部署Qwq-32b记载
导语

昨天看到阿里开源了Qwq-32b，号称性能可以媲美Deepseek-R1。今天晚上有空就在Mac上折腾了一下，使用ollma举行了部署，效果感觉还不错，特此记载。
环境

硬件


环境配置

首先须要安装ollama，直接前往Ollama官网下载对应系统版本安装包并举行安装即可。
之后，打开下令行（mac是zsh），输入
  1. jiexing@MacBook-M1-Pro ~ % ollama run qwq
  2. pulling manifest
  3. pulling c62ccde5630c... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  19 GB                        
  4. pulling 41190096a061... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.2 KB                        
  5. pulling d18a5cc71b84... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                        
  6. pulling 4afe5edfdb51... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏   77 B                        
  7. pulling 6a8faa2fb8b0... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  488 B                        
  8. verifying sha256 digest
  9. writing manifest
  10. success
  11. >>> 请介绍一下你自己
  12. <think>
  14. </think>
  16. 你好！我是通义千问，阿里巴巴集团旗下的超大规模语言模型。我可以帮助你回答问题、创作文字，比如写故事、写公文、写邮件、写剧本，进行逻辑推理、编程等。我熟练掌握多种语言，包括但不限于中文、英文、德语、法语、西班牙语等。
  18. 如果你有任何问题或需要帮助，欢迎随时告诉我！
复制代码
WebUI搭建

完成部署后，看着大略的下令行配景，感觉照旧不如chatgpt、Deepseek那些网页版体验好，于是找了一下怎样部署一个Web UI。主要参考ollama-webui-lite项目，尝试如下：
首先须要clone项目：
  1. git clone https://github.com/ollama-webui/ollama-webui-lite.git
  2. cd ollama-webui-lite
复制代码
然后运行
  1. yarn
复制代码
效果我这里报错
  1. zsh command not found yarn
复制代码
于是我使用brew来安装yarn
，直接brew install yarn
是无法成功的，经过搜索发现须要更新brew update，然后顺利安装yarn
。
在运行之前，还须要确保本机的node>=16，可以直接使用
brew install node来安装。
启动界面

在项目目录下，运行yarn
dev，即可成功设置WebUI，点击 http://localhost:3000/ 即可打开当地的WebUI。
  1. jiexing@MacBook-M1-Pro ollama-webui-lite % yarn
  2. devyarn
  3. run v1.22.22$ vite dev --host --port 3000Forced re-optimization of dependencies  VITE v4.5.9  ready in 499 ms  ➜  Local:   http://localhost:3000/  ➜  Network: http://192.168.71.174:3000/  ➜  Network: http://10.50.50.18:3000/  ➜  press h to show help
复制代码


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4