阿里通义 QwQ 登场：开源 AI 推理新王，MATH 测试超 OpenAI o1 ...

一、QwQ 介绍

阿里巴巴通义千问团队今日正式发布实验性研究模型 QwQ-32B-Preview，并配以博文《QwQ: 思忖未知之界》详解其设计理念与性能表现。作为一款专注数学与编程推理的开源大模型，QwQ-32B-Preview 成为环球首个以宽松允许（Apache 2.0）提供的同类领先模型，并在多个基准测试中逾越 OpenAI 的 o1-preview 模型。

阿里团队将 QwQ 比喻为“探索未知领域的学徒”，具备在复杂数学、编程推理中的优异表现，尤其在深度逻辑与科学问题的解决上表现突出。其开放性是另一大亮点，作为 Apache 2.0 允许证下的模型，QwQ 可用于商业应用，无需受到诸多开源协议限制。
模型拥有 325 亿参数，支持长达 32000 tokens 的输入提示词，这为长文档理解及复杂任务处理提供了极大便利。
QwQ-32B-Preview 在多个数学与编程领域的基准测试中，展现了其杰出能力：

• MATH-500：该模型在包罗500个数学测试样本的评测集上，取得 90.6% 的结果，远超同类模型，展示出对代数、几何、数论等主题的全面把握。
  
• AIME：涵盖中学数学各类主题的评测中，QwQ 得分 50.0%，表现出杰出的数学问题解决能力。
  
• GPQA：该基准测试模仿科学解题场景，QwQ 评分 65.2%，达到了研究生程度的科学推理能力。
  
• LiveCodeBench：在评估编程实际问题解决的高难度测试中，QwQ 结果为 50.0%，验证了其在真实编程场景下的强大天生能力。
  

这些数据表明，QwQ 已在推理与解决复杂问题上达到业内顶尖程度，成为少数能与 OpenAI o1 模型正面对抗的开源模型。
尽管 QwQ 具备强大的推理能力，阿里团队在博文中坦承其仍存在以下局限：

• 语言切换问题：回答时可能混用多种语言，影响表达的连贯性。
  
• 推理循环：在处理复杂逻辑问题时，模型可能陷入递归推理模式，导致回答冗长而不敷聚焦。
  
• 安全性不足：当前安全管控能力有限，可能天生不恰当或存在私见的回答，生产环境中需谨慎使用并部署额外防护步伐。
  
• 领域能力差别：在数学和编程领域表现杰出，但其他专业领域仍有待优化。
  

1.5 QwQ-32B-Preview的适用场景

QwQ-32B-Preview模型以其在数学、编程和科学问题解决方面的优势，适用于多个领域和场景：

• 复杂数学问题求解： QwQ-32B-Preview在解决复杂数学问题方面表现出色，尤其在GPQA、AIME、MATH-500等基准测试中展现了杰出的能力。它可以或许处理从基础算术到高等数学的广泛问题，为教导和研究提供了强大的支持。
  
• 编程挑衅和算法开发： 在LiveCodeBench评测会合，QwQ-32B-Preview取得了50.0%的分数，证明白其在实际编程场景中的实用性。它可以帮助开发者解决编程困难，提供代码示例，甚至帮助优化现有代码。
  
• 科学研究中的逻辑推理： QwQ-32B-Preview的推理能力使其成为科研领域的紧张工具。它可以帮助研究人员进行数据分析、模型构建和理论推导，尤其在必要深度思考的场景中。
  
• 必要深度分析的技术性任务： 模型在多个学术和技术基准测试中展现了显著的性能，使其适合于必要深度分析的技术性任务。
  
• 教导辅助： QwQ-32B-Preview提供数学问题的渐渐解答和编程困难的解决方案，帮助学生理解复杂概念。
  
• 主动化编程： 辅助软件开发，基于天生代码片断或完整的代码加快开发过程。
  
• 智能助手： 作为个人或企业的智能助手，提供决策支持和问题解决计谋。
  
• 金融分析： 在金融领域，QwQ-32B-Preview可以用在风险评估、市场猜测和算法生意业务。
  

二、⏳ Download Models

   Qwen/QwQ-32B-Preview

1.     `from modelscope import snapshot_download`    `    model_dir = snapshot_download("Qwen/QwQ-32B-Preview", cache_dir='./')`

复制代码

三、Inference

1. from modelscope import AutoModelForCausalLM, AutoTokenizer``model_name = "Qwen/QwQ-32B-Preview"``model = AutoModelForCausalLM.from_pretrained(`    `model_name,`    `torch_dtype="auto",`    `device_map="auto"``)``tokenizer = AutoTokenizer.from_pretrained(model_name)``prompt = "How many r in strawberry."``messages = [`    `{"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},`    `{"role": "user", "content": prompt}``]``text = tokenizer.apply_chat_template(`    `messages,`    `tokenize=False,`    `add_generation_prompt=True``)``model_inputs = tokenizer([text], return_tensors="pt").to(model.device)``generated_ids = model.generate(`    `**model_inputs,`    `max_new_tokens=512``)``generated_ids = [`    `output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)``]``response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]``print(response)

复制代码

  输出 1

1. User：How many r in strawberry.``QwQ-32B-Preview：``Let's see. The word is "strawberry." I need to find out how many 'r's are in it. Okay, first, I'll spell it out slowly: s-t-r-a-w-b-e-r-r-y. Hmm, I can see that there are 'r's in there. Let me count them one by one.``So, starting from the beginning:``First letter: s, no 'r'.``Second letter: t, no 'r'.``Third letter: r, that's one 'r'.``Fourth letter: a, no 'r'.``Fifth letter: w, no 'r'.``Sixth letter: b, no 'r'.``Seventh letter: e, no 'r'.``Eighth letter: r, that's another 'r'.``Ninth letter: r, yet another 'r'.``Tenth letter: y, no 'r'.``So, I've found three 'r's in "strawberry." But wait, let me double-check to make sure I didn't miss any or count incorrectly.``Spelling it again: s-t-r-a-w-b-e-r-r-y.``Looking at each letter:``3rd letter: r``8th letter: r``9th letter: r``Yes, that's three 'r's. I think that's correct.``Alternatively, sometimes people might miscount if the letters are close together, but in this case, it's straightforward.``So, the answer is three 'r's in "strawberry."``**Final Answer**``\[ \boxed{3} \]

复制代码

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提拔的。
但是具体到个人，只能说是：
“最先把握AI的人，将会比较晚把握AI的人有竞争优势”。
这句话，放在盘算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少偕行子弟。帮助很多人得到了学习和发展。
我意识到有很多履历和知识值得分享给各人，也可以通过我们的能力和履历解答各人在人工智能学习中的很多困惑，所以在工作繁忙的环境下照旧坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法得到精确的资料得到学习提拔，故此将并将紧张的AI大模型资料包括AI大模型入门学习思维导图、佳构AI大模型学习册本手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让各人对大模型 AI有一个最前沿的认识，对大模型 AI 的理解高出 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 谈天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
  
• 大模型是怎样得到「智能」的？
  
• 用好 AI 的核心心法
  
• 大模型应用业务架构
  
• 大模型应用技术架构
  
• 代码示例：向 GPT-3.5 灌入新知识
  
• 提示工程的意义和核心思想
  
• Prompt 典范构成
  
• 指令调优方法论
  
• 思维链和思维树
  
• Prompt 攻击和防范
  
• …
  

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。把握功能最强的大模型开发框架，抓住最新的技术希望，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
  
• 搭建一个简单的 ChatPDF
  
• 检索的基础概念
  
• 什么是向量表现（Embeddings）
  
• 向量数据库与向量检索
  
• 基于向量检索的 RAG
  
• 搭建 RAG 系统的扩展知识
  
• 混淆检索与 RAG-Fusion 简介
  
• 向量模型本地部署
  
• …
  

第三阶段（30天）：模型训练

恭喜你，假如学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，把握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
  
• 什么是模型
  
• 什么是模型训练
  
• 求解器 & 丧失函数简介
  
• 小实验2：手写一个简单的神经网络并训练它
  
• 什么是训练/预训练/微调/轻量化微调
  
• Transformer布局简介
  
• 轻量化微调
  
• 实验数据集的构建
  
• …
  

第四阶段（20天）：商业闭环

对环球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产物经理。

• 硬件选型
  
• 带你相识环球大模型
  
• 使用国产大模型服务
  
• 搭建 OpenAI 代理
  
• 热身：基于阿里云 PAI 部署 Stable Diffusion
  
• 在本土地算机运行大模型
  
• 大模型的私有化部署
  
• 基于 vLLM 部署大模型
  
• 案例：如何优雅地在阿里云私有部署开源大模型
  
• 部署一套开源 LLM 项目
  
• 内容安全
  
• 互联网信息服务算法备案
  
• …
  

学习是一个过程，只要学习就会有挑衅。天道酬勤，你越积极，就会成为越优秀的自己。
假如你能在15天内完成所有的任务，那你堪称天才。然而，假如你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的精确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们假如必要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。