Qwen/QwQ-32B 基础模子上构建agent实现ppt自动天生

卖不甜枣 · 2025-3-12 18:10:07

关心Qwen/QwQ-32B 性能测试效果可以参考下
https://zhuanlan.zhihu.com/p/28600079208

https://zhuanlan.zhihu.com/p/28600079208
官方宣传上是该模子性能比肩满血版 DeepSeek-R1（671B）！
我们实现一个利用Qwen/QwQ-32B 自动天生 PowerPoint 演示文稿的需求，基于 Qwen/QwQ-32B 的自动化 PPT 天生 Agent，带有一个简单的用户界面。以下是一个利用 Python、Gradio（用于界面）和 python-pptx（用于天生 PPT）的实现方案，先利用提示词工程实现一个简单的ppt天生

前提条件

你已经下载了 Qwen/QwQ-32B 权重到 ./qwq_32b 目次。
确保有足够的 GPU 内存（发起至少 24GB VRAM）来加载 32B 模子。

体系提示：
- 计划一个体系提示，引导模子怎样天生内容。该提示应包含布局化的内容格式，比方：
  - 第一张幻灯片为标题幻灯片（包含标题和副标题）。
  - 后续幻灯片为内容幻灯片（包含标题和要点）。
内容天生流程
消息构建：
- 将体系提示与用户提示结合，形成完整的输入消息列表。
文本天生：
- 利用分词器将消息转换为模子输入格式，然后调用模子天生文本。
- 设置天生参数（如最大新令牌数、温度等）来控制天生内容的质量和多样性。

PPT内容处置惩罚

解析天生的内容：
- 将模子天生的文天职割为差别的幻灯片，识别标题幻灯片和内容幻灯片。
创建PPT文件：
- 利用 python-pptx 库创建 PowerPoint 演示文稿，根据解析的内容添加幻灯片。
保存PPT文件：
将天生的PPT文件保存到指定的位置，方便用户下载和利用。

def generate_ppt_content(topic, slide_count=3):
system_prompt = (
"You are Qwen, developed by Alibaba. You are tasked with creating content for a PowerPoint presentation. "
"Generate a structured response with a title slide and subsequent slides based on the user's topic. "
f"Provide content for {slide_count} slides in the following format:\n"
"Slide 1: Title Slide (Title, Subtitle)\n"
f"Slide 2 to {slide_count}: Content Slide (Slide Title, Bullet Points)\n"
"Keep each slide concise and professional."
)
user_prompt = f"Generate a PPT about '{topic}'."
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_prompt}
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda") # 输入放到 GPU
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=512,
temperature=0.7,
repetition_penalty=1.2
)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in
zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
return response

复制代码

处置惩罚流程概述：

定义了一个布局化的提示，用于指示模子（Qwen）预期的输出格式。它具体阐明白输出的格式要求，包括标题幻灯片和内容幻灯片。
这将体系提示与请求天生指定主题的演示文稿结合在一起。
将提示进行标记化，意味着将文本转换为模子可以理解的格式。这涉及将文本转换为数字表示（标记）。
将标记化的输入准备好，移动到GPU以加快处置惩罚速度。
模子根据输入提示天生响应。参数max_new_tokens、temperature和repetition_penalty决定天生的
max_new_tokens：模子可以一次天生的最大标记数（这里设置为512）。
temperature：控制输出的随机性。较低的值使输出更确定，而较高的值增加创造性。
repetition_penalty：克制模子重复短语或想法，促进内容的多样性。

将天生的标记ID解码回人类可读的文本格式，清除模子利用的任何特殊标记。

开端运行下报错了
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 270.00 MiB. GPU 0 has a total capacity of 23.53 GiB of which 158.56 MiB is free. Including non-PyTorch memory, this process has 23.36 GiB memory in use. Of the allocated memory 22.99 GiB is allocated by PyTorch, and 1.24 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables)
呆板有两张 NVIDIA 4090 显卡，每张显存 24GB，但当前模子加载时超出了单张 GPU 的显存容量（23.53GiB 已险些用尽）。由于 Qwen/QwQ-32B 是一个非常大的模子（未经量化可能需要 60GB+ 显存），单张 24GB 显卡无法完整加载，因此需要利用多卡并行加载模子。
以下是实现多卡运行的办理方案，结合你的硬件（2 张 4090，48GB 总显存）：

起首确认你的环境支持多卡：

import torch
print("CUDA available:", torch.cuda.is_available())
print("Device count:", torch.cuda.device_count())
for i in range(torch.cuda.device_count()):
print(f"GPU {i}: {torch.cuda.get_device_name(i)}, {torch.cuda.get_device_properties(i).total_memory / 1024**3:.2f} GB")

复制代码

利用 accelerate 的多卡支持

transformers 和 accelerate 提供了内置的多卡支持，通过 device_map="auto" 自动将模子分层分配到多个 GPU 上。

# 1. 加载模型和分词器
model_path = "./qwq_32b"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# 使用 accelerate 的多卡加载
model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.float16, # 使用 FP16 减少显存占用
device_map="auto", # 自动分配到多张 GPU
low_cpu_mem_usage=True # 优化内存使用
)
print("Model loaded successfully across multiple GPUs!")

复制代码

优化显存利用

如果仍然碰到显存不足，可以进一步优化：
1. 利用 4-bit 量化

安装 bitsandbytes：

pip install bitsandbytes

复制代码

修改模子加载部分：

model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.float16,
device_map="auto",
load_in_4bit=True, # 4-bit 量化
bnb_4bit_compute_dtype=torch.float16,
bnb_4bit_use_double_quant=True # 双重量化
)

复制代码

显存需求降至约 20-24GB，两张 4090 完全够用。
可能略微影响天生质量，但对 PPT 内容天生影响不大。

设置环境变量

错误信息提到 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True，可以尝试设置以优化内存分配：

export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
或者代码上添加
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"

复制代码

修改后代码

import torchfrom transformers import AutoModelForCausalLM, AutoTokenizerimport gradio as grfrom pptx import Presentationimport os# 1. 加载模子和分词器model_path = "./base_model/qwq_32b"tokenizer = AutoTokenizer.from_pretrained(model_path)# 利用 accelerate 的多卡加载model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16, device_map="auto", load_in_4bit=True, # 启用 4-bit 量化 bnb_4bit_compute_dtype=torch.float16, # 盘算用 FP16 bnb_4bit_use_double_quant=True # 双重量化，进一步节省显存)print("Model loaded successfully across multiple GPUs!")# 2. 天生 PPT 内容的函数def generate_ppt_content(topic, slide_count=3):
system_prompt = (
"You are Qwen, developed by Alibaba. You are tasked with creating content for a PowerPoint presentation. "
"Generate a structured response with a title slide and subsequent slides based on the user's topic. "
f"Provide content for {slide_count} slides in the following format:\n"
"Slide 1: Title Slide (Title, Subtitle)\n"
f"Slide 2 to {slide_count}: Content Slide (Slide Title, Bullet Points)\n"
"Keep each slide concise and professional."
)
user_prompt = f"Generate a PPT about '{topic}'."
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_prompt}
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda") # 输入放到 GPU
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=512,
temperature=0.7,
repetition_penalty=1.2
)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in
zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
return response# 3. 创建 PPT 文件def create_ppt(topic, content): prs = Presentation() slides = content.split("Slide")[1:] for slide_text in slides: slide_lines = slide_text.strip().split("\n") if not slide_lines: continue if "1:" in slide_text: slide_layout = prs.slide_layouts[0] slide = prs.slides.add_slide(slide_layout) title, subtitle = slide.shapes.title, slide.placeholders[1] title.text = slide_lines[0].replace("1: Title Slide", "").strip() subtitle.text = slide_lines[1].strip() if len(slide_lines) > 1 else " " else: slide_layout = prs.slide_layouts[1] slide = prs.slides.add_slide(slide_layout) title, body = slide.shapes.title, slide.placeholders[1] title.text = slide_lines[0].strip() tf = body.text_frame tf.text = "\n".join(line.strip() for line in slide_lines[1:] if line.strip()) output_file = f"{topic.replace(' ', '_')}_presentation.pptx" prs.save(output_file) return output_file# 4. 主函数def ppt_agent(topic): content = generate_ppt_content(topic) output_file = create_ppt(topic, content) return content, output_file# 5. Gradio 界面with gr.Blocks(title="PPT 天生 Agent") as demo: gr.Markdown("# 自动化 PPT 天生器") gr.Markdown("输入主题，天生 PPT 文件。基于 Qwen/QwQ-32B，多卡运行。") topic_input = gr.Textbox(label="PPT 主题", placeholder="比方：人工智能简介") output_text = gr.Textbox(label="天生的内容", lines=10, interactive=False) output_file = gr.File(label="下载 PPT 文件") submit_btn = gr.Button("天生 PPT") submit_btn.click(fn=ppt_agent, inputs=topic_input, outputs=[output_text, output_file])demo.launch(server_name="0.0.0.0", server_port=7860)

复制代码

运行界面如下

点击“天生PPT”

但是ppt质量有点堪忧

天生的 PPT 内容确实存在以下问题：

内容质量低：天生的文本包含不自然的表达（如 "I don’t have the prime data regarding from common knowledge up until now"），语法错误较多，逻辑也不够清楚。
格式问题：内容没有很好地适配 PPT 的布局，段落过长，缺乏简洁的要点化表达。
语言混杂：中英文混杂（如标题是中文，内容是英文），缺乏统一性。

为了提升 PPT 的质量，引入多个智能体的协作模式，利用联网功能获取更高质量的内容，并优化 PPT 的布局和格式。改进方案：
多智能体协作天生高质量 PPT

智能体角色分工

内容天生智能体：基于 QwQ-32B 模子，负责天生 PPT 的开端内容（已实现）。
内容优化智能体：联网搜索最新信息，修正天生内容中的错误，优化语言表达。
格式计划智能体：优化 PPT 布局，确保内容简洁、要点清楚，并适配 PPT 格式。
视觉美化智能体：提供 PPT 排版发起，优化字体、颜色、布局等（目前无法直接天生图片，但可以提供计划发起）。

改进步骤

优化内容天生：调整提示词，提升 QwQ-32B 的输出质量。
联网搜索增补：搜索与主题相干的最新信息，修正模子天生的内容。
布局化输出：将内容转为简洁的要点情势，适配 PPT。

修改代码

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
import gradio as gr
from pptx import Presentation
from pptx.util import Inches, Pt
from pptx.enum.text import PP_ALIGN
from pptx.dml.color import RGBColor
from pptx.oxml.xmlchemy import OxmlElement
import os
import requests
from bs4 import BeautifulSoup
import time
# 清理显存
torch.cuda.empty_cache()
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"
# 1. 加载模型和分词器
model_path = "./base_model/qwq_32b"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.float16,
device_map="auto",
load_in_4bit=True,
bnb_4bit_compute_dtype=torch.float16,
bnb_4bit_use_double_quant=True
)
print("Model loaded successfully!")
# 2. 联网搜索（使用百度，优化解析逻辑）
def search_web(query, retries=3):
for attempt in range(retries):
try:
url = f"https://www.baidu.com/s?wd={requests.utils.quote(query)}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
soup = BeautifulSoup(response.text, "html.parser")
snippets = []
# 调整选择器，适配百度搜索结果
for result in soup.select(".result.c-container"):
title = result.select_one("h3 a")
summary = result.select_one(".c-abstract") or result.select_one(".c-span-last")
if title and summary:
snippets.append(f"{title.get_text()}: {summary.get_text()}")
elif title:
snippets.append(title.get_text())
if snippets:
print("Search results:", snippets) # 调试输出
return "\n".join(snippets[:3])
else:
return "未找到相关搜索结果"
except Exception as e:
print(f"Search attempt {attempt + 1} failed: {str(e)}")
if attempt == retries - 1:
return "搜索失败，请检查网络连接或稍后再试"
time.sleep(2) # 重试前等待 2 秒
# 3. 生成 PPT 内容
def generate_ppt_content(topic, slide_count=3):
system_prompt = (
"你是一个专业的 PPT 内容生成助手，语言为中文。你的任务是根据用户提供的主题，生成一份结构化的 PPT 内容。要求："
f"1. 生成 {slide_count} 页幻灯片：\n"
" - Slide 1: 标题页（标题，副标题）\n"
f" - Slide 2 到 {slide_count}: 内容页（页标题，3-5 个简洁的要点）\n"
"2. 语言简洁、专业，适合 PPT 展示，避免长句。\n"
"3. 确保内容逻辑清晰，信息准确，基于小米汽车的最新信息（如 2025 年目标交付 30 万台，SU7 和 YU7 系列，智能化布局等）。\n"
"4. 不要包含不准确的信息（如错误的自动驾驶级别，当前小米汽车未达到 L4）。"
)
user_prompt = f"生成一份关于 '{topic}' 的 PPT，重点介绍产品亮点和市场战略。"
messages = [{"role": "system", "content": system_prompt}, {"role": "user", "content": user_prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda")
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=256,
temperature=0.7,
repetition_penalty=1.2,
pad_token_id=tokenizer.eos_token_id
)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in
zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
# 联网搜索补充信息
search_result = search_web(f"{topic} 2025")
return response + "\n\n补充信息（来自百度）:\n" + search_result
# 4. 创建 PPT 文件（优化美观度）
def create_ppt(topic, content):
prs = Presentation()
print("Generated content:\n", content)
slides = content.split("Slide")[1:]
for slide_index, slide_text in enumerate(slides):
slide_lines = slide_text.strip().split("\n")
if not slide_lines:
continue
# 设置背景渐变（浅灰色到白色）
slide_layout = prs.slide_layouts[0 if "1:" in slide_text else 1]
slide = prs.slides.add_slide(slide_layout)
background = slide.background
fill = background.fill
fill.gradient()
fill.gradient_stops[0].color.rgb = RGBColor(240, 240, 240)
fill.gradient_stops[1].color.rgb = RGBColor(255, 255, 255)
# 添加占位符图片框（右侧）
left = Inches(6)
top = Inches(1.5)
width = Inches(3)
height = Inches(3)
slide.shapes.add_picture_placeholder(left=left, top=top, width=width, height=height)
if "1:" in slide_text:
# 标题页
title, subtitle = slide.shapes.title, slide.placeholders[1]
title.text = slide_lines[0].replace("1: Title Slide", "").strip()
subtitle.text = slide_lines[1].strip() if len(slide_lines) > 1 else " "
# 美化标题页（使用小米品牌色：橙色）
title.text_frame.paragraphs[0].font.size = Pt(44)
title.text_frame.paragraphs[0].font.color.rgb = RGBColor(255, 103, 0) # 小米橙色
title.text_frame.paragraphs[0].alignment = PP_ALIGN.CENTER
subtitle.text_frame.paragraphs[0].font.size = Pt(24)
subtitle.text_frame.paragraphs[0].font.color.rgb = RGBColor(89, 89, 89)
subtitle.text_frame.paragraphs[0].alignment = PP_ALIGN.CENTER
else:
# 内容页
title, body = slide.shapes.title, slide.placeholders[1]
title.text = slide_lines[0].strip()
# 格式化内容为要点
tf = body.text_frame
tf.clear()
for line in slide_lines[1:]:
if line.strip():
p = tf.add_paragraph()
p.text = line.strip()
p.level = 0 if not line.startswith("-") else 1
p.font.size = Pt(20)
p.font.color.rgb = RGBColor(0, 0, 0)
p.alignment = PP_ALIGN.LEFT
# 美化内容页
title.text_frame.paragraphs[0].font.size = Pt(32)
title.text_frame.paragraphs[0].font.color.rgb = RGBColor(255, 103, 0) # 小米橙色
# 在最后一页添加补充信息
if slide_index == len(slides) - 1 and "补充信息（来自百度）" in content:
search_content = content.split("补充信息（来自百度）:\n")[-1].strip()
if search_content and search_content != "未找到相关搜索结果":
left = Inches(0.5)
top = Inches(5.5)
width = Inches(9)
height = Inches(1.5)
textbox = slide.shapes.add_textbox(left, top, width, height)
tf = textbox.text_frame
tf.text = "补充信息（来自百度）:\n" + search_content
for p in tf.paragraphs:
p.font.size = Pt(14)
p.font.color.rgb = RGBColor(100, 100, 100)
p.alignment = PP_ALIGN.LEFT
output_file = f"{topic.replace(' ', '_')}_presentation.pptx"
prs.save(output_file)
return output_file
# 5. 主函数
def ppt_agent(topic):
content = generate_ppt_content(topic)
output_file = create_ppt(topic, content)
return content, output_file
# 6. Gradio 界面
with gr.Blocks(title="PPT 生成 Agent") as demo:
gr.Markdown("# 自动化 PPT 生成器")
gr.Markdown("输入主题，生成高质量 PPT 文件。基于 Qwen/QwQ-32B 和百度联网优化。")
topic_input = gr.Textbox(label="PPT 主题", placeholder="例如：小米汽车最新发布")
output_text = gr.Textbox(label="生成的内容", lines=10, interactive=False)
output_file = gr.File(label="下载 PPT 文件")
submit_btn = gr.Button("生成 PPT")
submit_btn.click(fn=ppt_agent, inputs=topic_input, outputs=[output_text, output_file])
demo.launch(server_name="0.0.0.0", server_port=7860)