马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
x
将长上下文大语言模子研究从输入转向输出
摘要:
近年来，长上下文大语言模子（LLMs）的研发主要集中在处置处罚更长的输入文本上，这使得模子在明白长篇内容时取得了显著进步。然而，天生长篇输出的研究却相对被忽视，而这一本领同样至关紧张。本文呼吁天然语言处置处罚（NLP）研究转向办理长输出天生的挑战。比方，小说创作、恒久规划和复杂推理等任务，不但需要模子明白大量上下文，还要求天生连贯、内容丰富且逻辑同等的长篇文本。这些需求袒露了当前大语言模子本领中的一个关键短板。我们强调了这一领域的巨大潜力，并倡导开辟专门优化长输出天生的高质量基础模子，以满足现实世界的应用需求。
1. 弁言
长上下文模子（输入端）的进展
近年来，长上下文大语言模子在扩展输入窗口长度方面发展迅速。从最初的 8K token（标记单位），到现在的 128K 甚至 100 万 token（OpenAI, 2024a; Anthropic, 2024; Reid et al., 2024b; GLM et al., 2024; Dubey et al., 2024），这种提升让模子在长上下文基准测试中的体现大幅进步（Kamradt, 2023; Bai et al., 2024b; Hsieh et al., 2024）。这为实际应用打开了新的大门，比方：
- 长文档处置处罚：总结冗长报告、基于整本书答复题目、分析多章节文档等任务变得更加可行（Bai et al., 2024b; An et al., 2024a; Hsieh et al., 2024; Vodrahalli et al., 2024; Reid et al., 2024b）。
现在，处置处罚长文本的本领已从一项“高级功能”演变为顶级大语言模子的基本要求。
为什么需要关注长输出？
只管长上下文模子的研究主要聚焦于输入端，但天生长篇输出的本领却未受到同等器重。这令人惊讶，由于需要天生连贯且内容丰富的长文本的应用场景越来越多。研究表明，现有模子在天生高出数千字的内容时，性能明显受限（Wu et al., 2024; Bai et al., 2024d; Ye et al., 2025; Tu et al., 2025）。本文提出，基础大语言模子的研究重点应转向长文本天生这一未被充分探索的领域。
一些实际应用场景，比方：
- 小说创作：需要天生高出 4000 token（约 2600 字）的连贯故事。
- 恒久规划：订定详细的计划或策略。
- 复杂推理：办理需要多步推理的长篇题目。
这些任务要求模子在明白广泛上下文的同时，输出高质量、逻辑同等的文本。我们将这类优化后的模子定义为长输出大语言模子（Long-Output LLMs）。
长输出模子为何被忽视？
长输出天生进展缓慢，主要有以下三大挑战：
- 数据稀缺 现有指令数据集大多由短输入-输出对组成，高质量的长输出数据集非常有限（Bai et al., 2024a; Xiong et al., 2024; Chen et al., 2023）。这限制了长输出模子的训练和应用。
- 任务复杂性 天生长篇内容（如小说或文章）需要在扩展的上下文中保持连贯性和逻辑性，远比短任务复杂（Wu et al., 2024; Yang et al., 2024; Tan et al., 2024）。
- 计算本钱 长文本天生的计算需求较高，有些架构中本钱呈线性增长（Gu & Dao, 2023; Dao et al., 2022）。别的，许多专有模子设有 token 限制（如 4096 或 8192 token），无法天生超长输出（OpenAI, n.d.; Anthropic, 2024; Reid et al., 2024a）。
这些挑战表明，长输出模子需要更有针对性的研究和创新。
为什么值得关注长输出领域？
办理长输出模子的挑战对现实世界意义庞大：
- 满足多领域需求 医疗、法律、教诲和媒体等领域需要长篇内容，如研究论文、法律文件和详细报告（Zhao et al., 2024b; Chiang et al., 2024）。长输出模子可自动化天生高质量内容，优化工作流程。
- 提升创造力与生产力 长输出模子可帮忙创作小说或学术论文，淘汰内容创作的时间，让专业人士专注于分析和创意任务（Atmakuru et al., 2024; Chiang et al., 2024）。
- 推进复杂推理 通过天生更长的输出空间，长输出模子能支持更深入的分析和复杂的推理过程。
总之，开辟真正的长输出基础模子是一个充满回报的研究方向。
专有名词解释
- KV-cache（键值缓存）：一种在 Transformer 模子中加快推理的技能，通过缓存之前的计算结果来淘汰重复计算。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
