检索生成(RAG) vs 长文本大模子：实际应用中怎样选择？
编者按：大模子的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的体现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows)和检索加强生成(RAG)。这两种技术各有何优势？在实际应用中，我们又该怎样权衡选择？文章不仅详细阐述了这两种技术的工作原理，还深入分析了它们在效率、准确性和实施成本等方面的差异。文章特别提到了在执行重复性任务时使用 Context Caching 优化长上下文的优势，然而，缓存计谋的效果很大程度上取决于提示词的可推测性。假如用户输入变化无常，缓存的效果大概会大打扣头。
本文可供各位读者进行技术选型时参考，期待未来看到更多提升 LLMs 上下文理解能力的创新方案。
大语言模子（Large Language Models ，LLMs）技术正飞速发展，尤其是模子在生成文本时能够处置惩罚的上下文信息量极速提升。尽管 LLMs 在文本的处置惩罚和生成等方面体现出色，但它们却面临一个固有的挑衅：难以捕捉信息背景全貌，尤其是在应对冗长对话或涉及多重细节的复杂任务时。为相识决这一问题，研究人员引入了长上下文（Large context windows）和检索加强生成（Retrieval-Augmented Generation ，RAG）两种技术。这两种技术各有千秋，选择哪种取决于具体的应用需求。下面，我们将探讨为何提升模子的上下文理解能力云云重要。
上下文（Context）的重要性：
让我们设想一下一样寻常生活中的对话场景。要理解对方此刻的话语，我们需要回首之前的对话内容。如若大语言模子（LLMs）缺乏必要的上下文理解能力，在这方面大概会“头疼”。本文认为上下文非常重要，有如下几点来由：
[*]能够保持对话的连贯性：在一样寻常对话交谈中，假如有人突然提到“那只狗
页:
[1]