利用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序 ...

利用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序

从大量文本中解锁正确且富有洞察力的答案是大型语言模型 (LLM) 所实现的一项令人高兴的功能。在构建 LLM 应用程序时，通常必要毗连和查询外部数据源以为模型提供相关上下文。一种流行的方法是利用检索增强生成（RAG）来创建问答体系，该体系可以明白复杂的信息并对查询提供天然的响应。 RAG 允许模型利用巨大的知识库，并为谈天呆板人和企业搜索助手等应用程序提供雷同人类的对话。
在这篇文章中，将探讨怎样利用LlamaIndex、Llama 2-70B-Chat和LangChain的强大功能来构建强大的问允许用程序。借助这些开始辈的技能，LLM可以提取文本语料库、索引关键知识并生成正确、清晰地回答用户题目的文本。以下产品均可在亚马逊云科技海外区免费试用，链接:https://aws.amazon.com/cn/free/
Llama 2-70B-谈天

Llama 2-70B-Chat 是一个强大的大语言模型，可与领先模型竞争。它颠末了 2 万亿个文本标志的预训练，Meta 打算将其用于为用户提供谈天帮助。预训练数据来源于公开数据，截止日期为 2022 年 9 月，微调数据截止日期为 2023 年 7 月。有关模型训练过程、安全注意事项、学习内容和预期用途的更多详细信息，请参阅论文Llama 2 ：开放底子和微调谈天模型。 Llama 2 模型可在Amazon SageMaker JumpStart上利用，以实现快速、简单的摆设。
LlamaIndex

LlamaIndex是一个可以构建 LLM 应用程序的数据框架。它提供的工具提供数据毗连器，以各种来源和格式（PDF、文档、API、SQL 等）摄取现有数据。无论LLM的数据存储在数据库照旧 PDF 中，LlamaIndex 都可以让LLM轻松地将这些数据用于LLM。正如在这篇文章中所演示的，LlamaIndex API 使数据访问变得绝不费力，并使LLM能够创建强大的自定义 LLM 应用程序和工作流程。
如果LLM正在尝试和构建 LLM，LLM大概会熟悉 LangChain，它提供了一个强大的框架，简化了 LLM 支持的应用程序的开发和摆设。与LangChain雷同，LlamaIndex提供了许多工具，包罗数据毗连器、数据索引、引擎和数据署理，以及工具和可观察性、追踪性和评估性等应用集成。 LlamaIndex 致力于弥合数据和强大的LLM之间的差距，通过用户友爱的功能简化数据任务。 LlamaIndex 专为构建搜索和检索应用程序（比方 RAG）而计划和优化，因为它提供了一个用于查询 LLM 和检索相关文档的简单界面。
解决方案概述

在这篇文章中，演示怎样利用 LlamaIndex 和 LLM 创建基于 RAG 的应用程序。下图显示了以下各节中概述的该解决方案的分步架构。

RAG 将信息检索与天然语言生成相联合，以产生更有洞察力的响应。出现提示时，RAG 起首搜索文本语料库以检索与输入最相关的示例。在响应生成过程中，模型会思量这些示例来增强其功能。通过合并相关检索到的段落，与基本生成模型相比，RAG 响应往往更加真实、连贯且与上下文一致。这种检索-生成框架利用了检索和生成的优势，有助于解决纯自回归会话模型大概出现的重复和缺乏上下文等题目。 RAG 引入了一种有效的方法来构建对话署理和人工智能助手，并提供情境化的高质量响应。
构建解决方案包罗以下步骤：

• 将Amazon SageMaker Studio设置为开发环境并安装所需的依赖项。
  
• 从 Amazon SageMaker JumpStart 中心摆设嵌入模型。
  
• 下载新闻稿作为的外部知识库。
  
• 根据新闻稿构建索引，以便能够查询并将其作为附加上下文添加到提示中。
  
• 查询知识库。
  
• 利用 LlamaIndex 和 LangChain 署理构建问允许用程序。
  

先决条件

在此示例中，LLM必要一个具有 SageMaker 域和得当的亚马逊云科技 Identity and Access Management (IAM) 权限的亚马逊云科技 账户。有关账户设置阐明，请参阅创建 亚马逊云科技 账户。如果LLM还没有 SageMaker 域，请参阅Amazon SageMaker 域概述来创建一个。在本文中，利用AmazonSageMakerFullAccess角色。不发起LLM在生产环境中利用此凭据。相反，LLM应该创建并利用具有最低权限的角色。LLM还可以探索怎样利用Amazon SageMaker Role Manager直接通过 SageMaker 控制台构建和管理基于角色的 IAM 角色，以满足常见的呆板学习需求。
此外，LLM至少必要访问以下实例大小：

• ml.g5.2xlarge用于摆设Hugging Face GPT-J文本嵌入模型时的端点利用
  
• ml.g5.48xlarge用于摆设 Llama 2-Chat 模型端点时的端点利用
  

要增加配额，请参阅请求增加配额。
利用 SageMaker JumpStart 摆设 GPT-J 嵌入模型

本部门为LLM提供摆设 SageMaker JumpStart 模型时的两个选项。LLM可以利用提供的代码举行基于代码的摆设，或利用 SageMaker JumpStart 用户界面 (UI)。
利用 SageMaker Python SDK 举行摆设

LLM可以利用 SageMaker Python SDK 来摆设 LLM，如存储库中提供的代码所示。完成以下步骤：

• 利用以下命令设置用于摆设嵌入模型的实例大小instance_type = "ml.g5.2xlarge"
  
• 找到用于嵌入的模型的 ID。在 SageMaker JumpStart 中，它被标识为model_id = "huggingface-textembedding-gpt-j-6b-fp16"
  
• 检索预先训练的模型容器并将其摆设以举行推理。
  

成功摆设嵌入模型后，SageMaker 将返回模型端点的名称和以下消息：
在 SageMaker Studio 中利用 SageMaker JumpStart 举行摆设

要在 Studio 中利用 SageMaker JumpStart 摆设模型，请完成以下步骤：

• 在 SageMaker Studio 控制台上，在导航窗格中选择 JumpStart。
  
  
  
  
• 搜索并选择 GPT-J 6B Embedding FP16 型号。
  
• 选择摆设并自定义摆设设置。
  
  
  
  
• 对于此示例，必要一个 ml.g5.2xlarge 实例，这是 SageMaker JumpStart 发起的默认实例。
  
• 再次选择摆设以创建端点。
  

端点约莫必要 5-10 分钟才气投入利用。

摆设嵌入模型后，为了利用 LangChain 与 SageMaker API 的集成，LLM必要创建一个函数来处理输入（原始文本）并利用模型将其转换为嵌入。LLM可以通过创建一个名为 的类来完成此操纵ContentHandler，该类担当输入数据的 JSON，并返回文本嵌入的 JSON：class ContentHandler(EmbeddingsContentHandler).
将模型端点名称转达给ContentHandler函数以转换文本并返回嵌入：

1. embeddings = SagemakerEndpointEmbeddings(endpoint_name='huggingface-textembedding-gpt-j-6b-fp16', region_name= aws_region, content_handler=emb_content_handler).

复制代码

LLM可以在 SDK 的输出或 SageMaker JumpStart UI 的摆设详细信息中找到端点名称。
LLM可以通过输入一些原始文本并运行函数来测试ContentHandler函数和端点是否按预期工作embeddings.embed_query(text)。LLM可以利用提供的示例text = "Hi! It's time for the beach"或尝试LLM自己的文本。
利用 SageMaker JumpStart 摆设和测试 Llama 2-Chat

如今LLM可以摆设能够与用户举行交互式对话的模型。在本例中，选择 Llama 2-chat 模型之一，该模型通过以下方式识别

1. my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")

复制代码

该模型必要利用 摆设到实时端点predictor = my_model.deploy()。 SageMaker 将返回模型的端点名称，LLM可以将其用作endpoint_name稍后引用的变量。
LLM定义一个print_dialogue函数来将输入发送到谈天模型并吸收其输出响应。有效负载包含模型的超参数，其中包罗：

• max_new_tokens – 指模型可以在其输出中生成的最大令牌数。
  
• top_p – 指模型在生成输出时可以保留的令牌的累积概率
  
• 温度– 指模型生成的输出的随机性。温度大于 0 或便是 1 会增加随机性级别，而温度为 0 将生成最有大概的标志。
  

LLM应该根据LLM的用例选择超参数并对其举行得当的测试。 Llama 系列等型号要求LLM包含一个附加参数，表明LLM已阅读并担当终极用户许可协议 (EULA)：

1. response = predictor.predict(payload, custom_attributes='accept_eula=true')

复制代码

要测试模型，请更换输入有效负载的内容部门："content": "what is the recipe of mayonnaise?"。LLM可以利用自己的文本值并更新超参数以更好地明白它们。
与嵌入模型的摆设雷同，LLM可以利用 SageMaker JumpStart UI 摆设 Llama-70B-Chat：

• 在 SageMaker Studio 控制台上，在导航窗格中选择JumpStart
  
• 搜索并选择Llama-2-70b-Chat model
  
• 担当 EULA 并选择Deploy，再次利用默认实例
  

与嵌入模型雷同，LLM可以通过为谈天模型的输入和输出创建内容处理程序模板来利用 LangChain 集成。在这种情况下，LLM将输入定义为来自用户的输入，并指示它们受system prompt.它system prompt告知模型其在帮助用户处理特定用例方面的作用。
除了上述超参数和自定义属性（EULA 担当）之外，调用模型时还会转达此内容处理程序。LLM可以利用以下代码剖析全部这些属性：

1. llm = SagemakerEndpoint(
2.         endpoint_name=endpoint_name,
3.         region_name="us-east-1",
4.         model_kwargs={"max_new_tokens":500, "top_p": 0.1, "temperature": 0.4, "return_full_text": False},
5.         content_handler=content_handler,
6.         endpoint_kwargs = {"CustomAttributes": "accept_eula=true"}
7.     )

复制代码

当端点可用时，LLM可以测试它是否按预期工作。LLM可以llm("what is amazon sagemaker?")利用自己的文本举行更新。LLM还必要定义ContentHandler利用 LangChain 调用 LLM 的具体内容，如代码和以下代码片断所示：

1. class ContentHandler(LLMContentHandler):
2.     content_type = "application/json"
3.     accepts = "application/json"
4.     def transform_input(self, prompt: str, model_kwargs: dict) -> bytes:
5.             payload = {
6.                 "inputs": [
7.                     [
8.                         {
9.                             "role": "system",
10.                             "content": system_prompt,
11.                         },
12.                         {"role": "user", "content": prompt},
13.                     ],
14.                 ],
15.                 "parameters": model_kwargs,
16.             }
17.             input_str = json.dumps(
18.                 payload,
19.             )
20.             return input_str.encode("utf-8")
21.    
22.     def transform_output(self, output: bytes) -> str:
23.             response_json = json.loads(output.read().decode("utf-8"))
24.             content = response_json[0]["generation"]["content"]
25.             return content
26.         
27. content_handler = ContentHandler()

复制代码

利用 LlamaIndex 构建 RAG

要继续，致意装 LlamaIndex 以创建 RAG 应用程序。LLM可以利用 pip 安装 LlamaIndex：pip install llama_index
LLM起首必要将数据（知识库）加载到 LlamaIndex 上以举行索引。这涉及几个步骤：

• 选择数据加载器：
  

LlamaIndex 在LlamaHub上提供了许多可用的数据毗连器，适用于 JSON、CSV 和文本文件等常见数据类型以及其他数据源，允许LLM提取各种数据集。在这篇文章中，利用SimpleDirectoryReader代码中所示的方式提取一些 PDF 文件。的数据样本是代码存储库中新闻稿文件夹中的两份 PDF 版本的 Amazon 新闻稿。加载 PDF 后，LLM可以看到它们已转换为包含 11 个元素的列表。
DocumentLLM还可以将对象转换为Node对象，然后再将其发送到索引，而不是直接加载文档。选择将整个Document对象发送到索引照旧Node在索引之前将 Document 转换为对象取决于LLM的具体用例和数据布局。对于长文档，节点方法通常是一个不错的选择，在这种情况下，LLM想要分解和检索文档的特定部门而不是整个文档。有关更多信息，请参阅文档/节点。

• 实例化加载器并加载文档：
  

此步骤初始化加载器类和任何所需的设置，比方是否忽略隐藏文件。有关更多详细信息，请参阅SimpleDirectoryReader。

• 调用加载器的load_data方法来剖析源文件和数据，并将它们转换为 LlamaIndex Document 对象，准备索引和查询。LLM可以利用以下代码，利用 LlamaIndex 的索引和检索功能完玉成文搜索的数据摄取和准备：
  

1. docs = SimpleDirectoryReader(input_dir="pressrelease").load_data()

复制代码

• 建立索引：
  

LlamaIndex 的关键特性是它能够在数据上构建有组织的索引，这些数据体现为文档或节点。索引有助于有效地查询数据。利用默认的内存向量存储和定义的设置设置来创建索引。 LlamaIndex Settings是一个设置对象，为 LlamaIndex 应用程序中的索引和查询操纵提供常用资源和设置。它充当单例对象，因此它允许LLM设置全局设置，同时还允许LLM通过将特定组件直接转达到利用它们的接口（比方 LLM、嵌入模型）来本地覆盖特定组件。当未显式提供特定组件时，LlamaIndex 框架会回退到对象中定义的设置Settings作为全局默认值。要将的嵌入和 LLM 模型与 LangChain 一起利用并设置，Settings必要安装llama_index.embeddings.langchain和llama_index.llms.langchain。可以Settings像下面的代码一样设置该对象：

1. Settings.embed_model = LangchainEmbedding(embeddings)
2. Settings.llm = LangChainLLM(llm)

复制代码

默认情况下，利用作为默认存储上下文的一部门初始化的VectorStoreIndex内存中。SimpleVectorStore在现实生活中的利用案例中，LLM经常必要毗连到外部矢量存储，比方Amazon OpenSearch Service。有关更多详细信息，请参阅Amazon OpenSearch Serverless 的矢量引擎。

1. index = VectorStoreIndex.from_documents(docs, service_context=service_context)

复制代码

如今，LLM可以利用 LlamaIndex 中的query_engine对文档运行问答。为此，请转达LLM之前为查询创建的索引并提出LLM的题目。查询引擎是查询数据的通用接口。它采用天然语言查询作为输入并返回丰富的响应。查询引擎通常利用检索器构建在一个或多个索引之上。

1. query_engine = index.as_query_engine() print(query_engine.query("Since migrating to AWS in May, how much in operational cost Yellow.ai has reduced?"))

复制代码

LLM可以看到 RAG 解决方案能够从提供的文档中检索正确的答案：

1. According to the provided information, Yellow.ai has reduced its operational costs by 20% since migrating to AWS in May

复制代码

利用LangChain工具和署理

Loader班级。该加载器旨在将数据加载到 LlamaIndex 中或随后作为LangChain 署理中的工具。这为LLM提供了更多功能和灵活性，可以将其用作应用程序的一部门。起首从 LangChain 署理类定义LLM的工具。LLM转达给工具的函数会查询LLM利用 LlamaIndex 在文档上构建的索引。

1. tools = [
2.     Tool(
3.         name="Pressrelease",
4.         func=lambda q: str(index.as_query_engine().query(q)),
5.         description="useful pressreleases for answering relevnat questions",
6.         return_direct=True,
7.     ),
8. ]

复制代码

然后，LLM选择要用于 RAG 实行的正确署理类型。在这种情况下，LLM可以利用chat-zero-shot-react-description署理。通过此署理，LLM 将利用可用的工具（在本例中为知识库上的 RAG）来提供响应。然后，LLM可以通过转达工具、LLM 和署理类型来初始化署理：

1. agent= initialize_agent(tools, llm, agent="chat-zero-shot-react-description", verbose=True)

复制代码

LLM可以看到署理正在通过thoughts、actions、 和observation，利用该工具（在本场景中，查询LLM的索引文档）；并返回效果：

1. 'According to the provided press release, Yellow.ai has reduced its operational costs by 20%, driven performance improvements by 15%, and cut infrastructure costs by 10% since migrating to AWS. However, the specific cost savings from the migration are not mentioned in the provided information. It only states that the company has been able to reinvest the savings into innovation and AI research and development.'

复制代码

清理

为了避免不须要的成本，LLM可以通过以下代码片断或 Amazon JumpStart UI 清理资源。
要利用Boto3 SDK，请利用以下代码删除文本嵌入模型端点和文本生成模型端点以及端点设置：

1. client = boto3.client('sagemaker', region_name=aws_region)
2. client.delete_endpoint(EndpointName=endpoint_name)
3. client.delete_endpoint_config(EndpointConfigName=endpoint_configuration)

复制代码

要利用 SageMaker 控制台，请完成以下步骤：

• 在 SageMaker 控制台的导航窗格中的推理下，选择端点
  
• 搜索嵌入和文本生成端点。
  
• 在端点详细信息页面上，选择删除。
  
• 再次选择删除举行确认。
  

结论

对于专注于搜索和检索的用例，LlamaIndex 提供了灵活的功能。它擅长为LLM建立索引和检索，使其成为深度探索数据的强大工具。 LlamaIndex 使LLM能够创建有组织的数据索引、利用不同的 LLM、增强数据以得到更好的 LLM 性能以及利用天然语言查询数据。
这篇文章演示了一些关键的 LlamaIndex 概念和功能。利用 GPT-J 举行嵌入，并利用 Llama 2-Chat 作为 LLM 来构建 RAG 应用程序，但LLM可以利用任何合适的模型。LLM可以探索 SageMaker JumpStart 上提供的全面的模型。
还展示了 LlamaIndex 怎样提供强大、灵活的工具来毗连、索引、检索数据以及与 LangChain 等其他框架集成数据。通过 LlamaIndex 集成和 LangChain，LLM可以构建更强大、更通用、更有洞察力的 LLM 应用程序。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。