《LlamaIndex 之美》-01-LLM、Prompt、Embedding基础入门
在基于数据构建任何 LLM 应用程序时，选择合适的大型语言模型 （LLM） 是您需要思量的首要步骤之一。LLM 是 LlamaIndex 的核心组成部分。它们可以作为独立模块利用，也可以插入到其他核心 LlamaIndex 模块（索引、检索器、查询引擎）中。
LlamaIndex 提供了一个同一的接口来定义 LLM 模块，支持对接世面上多种LLM大模型本领。
[*]支持文本完成和聊天端点
[*]支持流式处置惩罚和非流式处置惩罚终结点
[*]支持同步和异步端点
本Llamaindex系列文章利用的模型是阿里的灵积平台
Llamaindex 对接 QWen LLM
在Llamaindex中利用LLM很简朴，在这里你可以看到目前Llamaindex已经支持的LLM范例，下面我将利用QWen模型实现一个入门案例。
[*]安装干系依赖
# 引入灵积平台依赖
!pip install llama-index-llms-dashscope --quiet
# 加载环境变量
!pip install python-dotenv --quiet
[*]初始化模型Client对象
from llama_index.llms.dashscope import DashScope, DashScopeGenerationModels
from dotenv import load_dotenv
# 加载环境变量
load_dotenv()
dashscope_llm = DashScope(
model_name=DashScopeGenerationModels.QWEN_TURBO,
max_tokens=1000,
enable_search=False,
temperature=0.2
)
关于如何利用dotenv，可以参考文章《揭秘python-dotenv:那些鲜为人知的实用窍门》
[*]构建complete回话
# 同步输出
resp = dashscope_llm.complete("你好！")
print(resp)
[*]构建stream会话
# 流式输出
responses = dashscope_llm.stream_complete("你好！")
for response in responses:
print(response.delta, end="")
[*]构建Chat会话
# chat 模型会话
from llama_index.core.base.llms.types import MessageRole, ChatMessage
messages = [
ChatMessage(
role=MessageRole.SYSTEM, content="你是一个AI智能机器人"
),
ChatMessage(role=MessageRole.USER, content="你好。"),
]
resp = dashscope_llm.chat(messages)
print(resp)
[*]构建多轮会话
# 多轮对话
messages = [
ChatMessage(
role=MessageRole.SYSTEM, content="你是一个AI智能机器人"
),
ChatMessage(role=MessageRole.USER, content="你好。"),
]
# first round
resp = dashscope_llm.chat(messages)
print(resp)
# add response to messages.
messages.append(
ChatMessage(role=MessageRole.ASSISTANT, content=resp.message.content)
)
messages.append(
ChatMessage(role=MessageRole.USER, content="如何制作一个蛋糕？")
)
# second round
resp = dashscope_llm.chat(messages)
print(resp)
LLamaindex 设置Prompt
在LLamaindex中利用Prompt就像创建格式字符串一样简朴，
from llama_index.core import PromptTemplate
template = (
"我提供的上下文内容如下： \n"
"---------------------\n"
"{context_str}"
"\n---------------------\n"
"基于给出的内容，回答一下问题: {query_str}\n"
)
qa_template = PromptTemplate(template)
context_str = """
重达3000吨、总长超70米、20层楼高度，又一“大国重器”成功问世！此“重器”的诞生也标志我国自研冲破西方“壁垒”。
据悉，这个形状酷似“茅台“的国器是目前世界上最大的加氢反应器，其在石油工业中的地位“媲美芯片”。
不少西方国家对于此项技术给出高价，但我们表示：100%中国制造，永不出售！
"""
query_str = "总结一下加氢反应器？"
# you can create text prompt (for completion API)
prompt = qa_template.format(context_str=context_str, query_str=query_str)
print(prompt)
# or easily convert to message prompts (for chat API)
messages = qa_template.format_messages(context_str=context_str, query_str=query_str)
print(messages)
除此之外你还可以定义Chat格式的Prompt
from llama_index.core import ChatPromptTemplate
from llama_index.core.llms import ChatMessage, MessageRole
message_templates = [
ChatMessage(content="You are an expert system.", role=MessageRole.SYSTEM),
ChatMessage(
content="Generate a short story about {topic}",
role=MessageRole.USER,
),
]
chat_template = ChatPromptTemplate(message_templates=message_templates)
# you can create message prompts (for chat API)
messages = chat_template.format_messages(topic="狼来了")
print(messages)
# or easily convert to text prompt (for completion API)
prompt = chat_template.format(topic="狼来了")
print(prompt)
Llamaindex 支持 Embedding
Embedding是一种将离散数据映射到连续空间的表现方法。在天然语言处置惩罚中，Embedding技术可以将单词、句子等文本数据转化为低维向量，从而捕获文本的语义信息。
在LlamaIndex中，嵌入用于将文本数据映射到语义空间，使得相似的文本在向量空间中靠近。这种表现方式对于语义搜索、文本分类和信息检索等使命至关重要。通过嵌入，LlamaIndex可以或许理解和处置惩罚文本的细微差异，从而提供更精准和个性化的服务。
LlamaIndex利用Embedding技术实现文本向量的天生，详细步骤如下：
（1）预处置惩罚：对文本进行清洗、切块等处置惩罚。
（2）构建Embedding模型：利用预训练的Embedding模型，如Word2Vec、BERT等，将文本转化为向量。
（3）向量存储与搜索：与LLM应用雷同，将向量存储到向量数据库中，并进行相似度检索。
目前，LLamaindex已经支持了很多Embedding模型，你可以在这里查看，本次Embedding利用的是灵积平台中的Embedding模型。
[*]文件内容Embedding
# imports
from llama_index.embeddings.dashscope import (
DashScopeEmbedding,
DashScopeTextEmbeddingModels,
DashScopeTextEmbeddingType,
)
# Create embeddings
# text_type=`document` to build index
embedder = DashScopeEmbedding(
model_name=DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2,
text_type=DashScopeTextEmbeddingType.TEXT_TYPE_DOCUMENT,
)
text_to_embedding = ["风急天高猿啸哀", "渚清沙白鸟飞回", "无边落木萧萧下", "不尽长江滚滚来"]
# Call text Embedding
result_embeddings = embedder.get_text_embedding_batch(text_to_embedding)
# requests and embedding result index is correspond to.
for index, embedding in enumerate(result_embeddings):
if embedding is None:# if the correspondence request is embedding failed.
print("The %s embedding failed." % text_to_embedding)
else:
print("Dimension of embeddings: %s" % len(embedding))
print(
"Input: %s, embedding is: %s"
% (text_to_embedding, embedding[:5])
)
[*]查询Embedding
# imports
from llama_index.embeddings.dashscope import (
DashScopeEmbedding,
DashScopeTextEmbeddingModels,
DashScopeTextEmbeddingType,
)
# Create embeddings
# text_type=`query` to retrieve relevant context.
embedder = DashScopeEmbedding(
model_name=DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2,
text_type=DashScopeTextEmbeddingType.TEXT_TYPE_QUERY,#指定对查询问题进行Embedding
)
# Call text Embedding
embedding = embedder.get_text_embedding("骆驼祥子这本书讲了什么？")
print(f"Dimension of embeddings: {len(embedding)}")
print(embedding[:5])
后面的章节将会继承说明如何将向量化的内容存储到向量数据库中，以及如何对向量化结果进行Retrieval。
末了
本篇文章仅带着大家熟悉一下LLamaindex的LLM、Prompt以及Embedding干系功能，实际上你会发现LLamaindex的本领和Langchain是非常相似的，甚至LLamaindex可以和Langchain一起利用。
后面咱们会着重研究一下基于LLamaindex搭建利用RAG加强的ChatBot，以及干系的组件本领。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]