河曲智叟 发表于 2024-7-24 06:29:00

GraphRAG参数与使用步骤 | 基于GPT-4o-mini实现更自制的知识图谱RAG

起首给兄弟朋友们展示一下结论,一个文本18万多字,txt文本大小185K,采用GraphRAG,GPT-4o-mini模型,索引耗时差不多5分钟,消耗API代价0.15美元



https://i-blog.csdnimg.cn/direct/d38d410f9e804aad9e92890a502be1ba.pnghttps://i-blog.csdnimg.cn/direct/426a613edd374dab841aa9192f856c2c.png



GraphRAG先容

GraphRAG是微软迩来开源的一款基于知识图谱技术的框架,重要应用于问答、择要和推理等方面。它的核心特点是将大型语言模型(LLMs)与知识图谱联合,从而可以或许从非结构化文本中提取结构化数据,并构建带有标签的知识图谱。
GraphRAG办理的标题重要是针对一些高层次、抽象或总结性标题,这些标题通常难以通过传统的检索增强天生(RAG)系统来答复。例如,它可以答复关于整个文本集合的主题这类标题,而不仅仅是针对特定文档的查询。
在技术实现上,GraphRAG起首利用LLM从文本中提取出实体、关系和其他相关信息,然后通过社区检测算法将知识图谱分别为多个模块化的社区。每个社区都包罗相关性较高的节点。接着,LLM会对这些社区进行择要,末了通过一种map-reduce方式,将全部相关的社区择要汇总成一个全局性的答案。
GraphRAG的开源,意味着大模型行业将迎来新的升级,特别是在问答、择要和推理方面。这个框架不仅提高了处理复杂标题的能力,还为多种应用场景提供了支持。
总的来说,GraphRAG是一个创新的框架,它通过联合知识图谱和大型语言模型,极大地增强了模型在处理复杂、抽象标题方面的能力,为AI范畴带来了新的发展机遇。
https://i-blog.csdnimg.cn/direct/d7198f0204424193becb91ef550512cb.png

https://i-blog.csdnimg.cn/direct/d5e81ade98384c12be4ff1f1b5810f8a.png
文档地址如下:
Welcome to GraphRAGhttps://csdnimg.cn/release/blog_editor_html/release2.3.6/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N7T8https://microsoft.github.io/graphrag/
1,安装 GraphRAG

pip install graphrag 安装过程中,可能会报这个错。(如果安装中没有报任何错,请跳转到第2步)
error: subprocess-exited-with-error
× Getting requirements to build wheel did not run successfully.
│ exit code: 1
╰─> See above for output.
https://i-blog.csdnimg.cn/direct/c97277a59e014fb0a4512d1e99e4d1b0.png

需要安装wheel,有些包依赖于 wheel 格式,因此你可以尝试先安装 wheel:
pip install wheel
偶然最新版本的包可能会有标题,尝试安装一个稳固的旧版本:
pip install fastparquet==2024.2.0 2、运行索引器

mkdir -p ./ragtest/input 3、将需要索引的知识库放到下面目次,定名为book.txt

./ragtest/input/book.txt 4、安装工作情况变量

python -m graphrag.index --init --root ./ragtest 5,设置.env文件和settings.yaml文件

其中.env文件需要填写openai的apikey
https://i-blog.csdnimg.cn/direct/edc5b17bba3343f094ccd760365affdf.png
settings.yaml中type需要改成openai_chat,model改成gpt-4o-mini
https://i-blog.csdnimg.cn/direct/421d23d767c0433e8bb66ac585974bcc.png
6,开始实行索引

python -m graphrag.index --root ./ragtest 安装过程如下
https://i-blog.csdnimg.cn/direct/e190031212ad4ae090de63ece034ae9e.png
当提示下图时,大概3-5分钟后,就安装完成了。
https://i-blog.csdnimg.cn/direct/0f3a391bd9cb4bd194a5c08116976467.png
7,对知识库进行提问

python -m graphrag.query --root ./ragtest --method global "What are the top themes in this story?" https://i-blog.csdnimg.cn/direct/ab682202d0414ab0b219cb8d36e0e464.png我把这个答复交给chatglm问了下,如下
https://i-blog.csdnimg.cn/direct/b0c0b6b424b446e7a7d7a33dab0cc208.png

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: GraphRAG参数与使用步骤 | 基于GPT-4o-mini实现更自制的知识图谱RAG