根据pdf文档生成问答并进行评估
目标是根据pdf文档生成问答，并进行评估。首先，安装依靠
pip install PyPDF2 pandas tqdm openai -q
详细过程如下：
1、将pdf放在opeai_blog_pdfs目录下，引用依靠
https://i-blog.csdnimg.cn/direct/24750cab7ec24ec6af46fee5fb0f963c.png
2、上传pdf文件，创建向量库
https://i-blog.csdnimg.cn/direct/c664a5659ada42ac8cb864c99cc81f13.png
https://i-blog.csdnimg.cn/direct/038fd8143d0043a3a04b03573cfe8ede.png
3、单个提问的向量检索
https://i-blog.csdnimg.cn/direct/d3c89106ade843628aa1c6fa6a22f3b3.png
4、单个提问的检索效果
https://i-blog.csdnimg.cn/direct/4ced52a6b0df4aa0bf7440cd373b9230.png
https://i-blog.csdnimg.cn/direct/01923cead0074fd09e639755255307b8.png
5、生成问题列表，这里需要注意chunk的大小及重合。
https://i-blog.csdnimg.cn/direct/cbd223fe9980432a9794226a33ebe191.png
6、单个文档生成问题的过程
https://i-blog.csdnimg.cn/direct/1b5cf599aa464ca79c54f0a6da16f9b3.png
7、把所有文档的问题存在字典中
https://i-blog.csdnimg.cn/direct/a7e5fcac37b0462cb39babff408e9c56.png
8、把所有问题存储在rows列表中
https://i-blog.csdnimg.cn/direct/3df36bc5493945e08c2ae5b9f0c601a9.png
9、问答评估实现
https://i-blog.csdnimg.cn/direct/1dd0a974142e44638f9d7f912b7f60d6.png
https://i-blog.csdnimg.cn/direct/0cac63c8ec8048bb8dc5d9578002cf62.png
10、单个评估验证
https://i-blog.csdnimg.cn/direct/dcf62a4a0a034bb1b187b6353ceb8728.png
11、迭代评估问答
https://i-blog.csdnimg.cn/direct/3ea39fdc7b45401b8796ecc7c8aad9c2.png
https://i-blog.csdnimg.cn/direct/b8bf3f3f7c4842878d2944a51ecb933a.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]