Python 知识图谱补全，Knowledge Graph Completion，基于大模型的知识图谱
https://img-blog.csdnimg.cn/direct/7cfa09dc1be04b109e853014c33deb9a.png本日讲一篇文章《Exploring Large Language Models for Knowledge Graph Completion》 ，这篇文章主题：基于大模型做知识图谱补全
1.文章主要思想：
本章描述知识图谱补全中的三个任务：三元组分类、关系预测和实体(链接)预测，以及怎样将它们转换为简单的提示问题，以供LLM完成任务。
三元组分类。 给定一个三元组(h, r, t)，任务是将其分类为正确或不正确。例如，给定三元组< 史蒂夫·乔布斯，成立，苹果公司 >，任务是将其分类为正确的。答案会是“这是真的吗：史蒂夫·乔布斯创立了苹果公司?”LLM的抱负输出是“Yes, this is true”。
关系预测。 给定一个头实体和一个尾实体，任务是预测它们之间的关系。例如，给定头
部实体“Steve Jobs”和尾部实体“Apple Inc.”，任务是预测它们的关系是“创建的”。提示的情势是“史蒂夫·乔布斯和苹果公司之间是什么关系?”请从以下选项中选择你的答案:出生在|创立|是|的公民...... |为。”人们期望的回答是:“史蒂夫·乔布斯创立了苹果公司。”
实体(链接)预测。 给定头部实体和关系，任务是预测与头部实体相关的尾部实体。给定尾部实体和关系，任务是预测头部实体。例如，给定头部实体“Steve Jobs”和关系“founded”，任务是预测尾部实体“Apple Inc.”。如果问尾部实体，提示的情势是“史蒂夫·乔布斯创立了”，如果问头部实体，提示的情势是“什么/谁/何时/何地/为什么创立了苹果公司?”抱负的回答是“史蒂夫·乔布斯创立了苹果公司。”部实体“Steve Jobs”和尾部实体“Apple Inc.”，任务是预测它们的关系是“创建的”。提示的情势是“什么/谁/何时/何地/为什么创立了苹果公司?”抱负的回答是“史蒂夫·乔布斯创立了苹果公司。”
2 本文方法
接纳模型：KG-ChatGLM-6B和KG-LLaMA (7B和13B)
1. p-tuning v2微调ChatGLM-6B
2. 用LoRA微调LLaMA-7B和13B
3 实验设置
https://img-blog.csdnimg.cn/direct/a68cbf3f76304f5fad3213d94da24a6c.png
https://img-blog.csdnimg.cn/direct/4699f21e4810434babb6688da9c15077.png
4 实验结果
https://img-blog.csdnimg.cn/direct/8f58807e157d4adeab290c1924a0a8b9.png
5. 代码实战
GitHub - yao8839836/kg-llm: Exploring large language models for knowledge graph completion
installing requirement packages
pip install -r requirements_chatglm.txt 1.DATA
(1) The four KGs we used as well as entity and relation descriptions are in ./data.
(2) The input files for LLMs are also in each folder of ./data, see train_instructions_llama.json and train_instructions_glm.json as examples.
(3) The output files of our models are also in each folder of ./data, see pred_instructions_llama13b.csv and generated_predictions.txt (from ChatGLM-6B) as examples.
2. LLaMA fine-tuning and inference examples
Firstly, put LLaMA model files under models/LLaMA-HF/ and ChatGLM-6b model files under models/chatglm-6b/.
In our experiments, we utilized an A100 GPU for all LLaMA models and a V100 GPU for all ChatGLM models.
python lora_finetune_wn11.py python lora_finetune_yago_rel.py python lora_infer_wn11.py python lora_infer_yago_rel.py 3. ChatGLM fine-tuning and inference examples
python ptuning_main.py --do_train --train_file data/YAGO3-10/train_instructions_glm_rel.json --validation_file data/YAGO3-10/test_instructions_glm_rel.json --prompt_column prompt --response_column response --overwrite_cache --model_name_or_path models/chatglm-6b --output_dir models/yago-rel-chatglm-6b --overwrite_output_dir --max_source_length 230 --max_target_length 20 --per_device_train_batch_size 1 --per_device_eval_batch_size 1 --gradient_accumulation_steps 16 --predict_with_generate --max_steps 80000 --logging_steps 300 --save_steps 10000 --learning_rate 1e-2 --pre_seq_len 8 --quantization_bit 4
python ptuning_main.py --do_predict --validation_file data/YAGO3-10/test_instructions_glm_rel.json --test_file data/YAGO3-10/test_instructions_glm_rel.json --overwrite_cache --prompt_column prompt --response_column response --model_name_or_path models/yago-rel-chatglm-6b/checkpoint-10000 --output_dir /data/YAGO3-10/glm_r_result --overwrite_output_dir --max_source_length 230 --max_target_length 20 --per_device_eval_batch_size 1 --predict_with_generate --pre_seq_len 8 --quantization_bit 4
4. Raw LLaMA inference
python test_llama_fb13.py
末了，感谢作者的良好文章！各人加油！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]