ToB企服应用市场:ToB评测及商务社交产业平台

标题: Python 知识图谱补全，Knowledge Graph Completion，基于大模型的知识图谱 [打印本页]

作者: 火影 时间: 2024-6-27 07:06
标题: Python 知识图谱补全，Knowledge Graph Completion，基于大模型的知识图谱

本日讲一篇文章《Exploring Large Language Models for Knowledge Graph Completion》，这篇文章主题：基于大模型做知识图谱补全
1.文章主要思想：

本章描述知识图谱补全中的三个任务：三元组分类、关系预测和实体(链接)预测，以及怎样将它们转换为简单的提示问题，以供LLM完成任务。

三元组分类。给定一个三元组(h, r, t)，任务是将其分类为正确或不正确。例如，给定三元组< 史蒂夫·乔布斯，成立，苹果公司 >，任务是将其分类为正确的。答案会是“这是真的吗：史蒂夫·乔布斯创立了苹果公司?”LLM的抱负输出是“Yes, this is true”。
关系预测。 给定一个头实体和一个尾实体，任务是预测它们之间的关系。例如，给定头
部实体“Steve Jobs”和尾部实体“Apple Inc.”，任务是预测它们的关系是“创建的”。提示的情势是“史蒂夫·乔布斯和苹果公司之间是什么关系?”请从以下选项中选择你的答案:出生在|创立|是|的公民...... |为。”人们期望的回答是:“史蒂夫·乔布斯创立了苹果公司。”
实体(链接)预测。 给定头部实体和关系，任务是预测与头部实体相关的尾部实体。给定尾部实体和关系，任务是预测头部实体。例如，给定头部实体“Steve Jobs”和关系“founded”，任务是预测尾部实体“Apple Inc.”。如果问尾部实体，提示的情势是“史蒂夫·乔布斯创立了”，如果问头部实体，提示的情势是“什么/谁/何时/何地/为什么创立了苹果公司?”抱负的回答是“史蒂夫·乔布斯创立了苹果公司。”部实体“Steve Jobs”和尾部实体“Apple Inc.”，任务是预测它们的关系是“创建的”。提示的情势是“什么/谁/何时/何地/为什么创立了苹果公司?”抱负的回答是“史蒂夫·乔布斯创立了苹果公司。”
  2 本文方法

接纳模型：KG-ChatGLM-6B和KG-LLaMA (7B和13B)
  1. p-tuning v2微调ChatGLM-6B
  2. 用LoRA微调LLaMA-7B和13B
  3 实验设置

4 实验结果

5. 代码实战

GitHub - yao8839836/kg-llm: Exploring large language models for knowledge graph completion
installing requirement packages

pip install -r requirements_chatglm.txt

复制代码

  1.DATA

  (1) The four KGs we used as well as entity and relation descriptions are in ./data.
  (2) The input files for LLMs are also in each folder of ./data, see train_instructions_llama.json and train_instructions_glm.json as examples.
  (3) The output files of our models are also in each folder of ./data, see pred_instructions_llama13b.csv and generated_predictions.txt (from ChatGLM-6B) as examples.
2. LLaMA fine-tuning and inference examples

  Firstly, put LLaMA model files under models/LLaMA-HF/ and ChatGLM-6b model files under models/chatglm-6b/.
  In our experiments, we utilized an A100 GPU for all LLaMA models and a V100 GPU for all ChatGLM models.

python lora_finetune_wn11.py

复制代码

python lora_finetune_yago_rel.py

复制代码

python lora_infer_wn11.py

复制代码

python lora_infer_yago_rel.py

复制代码

3. ChatGLM fine-tuning and inference examples

python ptuning_main.py --do_train --train_file data/YAGO3-10/train_instructions_glm_rel.json --validation_file data/YAGO3-10/test_instructions_glm_rel.json --prompt_column prompt --response_column response --overwrite_cache --model_name_or_path models/chatglm-6b --output_dir models/yago-rel-chatglm-6b --overwrite_output_dir --max_source_length 230 --max_target_length 20 --per_device_train_batch_size 1 --per_device_eval_batch_size 1 --gradient_accumulation_steps 16 --predict_with_generate --max_steps 80000 --logging_steps 300 --save_steps 10000 --learning_rate 1e-2 --pre_seq_len 8 --quantization_bit 4
python ptuning_main.py --do_predict --validation_file data/YAGO3-10/test_instructions_glm_rel.json --test_file data/YAGO3-10/test_instructions_glm_rel.json --overwrite_cache --prompt_column prompt --response_column response --model_name_or_path models/yago-rel-chatglm-6b/checkpoint-10000 --output_dir /data/YAGO3-10/glm_r_result --overwrite_output_dir --max_source_length 230 --max_target_length 20 --per_device_eval_batch_size 1 --predict_with_generate --pre_seq_len 8 --quantization_bit 4
4. Raw LLaMA inference

python test_llama_fb13.py
末了，感谢作者的良好文章！各人加油！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)