【llama_factory】qwen2_vl训练与批量推理

尚未崩坏  论坛元老 | 2025-3-26 20:18:38 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 1994|帖子 1994|积分 5982

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
训练llama factory设置文件

文件：examples/train_lora/qwen2vl_lora_sft.yaml
  1. ### model
  2. model_name_or_path: qwen2_vl/model_72b
  3. trust_remote_code: true
  5. ### method
  6. stage: sft
  7. do_train: true
  8. finetuning_type: lora
  9. lora_target: all
  11. ### dataset
  12. dataset: car_item  # video: mllm_video_demo
  13. template: qwen2_vl
  14. cutoff_len: 2048
  15. max_samples: 1000
  16. overwrite_cache: true
  17. preprocessing_num_workers: 16
  19. ### output
  20. output_dir: saves/qwen2_vl-72b/lora/sft
  21. logging_steps: 10
  22. save_steps: 500
  23. plot_loss: true
  24. overwrite_output_dir: true
  26. ### train
  27. per_device_train_batch_size: 1
  28. gradient_accumulation_steps: 1
  29. learning_rate: 1.0e-4
  30. num_train_epochs: 25.0
  31. lr_scheduler_type: cosine
  32. warmup_ratio: 0.1
  33. bf16: True
  34. ddp_timeout: 180000000
  35. deepspeed: examples/deepspeed/ds_z3_config.json
  36. #有坑，默认的配置文件没有设置deepspeed参数，会每张显卡都并行加载一个72B模型导致显卡OOM，经过查阅文献设置deepspeed分布式训练参数，有五种，训练大模型设置显存最低的，训练7b可以设置为ds_z0_config.json
  37. #ds_z0_config.json          ds_z2_config.json          ds_z2_offload_config.json  ds_z3_config.json          ds_z3_offload_config.json  
  38. ### eval
  39. val_size: 0.1
  40. per_device_eval_batch_size: 0
  41. eval_strategy: steps
  42. eval_steps: 500
复制代码
  1. llamafactory-cli train  examples/train_lora/qwen2vl_lora_sft.yaml
复制代码
批量推理

文件：examples/train_lora/qwen2vl_lora_sft.yaml
  1. ### model
  2. model_name_or_path: qwen2_vl/model_7b
  3. trust_remote_code: true
  4. # method
  5. stage: sft
  6. do_train: false
  7. do_predict: true
  8. predict_with_generate: true
  9. finetuning_type: full
  11. # dataset
  12. eval_dataset: car_item  #修改为测试集
  13. template: qwen2_vl
  14. cutoff_len: 2048
  15. max_samples: 200
  16. overwrite_cache: true
  17. preprocessing_num_workers: 16
  18. # output
  19. output_dir: saves/qwen2_vl-7b/lora/sft-infer-1 #修改为保存地址
  20. logging_steps: 1
  21. overwrite_output_dir: true
  23. # eval
  24. per_device_eval_batch_size: 4
  25. # generation
  26. max_new_tokens: 128
  27. temperature: 0.1
  28. top_k: 1
复制代码
  1. ```bash
  2. llamafactory-cli train  examples/train_lora/qwen2vl_lora_sft.yaml
复制代码
  1. # 总结
  2. 总的来说,训练时显存不足需要设置分布式训练方式，deepspeed。
  3. 推理时，设置eval_dataset eval相关参数。
  4. 另外数据集要进行预处理，搞成标准llama处理格式，加载到data/dataset_info.json中
  6. ```bash
  7. {
  8.   "identity": {
  9.     "file_name": "identity.json"
  10.   },
  11.   "alpaca_en_demo": {
  12.     "file_name": "alpaca_en_demo.json"
  13.   },
  14.   "alpaca_zh_demo": {
  15.     "file_name": "alpaca_zh_demo.json"
  16.   },
  17.   "glaive_toolcall_en_demo": {
  18.     "file_name": "glaive_toolcall_en_demo.json",
  19.     "formatting": "sharegpt",
  20.     "columns": {
  21.       "messages": "conversations",
  22.       "tools": "tools"
  23.     }
  24.   },
  25.   "glaive_toolcall_zh_demo": {
  26.     "file_name": "glaive_toolcall_zh_demo.json",
  27.     "formatting": "sharegpt",
  28.     "columns": {
  29.       "messages": "conversations",
  30.       "tools": "tools"
  31.     }
  32.   },
  33.    "car_item": {
  34.         "file_name": "car_item/train.json",
  35.         "columns": {
  36.           "images": "image",
  37.           "prompt": "instruction",
  38.           "query": "input",
  39.           "response": "output"
  40.         }
  41.   },
  42.   "mllm_demo": {
  43.     "file_name": "mllm_demo.json",
  44.     "formatting": "sharegpt",
  45.     "columns": {
  46.       "messages": "messages",
  47.       "images": "images"
  48.     },
  49.     "tags": {
  50.       "role_tag": "role",
  51.       "content_tag": "content",
  52.       "user_tag": "user",
  53.       "assistant_tag": "assistant"
  54.     }
  55.   },
  57.   "mllm_video_demo": {
  58.     "file_name": "mllm_video_demo.json",
  59.     "formatting": "sharegpt",
  60.     "columns": {
  61.       "messages": "messages",
  62.       "videos": "videos"
  63.     },
  64.     "tags": {
  65.       "role_tag": "role",
  66.       "content_tag": "content",
  67.       "user_tag": "user",
  68.       "assistant_tag": "assistant"
  69.     }
  70.   },
  71.   "alpaca_en": {
  72.     "hf_hub_url": "llamafactory/alpaca_en",
  73.     "ms_hub_url": "llamafactory/alpaca_en",
  74.     "om_hub_url": "HaM/alpaca_en"
  75.   },
  76.   "alpaca_zh": {
  77.     "hf_hub_url": "llamafactory/alpaca_zh",
  78.     "ms_hub_url": "llamafactory/alpaca_zh"
  79.   },
  80.   "alpaca_gpt4_en": {
  81.     "hf_hub_url": "llamafactory/alpaca_gpt4_en",
  82.     "ms_hub_url": "llamafactory/alpaca_gpt4_en"
  83.   },
  84.   "alpaca_gpt4_zh": {
  85.     "hf_hub_url": "llamafactory/alpaca_gpt4_zh",
  86.     "ms_hub_url": "llamafactory/alpaca_gpt4_zh",
  87.     "om_hub_url": "State_Cloud/alpaca-gpt4-data-zh"
  88.   },
  89.   "glaive_toolcall_en": {
  90.     "hf_hub_url": "llamafactory/glaive_toolcall_en",
  91.     "formatting": "sharegpt",
  92.     "columns": {
  93.       "messages": "conversations",
  94.       "tools": "tools"
  95.     }
  96.   },
  97.   "glaive_toolcall_zh": {
  98.     "hf_hub_url": "llamafactory/glaive_toolcall_zh",
  99.     "formatting": "sharegpt",
  100.     "columns": {
  101.       "messages": "conversations",
  102.       "tools": "tools"
  103.     }
  104.   },
  105.   "lima": {
  106.     "hf_hub_url": "llamafactory/lima",
  107.     "formatting": "sharegpt"
  108.   },
  109.   "guanaco": {
  110.     "hf_hub_url": "JosephusCheung/GuanacoDataset",
  111.     "ms_hub_url": "AI-ModelScope/GuanacoDataset"
  112.   },
  113.   "belle_2m": {
  114.     "hf_hub_url": "BelleGroup/train_2M_CN",
  115.     "ms_hub_url": "AI-ModelScope/train_2M_CN"
  116.   },
  117.   "belle_1m": {
  118.     "hf_hub_url": "BelleGroup/train_1M_CN",
  119.     "ms_hub_url": "AI-ModelScope/train_1M_CN"
  120.   },
  121.   "belle_0.5m": {
  122.     "hf_hub_url": "BelleGroup/train_0.5M_CN",
  123.     "ms_hub_url": "AI-ModelScope/train_0.5M_CN"
  124.   },
  125.   "belle_dialog": {
  126.     "hf_hub_url": "BelleGroup/generated_chat_0.4M",
  127.     "ms_hub_url": "AI-ModelScope/generated_chat_0.4M"
  128.   },
  129.   "belle_math": {
  130.     "hf_hub_url": "BelleGroup/school_math_0.25M",
  131.     "ms_hub_url": "AI-ModelScope/school_math_0.25M"
  132.   },
  133.   "belle_multiturn": {
  134.     "script_url": "belle_multiturn",
  135.     "formatting": "sharegpt"
  136.   },
  137.   "ultra_chat": {
  138.     "script_url": "ultra_chat",
  139.     "formatting": "sharegpt"
  140.   },
  141.   "open_platypus": {
  142.     "hf_hub_url": "garage-bAInd/Open-Platypus",
  143.     "ms_hub_url": "AI-ModelScope/Open-Platypus"
  144.   },
  145.   "codealpaca": {
  146.     "hf_hub_url": "sahil2801/CodeAlpaca-20k",
  147.     "ms_hub_url": "AI-ModelScope/CodeAlpaca-20k"
  148.   },
  149.   "alpaca_cot": {
  150.     "hf_hub_url": "QingyiSi/Alpaca-CoT",
  151.     "ms_hub_url": "AI-ModelScope/Alpaca-CoT"
  152.   },
  153.   "openorca": {
  154.     "hf_hub_url": "Open-Orca/OpenOrca",
  155.     "ms_hub_url": "AI-ModelScope/OpenOrca",
  156.     "columns": {
  157.       "prompt": "question",
  158.       "response": "response",
  159.       "system": "system_prompt"
  160.     }
  161.   },
  162.   "slimorca": {
  163.     "hf_hub_url": "Open-Orca/SlimOrca",
  164.     "formatting": "sharegpt"
  165.   },
  166.   "mathinstruct": {
  167.     "hf_hub_url": "TIGER-Lab/MathInstruct",
  168.     "ms_hub_url": "AI-ModelScope/MathInstruct",
  169.     "columns": {
  170.       "prompt": "instruction",
  171.       "response": "output"
  172.     }
  173.   },
  174.   "firefly": {
  175.     "hf_hub_url": "YeungNLP/firefly-train-1.1M",
  176.     "columns": {
  177.       "prompt": "input",
  178.       "response": "target"
  179.     }
  180.   },
  181.   "wikiqa": {
  182.     "hf_hub_url": "wiki_qa",
  183.     "columns": {
  184.       "prompt": "question",
  185.       "response": "answer"
  186.     }
  187.   },
  188.   "webqa": {
  189.     "hf_hub_url": "suolyer/webqa",
  190.     "ms_hub_url": "AI-ModelScope/webqa",
  191.     "columns": {
  192.       "prompt": "input",
  193.       "response": "output"
  194.     }
  195.   },
  196.   "webnovel": {
  197.     "hf_hub_url": "zxbsmk/webnovel_cn",
  198.     "ms_hub_url": "AI-ModelScope/webnovel_cn"
  199.   },
  200.   "nectar_sft": {
  201.     "hf_hub_url": "AstraMindAI/SFT-Nectar",
  202.     "ms_hub_url": "AI-ModelScope/SFT-Nectar"
  203.   },
  204.   "deepctrl": {
  205.     "ms_hub_url": "deepctrl/deepctrl-sft-data"
  206.   },
  207.   "adgen_train": {
  208.     "hf_hub_url": "HasturOfficial/adgen",
  209.     "ms_hub_url": "AI-ModelScope/adgen",
  210.     "split": "train",
  211.     "columns": {
  212.       "prompt": "content",
  213.       "response": "summary"
  214.     }
  215.   },
  216.   "adgen_eval": {
  217.     "hf_hub_url": "HasturOfficial/adgen",
  218.     "ms_hub_url": "AI-ModelScope/adgen",
  219.     "split": "validation",
  220.     "columns": {
  221.       "prompt": "content",
  222.       "response": "summary"
  223.     }
  224.   },
  225.   "sharegpt_hyper": {
  226.     "hf_hub_url": "totally-not-an-llm/sharegpt-hyperfiltered-3k",
  227.     "formatting": "sharegpt"
  228.   },
  229.   "sharegpt4": {
  230.     "hf_hub_url": "shibing624/sharegpt_gpt4",
  231.     "ms_hub_url": "AI-ModelScope/sharegpt_gpt4",
  232.     "formatting": "sharegpt"
  233.   },
  234.   "ultrachat_200k": {
  235.     "hf_hub_url": "HuggingFaceH4/ultrachat_200k",
  236.     "ms_hub_url": "AI-ModelScope/ultrachat_200k",
  237.     "formatting": "sharegpt",
  238.     "columns": {
  239.       "messages": "messages"
  240.     },
  241.     "tags": {
  242.       "role_tag": "role",
  243.       "content_tag": "content",
  244.       "user_tag": "user",
  245.       "assistant_tag": "assistant"
  246.     }
  247.   },
  248.   "agent_instruct": {
  249.     "hf_hub_url": "THUDM/AgentInstruct",
  250.     "ms_hub_url": "ZhipuAI/AgentInstruct",
  251.     "formatting": "sharegpt"
  252.   },
  253.   "lmsys_chat": {
  254.     "hf_hub_url": "lmsys/lmsys-chat-1m",
  255.     "ms_hub_url": "AI-ModelScope/lmsys-chat-1m",
  256.     "formatting": "sharegpt",
  257.     "columns": {
  258.       "messages": "conversation"
  259.     },
  260.     "tags": {
  261.       "role_tag": "role",
  262.       "content_tag": "content",
  263.       "user_tag": "human",
  264.       "assistant_tag": "assistant"
  265.     }
  266.   },
  267.   "evol_instruct": {
  268.     "hf_hub_url": "WizardLM/WizardLM_evol_instruct_V2_196k",
  269.     "ms_hub_url": "AI-ModelScope/WizardLM_evol_instruct_V2_196k",
  270.     "formatting": "sharegpt"
  271.   },
  272.   "glaive_toolcall_100k": {
  273.     "hf_hub_url": "hiyouga/glaive-function-calling-v2-sharegpt",
  274.     "formatting": "sharegpt",
  275.     "columns": {
  276.       "messages": "conversations",
  277.       "tools": "tools"
  278.     }
  279.   },
  280.   "cosmopedia": {
  281.     "hf_hub_url": "HuggingFaceTB/cosmopedia",
  282.     "columns": {
  283.       "prompt": "prompt",
  284.       "response": "text"
  285.     }
  286.   },
  287.   "stem_zh": {
  288.     "hf_hub_url": "hfl/stem_zh_instruction"
  289.   },
  290.   "ruozhiba_gpt4": {
  291.     "hf_hub_url": "hfl/ruozhiba_gpt4_turbo"
  292.   },
  293.   "neo_sft": {
  294.     "hf_hub_url": "m-a-p/neo_sft_phase2",
  295.     "formatting": "sharegpt"
  296.   },
  297.   "magpie_pro_300k": {
  298.     "hf_hub_url": "Magpie-Align/Magpie-Pro-300K-Filtered",
  299.     "formatting": "sharegpt"
  300.   },
  301.   "magpie_ultra": {
  302.     "hf_hub_url": "argilla/magpie-ultra-v0.1",
  303.     "columns": {
  304.       "prompt": "instruction",
  305.       "response": "response"
  306.     }
  307.   },
  308.   "web_instruct": {
  309.     "hf_hub_url": "TIGER-Lab/WebInstructSub",
  310.     "columns": {
  311.       "prompt": "question",
  312.       "response": "answer"
  313.     }
  314.   },
  315.   "openo1_sft": {
  316.     "hf_hub_url": "llamafactory/OpenO1-SFT",
  317.     "ms_hub_url": "llamafactory/OpenO1-SFT",
  318.     "columns": {
  319.       "prompt": "prompt",
  320.       "response": "response"
  321.     }
  322.   },
  323.   "llava_1k_en": {
  324.     "hf_hub_url": "BUAADreamer/llava-en-zh-2k",
  325.     "subset": "en",
  326.     "formatting": "sharegpt",
  327.     "columns": {
  328.       "messages": "messages",
  329.       "images": "images"
  330.     },
  331.     "tags": {
  332.       "role_tag": "role",
  333.       "content_tag": "content",
  334.       "user_tag": "user",
  335.       "assistant_tag": "assistant"
  336.     }
  337.   },
  338.   "llava_1k_zh": {
  339.     "hf_hub_url": "BUAADreamer/llava-en-zh-2k",
  340.     "subset": "zh",
  341.     "formatting": "sharegpt",
  342.     "columns": {
  343.       "messages": "messages",
  344.       "images": "images"
  345.     },
  346.     "tags": {
  347.       "role_tag": "role",
  348.       "content_tag": "content",
  349.       "user_tag": "user",
  350.       "assistant_tag": "assistant"
  351.     }
  352.   },
  353.   "llava_150k_en": {
  354.     "hf_hub_url": "BUAADreamer/llava-en-zh-300k",
  355.     "subset": "en",
  356.     "formatting": "sharegpt",
  357.     "columns": {
  358.       "messages": "messages",
  359.       "images": "images"
  360.     },
  361.     "tags": {
  362.       "role_tag": "role",
  363.       "content_tag": "content",
  364.       "user_tag": "user",
  365.       "assistant_tag": "assistant"
  366.     }
  367.   },
  368.   "llava_150k_zh": {
  369.     "hf_hub_url": "BUAADreamer/llava-en-zh-300k",
  370.     "subset": "zh",
  371.     "formatting": "sharegpt",
  372.     "columns": {
  373.       "messages": "messages",
  374.       "images": "images"
  375.     },
  376.     "tags": {
  377.       "role_tag": "role",
  378.       "content_tag": "content",
  379.       "user_tag": "user",
  380.       "assistant_tag": "assistant"
  381.     }
  382.   },
  383.   "pokemon_cap": {
  384.     "hf_hub_url": "llamafactory/pokemon-gpt4o-captions",
  385.     "formatting": "sharegpt",
  386.     "columns": {
  387.       "messages": "conversations",
  388.       "images": "images"
  389.     }
  390.   },
  391.   "mllm_pt_demo": {
  392.     "hf_hub_url": "BUAADreamer/mllm_pt_demo",
  393.     "formatting": "sharegpt",
  394.     "columns": {
  395.       "messages": "messages",
  396.       "images": "images"
  397.     },
  398.     "tags": {
  399.       "role_tag": "role",
  400.       "content_tag": "content",
  401.       "user_tag": "user",
  402.       "assistant_tag": "assistant"
  403.     }
  404.   },
  405.   "oasst_de": {
  406.     "hf_hub_url": "mayflowergmbh/oasst_de"
  407.   },
  408.   "dolly_15k_de": {
  409.     "hf_hub_url": "mayflowergmbh/dolly-15k_de"
  410.   },
  411.   "alpaca-gpt4_de": {
  412.     "hf_hub_url": "mayflowergmbh/alpaca-gpt4_de"
  413.   },
  414.   "openschnabeltier_de": {
  415.     "hf_hub_url": "mayflowergmbh/openschnabeltier_de"
  416.   },
  417.   "evol_instruct_de": {
  418.     "hf_hub_url": "mayflowergmbh/evol-instruct_de"
  419.   },
  420.   "dolphin_de": {
  421.     "hf_hub_url": "mayflowergmbh/dolphin_de"
  422.   },
  423.   "booksum_de": {
  424.     "hf_hub_url": "mayflowergmbh/booksum_de"
  425.   },
  426.   "airoboros_de": {
  427.     "hf_hub_url": "mayflowergmbh/airoboros-3.0_de"
  428.   },
  429.   "ultrachat_de": {
  430.     "hf_hub_url": "mayflowergmbh/ultra-chat_de"
  431.   },
  432.   "dpo_en_demo": {
  433.     "file_name": "dpo_en_demo.json",
  434.     "ranking": true,
  435.     "formatting": "sharegpt",
  436.     "columns": {
  437.       "messages": "conversations",
  438.       "chosen": "chosen",
  439.       "rejected": "rejected"
  440.     }
  441.   },
  442.   "dpo_zh_demo": {
  443.     "file_name": "dpo_zh_demo.json",
  444.     "ranking": true,
  445.     "formatting": "sharegpt",
  446.     "columns": {
  447.       "messages": "conversations",
  448.       "chosen": "chosen",
  449.       "rejected": "rejected"
  450.     }
  451.   },
  452.   "dpo_mix_en": {
  453.     "hf_hub_url": "llamafactory/DPO-En-Zh-20k",
  454.     "subset": "en",
  455.     "ranking": true,
  456.     "formatting": "sharegpt",
  457.     "columns": {
  458.       "messages": "conversations",
  459.       "chosen": "chosen",
  460.       "rejected": "rejected"
  461.     }
  462.   },
  463.   "dpo_mix_zh": {
  464.     "hf_hub_url": "llamafactory/DPO-En-Zh-20k",
  465.     "subset": "zh",
  466.     "ranking": true,
  467.     "formatting": "sharegpt",
  468.     "columns": {
  469.       "messages": "conversations",
  470.       "chosen": "chosen",
  471.       "rejected": "rejected"
  472.     }
  473.   },
  474.   "ultrafeedback": {
  475.     "hf_hub_url": "llamafactory/ultrafeedback_binarized",
  476.     "ms_hub_url": "llamafactory/ultrafeedback_binarized",
  477.     "ranking": true,
  478.     "columns": {
  479.       "prompt": "instruction",
  480.       "chosen": "chosen",
  481.       "rejected": "rejected"
  482.     }
  483.   },
  484.   "rlhf_v": {
  485.     "hf_hub_url": "llamafactory/RLHF-V",
  486.     "ranking": true,
  487.     "formatting": "sharegpt",
  488.     "columns": {
  489.       "messages": "conversations",
  490.       "chosen": "chosen",
  491.       "rejected": "rejected",
  492.       "images": "images"
  493.     }
  494.   },
  495.   "vlfeedback": {
  496.     "hf_hub_url": "Zhihui/VLFeedback",
  497.     "ranking": true,
  498.     "formatting": "sharegpt",
  499.     "columns": {
  500.       "messages": "conversations",
  501.       "chosen": "chosen",
  502.       "rejected": "rejected",
  503.       "images": "images"
  504.     }
  505.   },
  506.   "orca_pairs": {
  507.     "hf_hub_url": "Intel/orca_dpo_pairs",
  508.     "ranking": true,
  509.     "columns": {
  510.       "prompt": "question",
  511.       "chosen": "chosen",
  512.       "rejected": "rejected",
  513.       "system": "system"
  514.     }
  515.   },
  516.   "hh_rlhf_en": {
  517.     "script_url": "hh_rlhf_en",
  518.     "ranking": true,
  519.     "columns": {
  520.       "prompt": "instruction",
  521.       "chosen": "chosen",
  522.       "rejected": "rejected",
  523.       "history": "history"
  524.     }
  525.   },
  526.   "nectar_rm": {
  527.     "hf_hub_url": "AstraMindAI/RLAIF-Nectar",
  528.     "ms_hub_url": "AI-ModelScope/RLAIF-Nectar",
  529.     "ranking": true
  530.   },
  531.   "orca_dpo_de": {
  532.     "hf_hub_url": "mayflowergmbh/intel_orca_dpo_pairs_de",
  533.     "ranking": true
  534.   },
  535.   "kto_en_demo": {
  536.     "file_name": "kto_en_demo.json",
  537.     "formatting": "sharegpt",
  538.     "columns": {
  539.       "messages": "messages",
  540.       "kto_tag": "label"
  541.     },
  542.     "tags": {
  543.       "role_tag": "role",
  544.       "content_tag": "content",
  545.       "user_tag": "user",
  546.       "assistant_tag": "assistant"
  547.     }
  548.   },
  549.   "kto_mix_en": {
  550.     "hf_hub_url": "argilla/kto-mix-15k",
  551.     "formatting": "sharegpt",
  552.     "columns": {
  553.       "messages": "completion",
  554.       "kto_tag": "label"
  555.     },
  556.     "tags": {
  557.       "role_tag": "role",
  558.       "content_tag": "content",
  559.       "user_tag": "user",
  560.       "assistant_tag": "assistant"
  561.     }
  562.   },
  563.   "ultrafeedback_kto": {
  564.     "hf_hub_url": "argilla/ultrafeedback-binarized-preferences-cleaned-kto",
  565.     "ms_hub_url": "AI-ModelScope/ultrafeedback-binarized-preferences-cleaned-kto",
  566.     "columns": {
  567.       "prompt": "prompt",
  568.       "response": "completion",
  569.       "kto_tag": "label"
  570.     }
  571.   },
  572.   "wiki_demo": {
  573.     "file_name": "wiki_demo.txt",
  574.     "columns": {
  575.       "prompt": "text"
  576.     }
  577.   },
  578.   "c4_demo": {
  579.     "file_name": "c4_demo.json",
  580.     "columns": {
  581.       "prompt": "text"
  582.     }
  583.   },
  584.   "refinedweb": {
  585.     "hf_hub_url": "tiiuae/falcon-refinedweb",
  586.     "columns": {
  587.       "prompt": "content"
  588.     }
  589.   },
  590.   "redpajama_v2": {
  591.     "hf_hub_url": "togethercomputer/RedPajama-Data-V2",
  592.     "columns": {
  593.       "prompt": "raw_content"
  594.     },
  595.     "subset": "default"
  596.   },
  597.   "wikipedia_en": {
  598.     "hf_hub_url": "olm/olm-wikipedia-20221220",
  599.     "ms_hub_url": "AI-ModelScope/olm-wikipedia-20221220",
  600.     "columns": {
  601.       "prompt": "text"
  602.     }
  603.   },
  604.   "wikipedia_zh": {
  605.     "hf_hub_url": "pleisto/wikipedia-cn-20230720-filtered",
  606.     "ms_hub_url": "AI-ModelScope/wikipedia-cn-20230720-filtered",
  607.     "columns": {
  608.       "prompt": "completion"
  609.     }
  610.   },
  611.   "pile": {
  612.     "hf_hub_url": "monology/pile-uncopyrighted",
  613.     "ms_hub_url": "AI-ModelScope/pile",
  614.     "columns": {
  615.       "prompt": "text"
  616.     }
  617.   },
  618.   "skypile": {
  619.     "hf_hub_url": "Skywork/SkyPile-150B",
  620.     "ms_hub_url": "AI-ModelScope/SkyPile-150B",
  621.     "columns": {
  622.       "prompt": "text"
  623.     }
  624.   },
  625.   "fineweb": {
  626.     "hf_hub_url": "HuggingFaceFW/fineweb",
  627.     "columns": {
  628.       "prompt": "text"
  629.     }
  630.   },
  631.   "fineweb_edu": {
  632.     "hf_hub_url": "HuggingFaceFW/fineweb-edu",
  633.     "columns": {
  634.       "prompt": "text"
  635.     }
  636.   },
  637.   "the_stack": {
  638.     "hf_hub_url": "bigcode/the-stack",
  639.     "ms_hub_url": "AI-ModelScope/the-stack",
  640.     "columns": {
  641.       "prompt": "content"
  642.     }
  643.   },
  644.   "starcoder_python": {
  645.     "hf_hub_url": "bigcode/starcoderdata",
  646.     "ms_hub_url": "AI-ModelScope/starcoderdata",
  647.     "columns": {
  648.       "prompt": "content"
  649.     },
  650.     "folder": "python"
  651.   }
  652. }
复制代码
合并

  1. llamafactory-cli export   examples/merge_lora/qwen2vl_lora_sft.yaml
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

尚未崩坏

论坛元老
这个人很懒什么都没写!

楼主热帖

标签云

渠道 国产数据库 集成商 AI 运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表