Ragas自动化评测团体后端流程

生成答案流程

• 接口输入
  

• 助手 ID agent_id
  
• 语料库 ID dataset_id
  
• 可选的：问题 ID 的数组 questions
  

• 流程步调
  
  
  • 根据 agent_id 查询对应 Dify 助手 ID
    
    
    
    • 调用接口，根据传入的 agent_id 获取对应的 dify 助手 ID。
      
    
    
  • 查询所有问题 ID
    
    
    
    • 根据语料库 ID 查询所有相关问题的 ID。
      
    • 如果传入了特定的问题 ID 数组，则只查询这些特定的问题。
      
    
    
  • 根据问题 ID 查询问题详情
    
    
    
    • 获取每个问题的详细信息
      
    
    
  • 创建测试轮
    
    
    
    • 创建一个新的测试轮，记录当前助手 ID 和语料库 ID，并生成测试轮 ID。
      
    
    
  • **根据 dify 助手 ID 查询 **api_key
    
    
    
    • 使用 dify 助手 ID 查询对应的 api_key，用于后续调用 Dify API。
      
    
    
  • 创建 Celery 任务
    
    
    
    • 将问题详情、api_key 和 测试轮 ID 传递给 Celery 任务，举行并发处理。
      
    
    
  • 返回测试轮 id test_run_id
    
  
  

Celery 逻辑

• 根据问题创建线程
  
  
  
  • 为每个问题创建一个线程来处理。目前最大并发 10 个
    
  
  
• 创建测试轮效果
  
  
  
  • 在数据库中创建一个空的测试轮效果条目，并获取其 ID。
    
  
  
• 根据问题调用 AI 接口返回答案
  
  
  
  • 使用 api_key 调用 Dify AI 接口，传入问题并获取 AI 的回答。
    
  
  
• 根据答案、测试轮效果 ID 修改测试轮效果
  
  
  
  • 将 AI 返回的答案更新到对应的测试轮效果中。
    
  
  
• 错误处理
  
  
  
  • 轮询判定每一个任务，将错误任务举行标注
    
  
  
• 所有问题处理完后修改测试轮 note 字段
  
  
  
  • 根据任务团体情况更改 note 字段 具体状态 （举行中、已完成、出错）
    
  
  

---

生成评分流程

• 接口输入
  

• 测试轮 ID test_run_id
  

• 流程步调
  
  
  • 根据测试轮 ID 获取所有用果 ID
    
    
    
    • 查询指定测试轮中所有的测试效果 ID。
      
    
    
  • 根据效果 ID 列出测试轮效果详情
    
    
    
    • 获取每个效果的详细信息，包罗问题、标答、AI 回答、上下文等。
      
    
    
  • 创建 Celery 任务
    
    
    
    • 将测试轮效果详情传递给 Celery 任务，举行并发处理。
      
    
    
  • 任务提交乐成
    
    
    
    • { “meg”: “提交乐成”}
      
    
    
  
  

Celery 逻辑

• 根据测试轮效果详情创建线程
  
  
  
  • 为每个测试效果创建一个线程举行评分处理。
    
  
  
• 创建测试轮评分效果数据
  
  
  
  • 在数据库中创建一个空的测试轮评分效果条目，并获取其 ID。
    
  
  
• 根据详情的 question_id 字段获取标答
  
  
  
  • 获取每个问题的标答内容，用于评分参数的构建。
    
  
  
• 构建评分参数
  
  
  
  • 使用问题、标答、AI 回答、上下文等信息构建评分参数。
    
  
  
• 根据返回的评分细节、测试轮效果 ID、测试轮评分 ID 修改测试轮评分
  
  
  
  • 将评分细节更新到对应的测试轮评分效果中。
    
  
  
• 错误处理
  
  
  
  • 轮询判定每一个任务，将错误任务举行标注
    
  
  
• 所有问题处理完后修改测试轮 note 字段
  
  
  
  • 根据任务团体情况更改 note 字段 具体状态 （举行中、已完成、出错）
    
  
  

---

重跑答案流程

• 接口输入
  

• 测试轮 ID test_run_id
  
• 问题 ID questions
  
• 测试论效果 ID test_result_id
  

• 流程步调
  
  
  • 根据 agent_id 查询对应 Dify 助手 ID
    
    
    
    • 调用接口，根据传入的 agent_id 获取对应的 dify 助手 ID。
      
    
    
  • 根据问题 ID 查询问题详情
    
    
    
    • 获取每个问题的详细信息
      
    
    
  • **根据 dify 助手 ID 查询 **api_key
    
    
    
    • 使用 dify 助手 ID 查询对应的 api_key，用于后续调用 Dify API。
      
    
    
  • 创建 Celery 任务
    
    
    
    • 将问题详情、api_key 和 测试轮 ID 传递给 Celery 任务，举行并发处理。
      
    
    
  • 返回测试轮 id test_run_id
    
  
  

Celery 逻辑

• 根据问题创建线程
  
  
  
  • 为每个问题创建一个线程来处理。目前最大并发 10 个
    
  
  
• 根据问题调用 AI 接口返回答案
  
  
  
  • 使用 api_key 调用 Dify AI 接口，传入问题并获取 AI 的回答。
    
  
  
• 根据答案、测试轮效果 ID 修改测试轮效果
  
  
  
  • 将 AI 返回的答案更新到对应的测试轮效果中。
    
  
  
• 错误处理
  
  
  
  • 轮询判定每一个任务，将错误任务举行标注
    
  
  
• 所有问题处理完后修改测试轮 note 字段
  
  
  
  • 根据任务团体情况更改 note 字段 具体状态 （举行中、已完成、出错）
    
  
  

---

重跑评分流程

• 接口输入
  

• 测试轮 ID test_run_id
  
• 测试论效果 ID test_result_id
  
• 评分效果 ID ragas_score_id
  

• 流程步调
  
  
  • 根据测试轮效果 ID 列出测试轮效果详情
    
    
    
    • 获取每个效果的详细信息，包罗问题、标答、AI 回答、上下文等。
      
    
    
  • 创建 Celery 任务
    
    
    
    • 将测试轮效果详情传递给 Celery 任务，举行并发处理。
      
    
    
  • 任务提交乐成
    
    
    
    • { “meg”: “提交乐成”}
      
    
    
  
  

Celery 逻辑

• 根据测试轮效果详情创建线程
  
  
  
  • 为每个测试效果创建一个线程举行评分处理。
    
  
  
• 根据详情的 question_id 字段获取标答
  
  
  
  • 获取每个问题的标答内容，用于评分参数的构建。
    
  
  
• 构建评分参数
  
  
  
  • 使用问题、标答、AI 回答、上下文等信息构建评分参数。
    
  
  
• 根据返回的评分细节、测试轮效果 ID、测试轮评分 ID 修改测试轮评分
  
  
  
  • 将评分细节更新到对应的测试轮评分效果中。
    
  
  
• 错误处理
  
  
  
  • 轮询判定每一个任务，将错误任务举行标注
    
  
  
• 所有问题处理完后修改测试轮 note 字段
  
  
  
  • 根据任务团体情况更改 note 字段 具体状态 （举行中、已完成、出错）
    
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。