LLM（大语言模子）——Springboot集成文心一言、讯飞星火、通义千问、智谱 ...

悠扬随风  金牌会员 | 2024-6-14 23:59:42 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 537|帖子 537|积分 1611

目录
引言
代码完整地点
入参
 出参
Controller
Service
Service实现类
 模子Service
 入参转换类
文心一言实现类
讯飞星火实现类
 通义千问实现类
智谱清言实现类

引言

   本文将介绍怎样利用Java语言，结合Spring Boot框架，集成国内热门大模子API，包括文心一言、讯飞星火、通义千问、智谱清言。
  在开始前，请确保您已经按照各模子官网的指引，完成了相应的资源申请和设置。这些资源是调用大模子API的必要凭据，务必妥善保管。接下来，我们将通过具体的代码示例和步调说明，引导您完成Spring Boot项目和大模子API集成。
  代码完整地点

https://github.com/wangsilingwsl/model-integrate.git
入参

  1. package com.wsl.model.llm.api.dto;
  3. import com.alibaba.fastjson.JSONObject;
  4. import io.swagger.annotations.ApiModelProperty;
  5. import lombok.Data;
  7. import javax.validation.constraints.NotNull;
  8. import java.io.Serializable;
  9. import java.util.List;
  11. /**
  12. * 聊天请求 DTO
  13. *
  14. * @author wsl
  15. * @date 2024/2/20
  16. */
  17. @Data
  18. public class ChatRequestDTO implements Serializable {
  20.     private static final long serialVersionUID = 1L;
  22.     @ApiModelProperty(value = "聊天上下文信息", notes = "（1）最后一个message为当前请求的信息，前面的message为历史对话信息\n" +
  23.             "（2）成员数目必须为奇数\n" +
  24.             "（3）示例中message中的role值分别为user、assistant；奇数位message中的role值为user；偶数位值为assistant",
  25.             example = "[{"role":"user","content":"你好"},{"role":"assistant","content":"需要什么帮助"},{"role":"user","content":"自我介绍下"}]")
  26.     @NotNull(message = "聊天上下文信息不能为空")
  27.     private List<MessageDTO> messages;
  29.     @ApiModelProperty(value = "模型人设", notes = "主要用于人设设定,例如，你是xxx公司制作的AI助手，最大20000字符", example = "你是一名天气助手，需要提供天气查询服务")
  30.     private String system;
  32.     @ApiModelProperty(value = "请求参数", notes = "请求参数", example = "{"key":"value"}")
  33.     private JSONObject params;
  34. }
复制代码

  1. package com.wsl.model.llm.api.dto;
  3. import io.swagger.annotations.ApiModelProperty;
  4. import lombok.AllArgsConstructor;
  5. import lombok.Data;
  7. import java.io.Serializable;
  9. /**
  10. * 消息 DTO
  11. *
  12. * @author wsl
  13. * @date 2024/2/20
  14. */
  15. @Data
  16. @AllArgsConstructor
  17. public class MessageDTO implements Serializable {
  19.     private static final long serialVersionUID = 1L;
  21.     @ApiModelProperty(value = "角色", notes = "说明: user-用户, assistant-助手", example = "user")
  22.     private String role;
  24.     @ApiModelProperty(value = "消息内容", notes = "说明: 消息内容", example = "你好")
  25.     private String content;
  27. }
复制代码
 出参

  1. package com.wsl.model.llm.api.vo;
  3. import io.swagger.annotations.ApiModelProperty;
  4. import lombok.Data;
  6. import java.io.Serializable;
  8. /**
  9. * 聊天响应 VO
  10. *
  11. * @author wsl
  12. * @date 2024/2/20
  13. */
  14. @Data
  15. public class ChatResponseVO implements Serializable {
  17.     private static final long serialVersionUID = 1L;
  19.     @ApiModelProperty(value = "结果", notes = "结果")
  20.     private String result;
  22. }
复制代码
Controller

  1. package com.wsl.model.llm.api.controller;
  3. import com.wsl.model.llm.api.dto.ChatRequestDTO;
  4. import com.wsl.model.llm.api.service.IAiAppService;
  5. import com.wsl.model.llm.api.vo.ChatResponseVO;
  6. import io.swagger.annotations.Api;
  7. import io.swagger.annotations.ApiOperation;
  8. import io.swagger.annotations.ApiParam;
  9. import lombok.extern.slf4j.Slf4j;
  10. import org.springframework.beans.factory.annotation.Autowired;
  11. import org.springframework.web.bind.annotation.*;
  13. /**
  14. * AI应用Controller
  15. *
  16. * @author wsl
  17. * @date 2024/02/19
  18. */
  19. @Slf4j
  20. @RestController
  21. @Api(tags = "AI应用")
  22. @RequestMapping("/llm/middle")
  23. public class AiAppController {
  25.     @Autowired
  26.     private IAiAppService service;
  28.     @PostMapping("/chat-message")
  29.     @ApiOperation("向大模型发起对话请求")
  30.     public ChatResponseVO chatMessage(
  31.             @ApiParam(value = "模型类型(ErnieBot/SparkDesk/ChatGlm/QianWen)", required = true) @RequestParam String modelType,
  32.             @ApiParam(value = "消息参数", required = true) @RequestBody ChatRequestDTO dto) {
  33.         try {
  34.             return service.chatMessage(modelType, dto);
  35.         } catch (Exception e) {
  36.             throw new RuntimeException(e);
  37.         }
  38.     }
  40. }
复制代码
Service

  1. package com.wsl.model.llm.api.service;
  3. import com.wsl.model.llm.api.dto.ChatRequestDTO;
  4. import com.wsl.model.llm.api.vo.ChatResponseVO;
  6. /**
  7. * AI应用Service
  8. *
  9. * @author wsl
  10. * @date 2024/02/19
  11. */
  12. public interface IAiAppService {
  14.     /**
  15.      * 向大模型发起对话请求-根据模型编码、用户ID
  16.      *
  17.      * @param modelType 模型类型
  18.      * @param dto       消息参数
  19.      * @return ChatResponseVO
  20.      * @throws Exception 异常
  21.      */
  22.     ChatResponseVO chatMessage(String modelType, ChatRequestDTO dto) throws Exception;
  24. }
复制代码
Service实现类

  1. package com.wsl.model.llm.api.service.impl;
  3. import cn.hutool.core.collection.CollUtil;
  4. import cn.hutool.core.util.StrUtil;
  5. import cn.hutool.extra.spring.SpringUtil;
  6. import com.wsl.model.llm.api.constant.enums.ModelTypeEnum;
  7. import com.wsl.model.llm.api.dto.ChatRequestDTO;
  8. import com.wsl.model.llm.api.dto.MessageDTO;
  9. import com.wsl.model.llm.api.service.IAiAppService;
  10. import com.wsl.model.llm.api.service.ModelService;
  11. import com.wsl.model.llm.api.vo.ChatResponseVO;
  12. import org.springframework.stereotype.Service;
  14. import java.util.List;
  16. /**
  17. * AI应用ServiceImpl
  18. *
  19. * @author wsl
  20. * @date 2024/02/19
  21. */
  22. @Service("aiAppService")
  23. public class AiAppServiceImpl implements IAiAppService {
  25.     @Override
  26.     public ChatResponseVO chatMessage(String modelType, ChatRequestDTO dto) throws Exception {
  27.         this.checkMessages(dto.getMessages());
  28.         // 根据枚举类ModelTypeEnum中的枚举值判断模型类型，并调用对应的模型实现类的方法
  29.         ModelService modelService = getModelService(modelType);
  30.         return modelService.chatMessage(dto);
  31.     }
  33.     /**
  34.      * 检查消息参数是否符合规范
  35.      *
  36.      * @param messages 消息参数
  37.      */
  38.     private void checkMessages(List<MessageDTO> messages) {
  39.         if (CollUtil.isNotEmpty(messages)) {
  40.             // messages参数个数必须为奇数并且奇数个数的消息role必须为user，偶数个数的消息role必须为assistant
  41.             if (messages.size() % 2 == 0) {
  42.                 throw new RuntimeException("messages参数个数必须为奇数");
  43.             }
  44.             for (int i = 0; i < messages.size(); i++) {
  45.                 if (i % 2 == 0) {
  46.                     if (!"user".equals(messages.get(i).getRole())) {
  47.                         throw new RuntimeException("messages奇数参数的role必须为user");
  48.                     }
  49.                 } else {
  50.                     if (!"assistant".equals(messages.get(i).getRole())) {
  51.                         throw new RuntimeException("messages偶数参数的role必须为assistant");
  52.                     }
  53.                 }
  54.             }
  55.         }
  56.     }
  59.     /**
  60.      * 根据模型类型获取对应的模型服务
  61.      *
  62.      * @param modelType 模型类型
  63.      * @return 模型服务
  64.      */
  65.     private ModelService getModelService(String modelType) {
  66.         try {
  67.             // 将模型类型字符串转换为枚举值
  68.             ModelTypeEnum modelTypeEnum = ModelTypeEnum.valueOf(modelType);
  69.             // 根据枚举值获取对应的实现类Bean的名称
  70.             String beanName = modelTypeEnum.name();
  71.             beanName = StrUtil.toCamelCase(beanName) + "Service";
  72.             return SpringUtil.getBean(beanName);
  73.         } catch (IllegalArgumentException e) {
  74.             throw new RuntimeException("模型类型错误");
  75.         }
  76.     }
  78. }
复制代码
 模子Service

  1. package com.wsl.model.llm.api.service;
  3. import com.wsl.model.llm.api.dto.ChatRequestDTO;
  4. import com.wsl.model.llm.api.vo.ChatResponseVO;
  6. /**
  7. * 模型服务
  8. *
  9. * @author wsl
  10. * @date 2024/2/19
  11. */
  12. public interface ModelService {
  14.     /**
  15.      * 发起请求
  16.      *
  17.      * @param dto 请求参数
  18.      * @return 返回值
  19.      * @throws Exception 异常
  20.      */
  21.     ChatResponseVO chatMessage(ChatRequestDTO dto) throws Exception;
  23. }
复制代码
 入参转换类

  1. package com.wsl.model.llm.api.convert;
  3. import cn.hutool.core.bean.BeanUtil;
  4. import cn.hutool.core.collection.CollUtil;
  5. import cn.hutool.core.util.StrUtil;
  6. import com.alibaba.fastjson.JSONObject;
  7. import com.wsl.model.llm.api.dto.*;
  8. import org.mapstruct.Mapper;
  9. import org.mapstruct.factory.Mappers;
  11. import java.util.ArrayList;
  12. import java.util.List;
  14. /**
  15. * 聊天请求转换器
  16. *
  17. * @author wsl
  18. * @date 2024/2/22
  19. */
  20. @Mapper
  21. public interface ChatRequestConvert {
  23.     ChatRequestConvert INSTANCE = Mappers.getMapper(ChatRequestConvert.class);
  25.     /**
  26.      * 通用请求转换为文心一言请求
  27.      *
  28.      * @param dto 通用请求
  29.      * @return 文心一言请求
  30.      */
  31.     default JSONObject convertErnieBot(ChatRequestDTO dto) {
  32.         ErnieBotDTO ernieBotDTO = new ErnieBotDTO();
  33.         ernieBotDTO.setMessages(dto.getMessages());
  34.         ernieBotDTO.setSystem(dto.getSystem());
  36.         JSONObject jsonObject = new JSONObject();
  37.         BeanUtil.copyProperties(ernieBotDTO, jsonObject);
  38.         BeanUtil.copyProperties(dto.getParams(), jsonObject);
  39.         return jsonObject;
  40.     }
  42.     /**
  43.      * 通用请求转换为通义千问请求
  44.      *
  45.      * @param dto 通用请求
  46.      * @return 通义千问请求
  47.      */
  48.     default QianWenDTO convertQianwen(ChatRequestDTO dto) {
  49.         QianWenDTO qianWenDTO = new QianWenDTO();
  50.         qianWenDTO.setModel("qwen-turbo");
  51.         QianWenInputDTO input = new QianWenInputDTO();
  52.         String system = dto.getSystem();
  53.         if (StrUtil.isNotBlank(system)) {
  54.             MessageDTO messageDTO = new MessageDTO("system", system);
  55.             dto.getMessages().add(0, messageDTO);
  56.         }
  57.         input.setMessages(dto.getMessages());
  59.         JSONObject parametersJsonObject = new JSONObject();
  60.         BeanUtil.copyProperties(dto.getParams(), parametersJsonObject);
  62.         qianWenDTO.setInput(input);
  63.         qianWenDTO.setParameters(parametersJsonObject);
  65.         return qianWenDTO;
  66.     }
  68.     /**
  69.      * 通用请求转换为智谱清言请求
  70.      *
  71.      * @param dto 通用请求
  72.      * @return 智谱清言请求
  73.      */
  74.     default JSONObject convertChatGlm(ChatRequestDTO dto) {
  75.         ChatGlmDTO chatGlmDTO = new ChatGlmDTO();
  77.         String system = dto.getSystem();
  78.         if (StrUtil.isNotBlank(system)) {
  79.             MessageDTO messageDTO = new MessageDTO("system", system);
  80.             dto.getMessages().add(0, messageDTO);
  81.         }
  83.         chatGlmDTO.setMessages(dto.getMessages());
  84.         chatGlmDTO.setModel("glm-4");
  85.         JSONObject jsonObject = new JSONObject();
  86.         BeanUtil.copyProperties(chatGlmDTO, jsonObject);
  87.         BeanUtil.copyProperties(dto.getParams(), jsonObject);
  88.         return jsonObject;
  89.     }
  91.     /**
  92.      * 通用请求转换为讯飞星火请求
  93.      *
  94.      * @param dto 通用请求
  95.      * @return 讯飞星火请求
  96.      */
  97.     default SparkDeskDTO convertSparkDesk(ChatRequestDTO dto) {
  98.         SparkDeskDTO sparkDeskDTO = new SparkDeskDTO();
  99.         SparkDeskPayloadDTO payload = new SparkDeskPayloadDTO();
  100.         SparkDeskPayloadMessageDTO payloadMessage = new SparkDeskPayloadMessageDTO();
  102.         String system = dto.getSystem();
  103.         if (StrUtil.isNotBlank(system)) {
  104.             MessageDTO messageDTO = new MessageDTO("system", system);
  105.             dto.getMessages().add(0, messageDTO);
  106.         }
  108.         payloadMessage.setText(dto.getMessages());
  109.         payload.setMessage(payloadMessage);
  111.         SparkDeskParameterChatDTO parameterChat = new SparkDeskParameterChatDTO();
  112.         parameterChat.setDomain("generalv3.5");
  113.         JSONObject parameterChatJsonObject = new JSONObject();
  115.         BeanUtil.copyProperties(parameterChat, parameterChatJsonObject);
  116.         BeanUtil.copyProperties(dto.getParams(), parameterChatJsonObject);
  118.         SparkDeskParameterDTO parameter = new SparkDeskParameterDTO();
  119.         parameter.setChat(parameterChatJsonObject);
  121.         sparkDeskDTO.setPayload(payload);
  122.         sparkDeskDTO.setParameter(parameter);
  124.         return sparkDeskDTO;
  125.     }
  127.     /**
  128.      * 通用请求转换为通义千问请求
  129.      *
  130.      * @param dto 通用请求
  131.      * @return 通义千问请求
  132.      */
  133.     default FaRuiDTO convertFaRui(ChatRequestDTO dto) {
  134.         FaRuiDTO faRuiDTO = new FaRuiDTO();
  136.         List<MessageDTO> messages = dto.getMessages();
  137.         String prompt = messages.get(messages.size() - 1).getContent();
  139.         FaRuiInputDTO input = new FaRuiInputDTO();
  140.         if (messages.size() == 1) {
  141.             messages = new ArrayList<>();
  142.         }
  143.         if (CollUtil.isNotEmpty(messages)) {
  144.             messages.remove(messages.size() - 1);
  145.             List<FaRuiHistoryDTO> history = convertFaRuiHistory(messages);
  146.             input.setHistory(history);
  147.         }
  148.         input.setPrompt(prompt);
  149.         faRuiDTO.setParameters(dto.getParams());
  150.         faRuiDTO.setInput(input);
  152.         return faRuiDTO;
  153.     }
  155.     /**
  156.      * 通用消息转换为通义法睿历史消息
  157.      *
  158.      * @param messages 通用消息
  159.      * @return 通义法睿历史消息
  160.      */
  161.     default List<FaRuiHistoryDTO> convertFaRuiHistory(List<MessageDTO> messages) {
  162.         List<FaRuiHistoryDTO> history = new ArrayList<>();
  163.         int size = messages.size();
  164.         for (int i = 0; i < size; i += 2) {
  165.             FaRuiHistoryDTO messagePair = new FaRuiHistoryDTO();
  166.             messagePair.setUser(messages.get(i).getContent());
  167.             if (i + 1 < size) {
  168.                 messagePair.setBot(messages.get(i + 1).getContent());
  169.             }
  170.             history.add(messagePair);
  171.         }
  172.         return history;
  173.     }
  175. }
复制代码
文心一言实现类

  1. package com.wsl.model.llm.api.service.impl;
  3. import cn.hutool.http.HttpRequest;
  4. import cn.hutool.http.HttpResponse;
  5. import cn.hutool.http.HttpUtil;
  6. import cn.hutool.json.JSONUtil;
  7. import com.alibaba.fastjson.JSON;
  8. import com.alibaba.fastjson.JSONObject;
  9. import com.wsl.model.llm.api.convert.ChatRequestConvert;
  10. import com.wsl.model.llm.api.dto.ChatRequestDTO;
  11. import com.wsl.model.llm.api.service.ModelService;
  12. import com.wsl.model.llm.api.vo.ChatResponseVO;
  13. import lombok.extern.slf4j.Slf4j;
  14. import org.springframework.stereotype.Service;
  16. /**
  17. * 文心一言 大模型服务
  18. *
  19. * @author wsl
  20. * @link https://console.bce.baidu.com/tools/?_=1708497709522&u=qfdc#/api?product=AI&project=%E5%8D%83%E5%B8%86%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%B9%B3%E5%8F%B0&parent=ERNIE-Bot&api=rpc%2F2.0%2Fai_custom%2Fv1%2Fwenxinworkshop%2Fchat%2Fcompletions&method=post
  21. * @date 2024/2/19
  22. */
  23. @Service("ErnieBotService")
  24. @Slf4j
  25. public class ErnieBotServiceImpl implements ModelService {
  27.     private String appSecret = "?";
  29.     private String apiKey = "?";
  31.     private static final String TOKEN_URL_TEMPLATE = "https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=%s&client_secret=%s";
  33.     private static final String CHAT_URL = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions?access_token=%s";
  36.     @Override
  37.     public ChatResponseVO chatMessage(ChatRequestDTO dto) {
  38.         JSONObject ernieBot = ChatRequestConvert.INSTANCE.convertErnieBot(dto);
  39.         String requestBody = JSONUtil.toJsonStr(ernieBot);
  40.         log.info("文心一言请求参数 ernieBot request:{}", requestBody);
  42.         HttpResponse response = HttpUtil.createPost(String.format(CHAT_URL, getAccessToken(apiKey, appSecret)))
  43.                 .body(requestBody)
  44.                 .header("Content-Type", "application/json")
  45.                 .execute();
  47.         if (response == null) {
  48.             throw new RuntimeException("HTTP response is null");
  49.         }
  51.         log.info("文心一言返回结果 ernieBot response:{}", response.body());
  52.         if (response.body() == null || response.body().trim().isEmpty()) {
  53.             throw new RuntimeException("HTTP response body is null or empty");
  54.         }
  55.         JSONObject jsonObject = JSON.parseObject(response.body());
  56.         if (!jsonObject.containsKey("result")) {
  57.             throw new RuntimeException(JSONObject.toJSONString(jsonObject));
  58.         }
  59.         ChatResponseVO vo = new ChatResponseVO();
  60.         vo.setResult(jsonObject.getString("result"));
  61.         return vo;
  62.     }
  64.     /**
  65.      * 从用户的AK，SK生成鉴权签名（Access Token）
  66.      *
  67.      * @param appId     应用ID
  68.      * @param appSecret 应用密钥
  69.      * @return token
  70.      */
  71.     public String getAccessToken(String appId, String appSecret) {
  72.         String url = String.format(TOKEN_URL_TEMPLATE, apiKey, appSecret);
  74.         try (HttpResponse response = HttpRequest.post(url)
  75.                 .header("Content-Type", "application/json")
  76.                 .header("Accept", "application/json")
  77.                 .execute()) {
  78.             JSONObject jsonObject = JSON.parseObject(response.body());
  79.             String accessToken = jsonObject.getString("access_token");
  80.             return accessToken;
  81.         }
  82.     }
  84. }
复制代码
  1. package com.wsl.model.llm.api.dto;
  3. import io.swagger.annotations.ApiModelProperty;
  4. import lombok.Data;
  6. import javax.validation.constraints.NotNull;
  7. import java.io.Serializable;
  8. import java.util.List;
  10. /**
  11. * 文心一言 请求 DTO
  12. *
  13. * @author wsl
  14. * @date 2024/2/20
  15. */
  16. @Data
  17. public class ErnieBotDTO implements Serializable {
  19.     private static final long serialVersionUID = 1L;
  21.     @ApiModelProperty(value = "聊天上下文信息", notes = "说明：\n" +
  22.             "（1）messages成员不能为空，1个成员表示单轮对话，多个成员表示多轮对话；例如：\n" +
  23.             "· 1个成员示例，"messages": [ {"role": "user","content": "你好"}]\n" +
  24.             "· 3个成员示例，"messages": [ {"role": "user","content": "你好"},{"role":"assistant","content":"需要什么帮助"},{"role":"user","content":"自我介绍下"}]\n" +
  25.             "（2）最后一个message为当前请求的信息，前面的message为历史对话信息\n" +
  26.             "（3）成员数目必须为奇数，成员中message的role值说明如下：奇数位messsage的role值必须为user或function，偶数位message的role值为assistant，第一个message的role不能是function。例如：\n" +
  27.             "示例中message中的role值分别为user、assistant、user、assistant、user；奇数位（红框）message中的role值为user，即第1、3、5个message中的role值为user；偶数位（蓝框）值为assistant，即第2、4个message中的role值为assistant",
  28.             example = "[{"role":"system","content":"您好，我是智谱清言，我可以帮您查询天气，您可以输入：查询{{destination}}的天气，查询{{destination}}未来{{num_day}}天的天气"},{"role":"user","content":"查询三亚未来5天的天气"},{"role":"assistant","content":"正在查询三亚未来5天的天气"},{"role":"assistant","content":"三亚未来5天的天气是晴天"}]")
  29.     @NotNull(message = "聊天上下文信息不能为空")
  30.     private List<MessageDTO> messages;
  32.     @ApiModelProperty(value = "模型人设", notes = "主要用于人设设定,例如，你是xxx公司制作的AI助手，最大20000字符", example = "qwen-turbo")
  33.     private String system;
  35.     @ApiModelProperty(value = "温度", notes = "较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。默认0.8，范围 [0, 1.0]，不能为0", example = "0.8")
  36.     private Float temperature;
  38. }
复制代码
讯飞星火实现类

  1. package com.wsl.model.llm.api.service.impl;
  3. import com.alibaba.fastjson.JSON;
  4. import com.alibaba.fastjson.JSONException;
  5. import com.alibaba.fastjson.JSONObject;
  6. import com.wsl.model.llm.api.convert.ChatRequestConvert;
  7. import com.wsl.model.llm.api.dto.ChatRequestDTO;
  8. import com.wsl.model.llm.api.dto.SparkDeskDTO;
  9. import com.wsl.model.llm.api.dto.SparkDeskHeaderDTO;
  10. import com.wsl.model.llm.api.service.ModelService;
  11. import com.wsl.model.llm.api.vo.ChatResponseVO;
  12. import lombok.extern.slf4j.Slf4j;
  13. import okhttp3.*;
  14. import org.springframework.stereotype.Service;
  16. import javax.crypto.Mac;
  17. import javax.crypto.spec.SecretKeySpec;
  18. import java.net.URL;
  19. import java.nio.charset.StandardCharsets;
  20. import java.text.SimpleDateFormat;
  21. import java.util.*;
  22. import java.util.concurrent.CompletableFuture;
  23. import java.util.concurrent.TimeUnit;
  25. /**
  26. * 讯飞星火 大模型服务
  27. *
  28. * @author wsl
  29. * @link https://www.xfyun.cn/doc/spark/Web.html
  30. * @date 2024/2/19
  31. */
  32. @Service("SparkDeskService")
  33. @Slf4j
  34. public class SparkDeskServiceImpl implements ModelService {
  36.     private String appId = "?";
  38.     private String appSecret = "?";
  40.     private String appKey = "?";
  42.     public static final String HOST_URL = "https://spark-api.xf-yun.com/v3.5/chat";
  44.     @Override
  45.     public ChatResponseVO chatMessage(ChatRequestDTO dto) throws Exception {
  46.         ChatResponseVO vo = new ChatResponseVO();
  47.         SparkDeskDTO sparkDeskDTO = ChatRequestConvert.INSTANCE.convertSparkDesk(dto);
  48.         sparkDeskDTO.setHeader(new SparkDeskHeaderDTO(appId));
  50.         String authUrl = getAuthUrl(HOST_URL, appKey, appSecret).replace("http://", "ws://").replace("https://", "wss://");
  51.         Request request = new Request.Builder().url(authUrl).build();
  52.         OkHttpClient client = new OkHttpClient.Builder().build();
  53.         StringBuilder sb = new StringBuilder();
  54.         CompletableFuture<String> messageReceived = new CompletableFuture<>();
  55.         String body = JSON.toJSONString(sparkDeskDTO);
  56.         WebSocket webSocket = client.newWebSocket(request, new WebSocketListener() {
  57.             @Override
  58.             public void onOpen(WebSocket webSocket, Response response) {
  59.                 //发送消息
  60.                 log.info("讯飞星火请求参数 sparkDesk request:{}", body);
  61.                 webSocket.send(body);
  62.             }
  64.             @Override
  65.             public void onMessage(WebSocket webSocket, String text) {
  66.                 try {
  67.                     JSONObject obj = JSON.parseObject(text);
  69.                     // 使用Optional来避免空指针异常，并在内容不存在时抛出异常
  70.                     Optional<String> contentOptional = Optional.ofNullable(obj)
  71.                             .map(jsonObject -> jsonObject.getJSONObject("payload"))
  72.                             .map(payload -> payload.getJSONObject("choices"))
  73.                             .map(choices -> choices.getJSONArray("text"))
  74.                             .map(jsonArray -> jsonArray.getJSONObject(0))
  75.                             .map(jsonObject -> jsonObject.getString("content"));
  76.                     String str = contentOptional.orElseThrow(() -> new RuntimeException(JSONObject.toJSONString(obj)));
  78.                     sb.append(str);
  80.                     // 检查header和status字段
  81.                     Optional<Long> statusOptional = Optional.ofNullable(obj)
  82.                             .map(jsonObject -> jsonObject.getJSONObject("header"))
  83.                             .map(header -> header.getLong("status"));
  85.                     // 如果status为2，则关闭WebSocket并完成CompletableFuture
  86.                     if (statusOptional.isPresent() && statusOptional.get() == 2) {
  87.                         webSocket.close(1000, "Closing WebSocket connection");
  88.                         messageReceived.complete(text);
  89.                     }
  90.                 } catch (JSONException e) {
  91.                     throw new RuntimeException(e);
  92.                 }
  93.             }
  94.         });
  95.         messageReceived.get(60, TimeUnit.SECONDS);
  96.         webSocket.close(1000, "Closing WebSocket connection");
  97.         log.info("讯飞星火返回结果 sparkDesk response:{}", sb);
  98.         vo.setResult(sb.toString());
  99.         return vo;
  100.     }
  102.     /**
  103.      * 鉴权方法
  104.      *
  105.      * @param hostUrl   服务地址
  106.      * @param apiKey    apiKey
  107.      * @param apiSecret apiSecret
  108.      * @return 返回鉴权url
  109.      * @throws Exception 异常
  110.      */
  112.     public static String getAuthUrl(String hostUrl, String apiKey, String apiSecret) throws Exception {
  113.         URL url = new URL(hostUrl);
  114.         // 时间
  115.         SimpleDateFormat format = new SimpleDateFormat("EEE, dd MMM yyyy HH:mm:ss z", Locale.US);
  116.         format.setTimeZone(TimeZone.getTimeZone("GMT"));
  117.         String date = format.format(new Date());
  118.         // 拼接
  119.         String preStr = "host: " + url.getHost() + "\n" +
  120.                 "date: " + date + "\n" +
  121.                 "GET " + url.getPath() + " HTTP/1.1";
  122.         // SHA256加密
  123.         Mac mac = Mac.getInstance("hmacsha256");
  124.         SecretKeySpec spec = new SecretKeySpec(apiSecret.getBytes(StandardCharsets.UTF_8), "hmacsha256");
  125.         mac.init(spec);
  127.         byte[] hexDigits = mac.doFinal(preStr.getBytes(StandardCharsets.UTF_8));
  128.         // Base64加密
  129.         String sha = Base64.getEncoder().encodeToString(hexDigits);
  130.         String authorization = String.format("api_key="%s", algorithm="%s", headers="%s", signature="%s"", apiKey, "hmac-sha256", "host date request-line", sha);
  131.         // 拼接地址
  132.         HttpUrl httpUrl = Objects.requireNonNull(HttpUrl.parse("https://" + url.getHost() + url.getPath())).newBuilder().
  133.                 addQueryParameter("authorization", Base64.getEncoder().encodeToString(authorization.getBytes(StandardCharsets.UTF_8))).
  134.                 addQueryParameter("date", date).
  135.                 addQueryParameter("host", url.getHost()).
  136.                 build();
  137.         return httpUrl.toString();
  138.     }
  139. }
复制代码

  1. package com.wsl.model.llm.api.dto;
  3. import io.swagger.annotations.ApiModelProperty;
  4. import lombok.Data;
  6. import java.io.Serializable;
  8. /**
  9. * 讯飞星火 请求 DTO
  10. *
  11. * @author wsl
  12. * @date 2024/2/20
  13. */
  14. @Data
  15. public class SparkDeskDTO implements Serializable {
  17.     private static final long serialVersionUID = 1L;
  19.     @ApiModelProperty(value = "头部", notes = "头部")
  20.     private SparkDeskHeaderDTO header;
  22.     @ApiModelProperty(value = "参数", notes = "参数")
  23.     private SparkDeskParameterDTO parameter;
  25.     @ApiModelProperty(value = "有效载荷", notes = "有效载荷")
  26.     private SparkDeskPayloadDTO payload;
  28. }
复制代码
  1. package com.wsl.model.llm.api.dto;
  3. import io.swagger.annotations.ApiModelProperty;
  4. import lombok.AllArgsConstructor;
  5. import lombok.Data;
  6. import lombok.NoArgsConstructor;
  8. import java.io.Serializable;
  10. /**
  11. * 讯飞星火 Header DTO
  12. *
  13. * @author wsl
  14. * @date 2024/2/20
  15. */
  16. @Data
  17. @NoArgsConstructor
  18. @AllArgsConstructor
  19. public class SparkDeskHeaderDTO implements Serializable {
  21.     private static final long serialVersionUID = 1L;
  23.     @ApiModelProperty(value = "应用appid", notes = "从开放平台控制台创建的应用中获取")
  24.     private String app_id;
  26. }
复制代码

  1. package com.wsl.model.llm.api.dto;
  3. import io.swagger.annotations.ApiModelProperty;
  4. import lombok.Data;
  6. import java.io.Serializable;
  8. /**
  9. * 讯飞星火 聊天 参数 DTO
  10. *
  11. * @author wsl
  12. * @date 2024/2/20
  13. */
  14. @Data
  15. public class SparkDeskParameterChatDTO implements Serializable {
  17.     private static final long serialVersionUID = 1L;
  19.     @ApiModelProperty(value = "指定访问的领域", notes = "generalv3指向V3版本;generalv3.5指向V3.5版本")
  20.     private String domain;
  22.     @ApiModelProperty(value = "温度", notes = "较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。默认0.8，范围 [0, 2.0]，不能为0", example = "0.8")
  23.     private Float temperature;
  25.     @ApiModelProperty(value = "最大标记", notes = "模型回答的tokens的最大长度；取值范围[1,8192]，默认为2048", example = "2048")
  26.     private Integer max_tokens;
  28. }
复制代码
  1. package com.wsl.model.llm.api.dto;
  3. import com.alibaba.fastjson.JSONObject;
  4. import io.swagger.annotations.ApiModelProperty;
  5. import lombok.Data;
  7. import java.io.Serializable;
  9. /**
  10. * 讯飞星火 参数 DTO
  11. *
  12. * @author wsl
  13. * @date 2024/2/20
  14. */
  15. @Data
  16. public class SparkDeskParameterDTO implements Serializable {
  18.     private static final long serialVersionUID = 1L;
  20.     @ApiModelProperty(value = "聊天参数", notes = "聊天参数")
  21.     private JSONObject chat;
  23. }
复制代码
  1. package com.wsl.model.llm.api.dto;
  3. import io.swagger.annotations.ApiModelProperty;
  4. import lombok.Data;
  6. import java.io.Serializable;
  8. /**
  9. * 讯飞星火 有效载荷 DTO
  10. *
  11. * @author wsl
  12. * @date 2024/2/20
  13. */
  14. @Data
  15. public class SparkDeskPayloadDTO implements Serializable {
  17.     private static final long serialVersionUID = 1L;
  19.     @ApiModelProperty(value = "消息", notes = "消息")
  20.     private SparkDeskPayloadMessageDTO message;
  22. }
复制代码

  1. package com.wsl.model.llm.api.dto;
  3. import lombok.Data;
  5. import javax.validation.constraints.NotNull;
  6. import java.io.Serializable;
  7. import java.util.List;
  9. /**
  10. * 讯飞星火 有效载荷 消息 DTO
  11. *
  12. * @author wsl
  13. * @date 2024/2/20
  14. */
  15. @Data
  16. public class SparkDeskPayloadMessageDTO implements Serializable {
  18.     private static final long serialVersionUID = 1L;
  20.     @NotNull(message = "聊天上下文信息不能为空")
  21.     private List<MessageDTO> text;
  23. }
复制代码
 通义千问实现类

  1. package com.wsl.model.llm.api.service.impl;
  3. import cn.hutool.http.HttpRequest;
  4. import com.alibaba.fastjson.JSON;
  5. import com.alibaba.fastjson.JSONObject;
  6. import com.wsl.model.llm.api.convert.ChatRequestConvert;
  7. import com.wsl.model.llm.api.dto.ChatRequestDTO;
  8. import com.wsl.model.llm.api.dto.QianWenDTO;
  9. import com.wsl.model.llm.api.service.ModelService;
  10. import com.wsl.model.llm.api.vo.ChatResponseVO;
  11. import lombok.extern.slf4j.Slf4j;
  12. import org.springframework.stereotype.Service;
  14. import java.util.Optional;
  16. /**
  17. * 通义千问 大模型服务
  18. *
  19. * @author wsl
  20. * @link https://help.aliyun.com/zh/dashscope/developer-reference/api-details?spm=a2c4g.11186623.0.0.6922140bTYj6qJ#602895ef3dtl1
  21. * @date 2024/2/19
  22. */
  23. @Slf4j
  24. @Service("QianWenService")
  25. public class QianWenServiceImpl implements ModelService {
  27.     private String apiKey = "?";
  29.     @Override
  30.     public ChatResponseVO chatMessage(ChatRequestDTO dto) {
  31.         QianWenDTO qianwen = ChatRequestConvert.INSTANCE.convertQianwen(dto);
  32.         String url = "https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation";
  33.         String json = JSON.toJSONString(qianwen);
  34.         log.info("通义千问请求参数 qianwen request:{}", json);
  36.         String result = HttpRequest.post(url)
  37.                 .header("Authorization", "Bearer " + apiKey)
  38.                 .header("Content-Type", "application/json")
  39.                 .body(json)
  40.                 .execute().body();
  42.         log.info("通义千问返回结果 qianwen response:{}", result);
  43.         ChatResponseVO vo = new ChatResponseVO();
  44.         JSONObject jsonObject = JSON.parseObject(result);
  45.         Optional<String> textOptional = Optional.ofNullable(jsonObject.getJSONObject("output"))
  46.                 .map(output -> output.getString("text"));
  48.         if (!textOptional.isPresent()) {
  49.             throw new RuntimeException(JSONObject.toJSONString(jsonObject));
  50.         }
  52.         vo.setResult(textOptional.get());
  53.         return vo;
  55.     }
  57. }
复制代码
  1. package com.wsl.model.llm.api.dto;
  3. import io.swagger.annotations.ApiModelProperty;
  4. import lombok.Data;
  6. import javax.validation.constraints.NotNull;
  7. import java.io.Serializable;
  8. import java.util.List;
  10. /**
  11. * 通义千问 输入 DTO
  12. *
  13. * @author wsl
  14. * @date 2024/2/20
  15. */
  16. @Data
  17. public class QianWenInputDTO implements Serializable {
  19.     private static final long serialVersionUID = 1L;
  21.     @ApiModelProperty(value = "聊天上下文信息", notes = "说明：\n" +
  22.             "（1）messages成员不能为空，1个成员表示单轮对话，多个成员表示多轮对话；例如：\n" +
  23.             "· 1个成员示例，"messages": [ {"role": "user","content": "你好"}]\n" +
  24.             "· 3个成员示例，"messages": [ {"role": "user","content": "你好"},{"role":"assistant","content":"需要什么帮助"},{"role":"user","content":"自我介绍下"}]\n" +
  25.             "（2）最后一个message为当前请求的信息，前面的message为历史对话信息\n" +
  26.             "（3）成员数目必须为奇数，成员中message的role值说明如下：奇数位messsage的role值必须为user或function，偶数位message的role值为assistant，第一个message的role不能是function。例如：\n" +
  27.             "示例中message中的role值分别为user、assistant、user、assistant、user；奇数位（红框）message中的role值为user，即第1、3、5个message中的role值为user；偶数位（蓝框）值为assistant，即第2、4个message中的role值为assistant",
  28.             example = "[{"role":"system","content":"您好，我是智谱清言，我可以帮您查询天气，您可以输入：查询{{destination}}的天气，查询{{destination}}未来{{num_day}}天的天气"},{"role":"user","content":"查询三亚未来5天的天气"},{"role":"assistant","content":"正在查询三亚未来5天的天气"},{"role":"assistant","content":"三亚未来5天的天气是晴天"}]")
  29.     @NotNull(message = "聊天上下文信息不能为空")
  30.     private List<MessageDTO> messages;
  32. }
复制代码
智谱清言实现类

  1. package com.wsl.model.llm.api.service.impl;
  3. import cn.hutool.http.HttpResponse;
  4. import cn.hutool.http.HttpUtil;
  5. import cn.hutool.json.JSONUtil;
  6. import com.alibaba.fastjson.JSON;
  7. import com.alibaba.fastjson.JSONArray;
  8. import com.alibaba.fastjson.JSONObject;
  9. import com.auth0.jwt.JWT;
  10. import com.auth0.jwt.algorithms.Algorithm;
  11. import com.wsl.model.llm.api.convert.ChatRequestConvert;
  12. import com.wsl.model.llm.api.dto.ChatRequestDTO;
  13. import com.wsl.model.llm.api.service.ModelService;
  14. import com.wsl.model.llm.api.vo.ChatResponseVO;
  15. import lombok.extern.slf4j.Slf4j;
  16. import org.springframework.stereotype.Service;
  18. import java.util.Date;
  19. import java.util.HashMap;
  20. import java.util.Map;
  21. import java.util.Optional;
  23. /**
  24. * 智谱清言 大模型服务
  25. *
  26. * @author wsl
  27. * @link https://open.bigmodel.cn/dev/api#glm-4
  28. * @date 2024/2/19
  29. */
  30. @Slf4j
  31. @Service("ChatGlmService")
  32. public class ChatGlmServiceImpl implements ModelService {
  34.     private String apiKey = "?";
  36.     @Override
  37.     public ChatResponseVO chatMessage(ChatRequestDTO dto) throws Exception {
  38.         JSONObject chatGlm = ChatRequestConvert.INSTANCE.convertChatGlm(dto);
  39.         String url = "https://open.bigmodel.cn/api/paas/v4/chat/completions";
  40.         String requestBody = JSONUtil.toJsonStr(chatGlm);
  41.         log.info("智谱清言请求参数 chatGlm request:{}", requestBody);
  43.         HttpResponse response = HttpUtil.createPost(url).body(requestBody).header("Content-Type", "application/json").header("Authorization", "Bearer " + generateToken(apiKey, 3600)).execute();
  45.         log.info("智谱清言返回结果 chatGlm response:{}", Optional.ofNullable(response).map(HttpResponse::body).orElse(""));
  47.         ChatResponseVO vo = new ChatResponseVO();
  48.         Optional<JSONObject> jsonObject = Optional.ofNullable(JSON.parseObject(response.body()));
  49.         jsonObject.ifPresent(json -> {
  50.             Optional<JSONArray> choices = Optional.ofNullable(json.getJSONArray("choices"));
  51.             choices.ifPresent(choiceArray -> {
  52.                 if (!choiceArray.isEmpty()) {
  53.                     Optional<JSONObject> firstChoiceMessage = Optional.ofNullable(choiceArray.getJSONObject(0).getJSONObject("message"));
  54.                     firstChoiceMessage.ifPresent(message -> {
  55.                         String content = message.getString("content");
  56.                         if (content != null) {
  57.                             vo.setResult(content);
  58.                         } else {
  59.                             throw new RuntimeException(response.body());
  60.                         }
  61.                     });
  62.                 }
  63.             });
  64.             throw new RuntimeException(response.body());
  65.         });
  66.         return vo;
  67.     }
  69.     /**
  70.      * 生成token
  71.      *
  72.      * @param apikey     apikey
  73.      * @param expSeconds 过期时间
  74.      * @return token
  75.      * @throws Exception 异常
  76.      */
  77.     public static String generateToken(String apikey, int expSeconds) throws Exception {
  78.         String[] parts = apikey.split("\\.");
  79.         if (parts.length != 2) {
  80.             throw new Exception("Invalid apikey");
  81.         }
  83.         String id = parts[0];
  84.         String secret = parts[1];
  86.         Map<String, Object> payload = new HashMap<>(16);
  87.         payload.put("api_key", id);
  88.         payload.put("exp", new Date(System.currentTimeMillis() + expSeconds * 1000));
  89.         payload.put("timestamp", new Date(System.currentTimeMillis()));
  91.         Algorithm algorithm = Algorithm.HMAC256(secret);
  92.         return JWT.create().withHeader(new HashMap<String, Object>(16) {{
  93.             put("alg", "HS256");
  94.             put("sign_type", "SIGN");
  95.         }}).withPayload(payload).sign(algorithm);
  96.     }
  98. }
复制代码


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

正序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

悠扬随风

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表