ToB企服应用市场:ToB评测及商务社交产业平台

标题: springboot + websocket对接文心一言接口实现简朴上下文谈天（贴代码） [打印本页]

---

作者: 泉缘泉    时间: 2024-8-11 08:35
标题: springboot + websocket对接文心一言接口实现简朴上下文谈天（贴代码）
如题，第一次用websocket，做了个这玩意，只做了上下文的谈天，没做流式。
中心另有个低级报错但卡了好久，具体可以看【错误记载】websocket连接失败，但后端毫无反应，另有【错误记载】ruoyi-vue@Autowired注入自定义mapper时为null解决
，感兴趣可前往观看。
实际上我后端用的是ruoyi-vue，前端用的ruoyi-app，但不重要。由于功能就是基于websocket和文心一言千帆大模型的接口，完全可以独立出来。
每个新建的账号会送一张20元的代金券，限期一个月内。而谈天服务接口单价约1分/千token，总之用来练手肯定够用了。
参考

文档中心-ERNIE-Bot-turbo
百度文心一言接入教程
若依插件-集成websocket实现简朴通信
先看看效果

大抵这样。

2023.10.13更新：昨天和朋侪聊了一下，发现他的想法和我的差别——根本不用实体类去保存解析复杂的json，直接保存消息内容。有一说一，在这个小demo这里，确实可以更快更简朴的实现，由于这个demo最耗时的就是看又臭又长的参数，然后写哀求体和返回值的实体类，至少哀求体实体类是可以不写的。
下面进入正题。
文心千帆创建应用

• 文心一言，大概是这里，先创建个账号，进控制台创建一个应用（有一个apikey和secretkey，有用），开通一个谈天服务（我开通的是ErnieBot-turbo），就可以了。具体有点忘了，大家可以参考其他博客。
  
• 其次官方有给一些参考，API调用指南、在线测试平台，第二个链接可以对自己开通的谈天服务进行测试。其中也有一个分类是“技能文档”和“示例代码”，技能文档里边有普通/流式的哀求/响应的参数和示例（如果比力小不容易看，文档中心-ERNIE-Bot-turbo也有），示例代码就是哀求的各个语言的示例代码。
  

思路

有三个角色，大模型 ←→ 后端 ←→ 前端。
大模型：接受后端发过来的消息，返反响应消息
后端：接受前端发过来的消息，封装发给大模型；接收大模型返回的消息，回给后端；发送的消息和返回的消息都要保存到数据库
前端：发送消息，接受后端返回的响应消息，及时回显在谈天页面。
显然，websocket用在前后端之间进行交互，后端类似一个中心人，前端是一个用户，大模型是ai服务。
步调与代码

• 实现websocket相关
  1.1 注册到spring
  1. @Configuration
  2. public class WebSocketConfig {
  3.      
  4.     @Bean
  5.     public ServerEndpointExporter serverEndpointExporter() {
  6.      
  7.         return new ServerEndpointExporter();
  8.     }
  9. }

  复制代码
  1.2 实现一个WebSocket的服务（别看这么长，其实参考了若依插件-集成websocket实现简朴通信，但没涉及信号量之类以是没什么用，除了onMessage外，其他如onOpen打印一条消息就行了，更多如WebSocketUsers可以去链接那下载）
  1. @CrossOrigin
  2. @Component
  3. @ServerEndpoint("/websocket/message")
  4. public class WebSocketServer {
  5.      
  6.    private ChatRecordMapper chatRecordMapper = SpringUtils.getBean(ChatRecordMapper.class);
  7.    /**
  8.     * WebSocketServer 日志控制器
  9.     */
  10.    private static final Logger LOGGER = LoggerFactory.getLogger(WebSocketServer.class);
  12.    /**
  13.     * 默认最多允许同时在线人数100
  14.     */
  15.    public static int socketMaxOnlineCount = 100;
  17.    private static Semaphore socketSemaphore = new Semaphore(socketMaxOnlineCount);
  19.    /**
  20.     * 连接建立成功调用的方法
  21.     */
  22.    @OnOpen
  23.    public void onOpen(Session session) throws Exception {
  24.      
  25.        boolean semaphoreFlag = false;
  26.        // 尝试获取信号量
  27.        semaphoreFlag = SemaphoreUtils.tryAcquire(socketSemaphore);
  28.        if (!semaphoreFlag) {
  29.      
  30.            // 未获取到信号量
  31.            LOGGER.error("\n 当前在线人数超过限制数- {}", socketMaxOnlineCount);
  32.            WebSocketUsers.sendMessageToUserByText(session, "当前在线人数超过限制数：" + socketMaxOnlineCount);
  33.            session.close();
  34.        } else {
  35.      
  36.            // 添加用户
  37.            WebSocketUsers.put(session.getId(), session);
  38.            LOGGER.info("\n 建立连接 - {}", session);
  39.            LOGGER.info("\n 当前人数 - {}", WebSocketUsers.getUsers().size());
  40.            WebSocketUsers.sendMessageToUserByText(session, "连接成功");
  41.        }
  42.    }
  44.    /**
  45.     * 连接关闭时处理
  46.     */
  47.    @OnClose
  48.    public void onClose(Session session) {
  49.      
  50.        LOGGER.info("\n 关闭连接 - {}", session);
  51.        // 移除用户
  52.        WebSocketUsers.remove(session.getId());
  53.        // 获取到信号量则需释放
  54.        SemaphoreUtils.release(socketSemaphore);
  55.    }
  57.    /**
  58.     * 抛出异常时处理
  59.     */
  60.    @OnError
  61.    public void onError(Session session, Throwable exception) throws Exception {
  62.      
  63.        if (session.isOpen()) {
  64.      
  65.            // 关闭连接
  66.            session.close();
  67.        }
  68.        String sessionId = session.getId();
  69.        LOGGER.info("\n 连接异常 - {}", sessionId);
  70.        LOGGER.info("\n 异常信息 - {}", exception);
  71.        // 移出用户
  72.        WebSocketUsers.remove(sessionId);
  73.        // 获取到信号量则需释放
  74.        SemaphoreUtils.release(socketSemaphore);
  75.    }
  77.    /**
  78.     * 服务器接收到客户端消息时调用的方法
  79.     */
  80.    @OnMessage
  81.    public void onMessage(String message, Session session) {
  82.      
  83.        // 首先，接收到一条消息
  84.        LOGGER.info("\n 收到消息 - {}", message);
  85.        // 1. 调用大模型API，把上下文和这次问题传入，得到回复
  86.        BigModelService bigModelService = new BigModelService();
  87.        TurboResponse response = bigModelService.callModelAPI(session.getId(),message);
  88.        if (response == null) {
  89.      
  90.            WebSocketUsers.sendMessageToUserByText(session, "抱歉，似乎出了点问题，请联系管理员");
  91.            return;
  92.        }
  93.        WebSocketUsers.sendMessageToUserByText(session, response.getResult());
  94.    }
  95. }

  复制代码
  
  
• 实现哀求接口相关
  2.1 先写实体类，包括BaiduChatMessage（最基本的谈天消息）、ErnieBotTurboParam（ErnieBot-Turbo的哀求参数，包括了List<BaiduChatMessage>）TurboResponse（哀求返回结果对应的实体类）
  1. @Data
  2. @SuperBuilder
  3. @NoArgsConstructor
  4. @AllArgsC

  复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4