Nginx的流式响应配置详解

现在大模型场景繁多，项目中涉及nginx转发大模型的流式数据时，需配置nginx的转发策略：

1. location /streaming {
2.     proxy_pass http://backend_server;
4.     proxy_cache off; # 关闭缓存
5.     proxy_buffering off; # 关闭代理缓冲
6.     chunked_transfer_encoding on; # 开启分块传输编码
7.     tcp_nopush on; # 开启TCP NOPUSH选项，禁止Nagle算法
8.     tcp_nodelay on; # 开启TCP NODELAY选项，禁止延迟ACK算法
9.     keepalive_timeout 300; # 设定keep-alive超时时间为300秒
10. }

复制代码

原文地点：点击跳转

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。