Higress 是一款云原生 API 网关,内核基于 Istio 和 Envoy,可以用 Go/Rust/JS 等编写 Wasm 插件,提供了数十个现成的通用插件,以及开箱即用的控制台(demo 点这里)
Higress 在阿里内部为解决 Tengine reload 对长毗连业务有损,以及 gRPC/Dubbo 负载平衡能力不敷而诞生。
阿里云基于 Higress 构建了云原生 API 网关产品,为大量企业客户提供 99.99% 的网关高可用保障服务能力。
Higress 基于 AI 网关能力,支持了通义千问 APP、百炼大模型 API、呆板学习 PAI 平台等 AI 业务。同时服务国内头部的 AIGC 企业(如零一万物),以及 AI 产品(如 FastGPT)
什么是 AI 网关
AI Gateway = AI Native API Gateway
AI 网关的本质依然是 API 网关,AI 原生的意义在于,在如许的 API 网关里,AI 是一等公民。API 研发,API 供应,API 消耗,以及 API 观测都基于 AI 场景下的需求,演进出全新的能力。
这是传统 API 网关的功能范畴,AI 场景下仍旧有其通用价值:
在 AI 场景下,基于 Higress 可以将 API 网关的功能范畴进一步扩展:
核心优势
生产等级
脱胎于阿里巴巴多年生产验证的内部产品,支持每秒请求量达数十万级的大规模场景。
彻底摆脱 Nginx reload 引起的流量抖动,配置变更毫秒级见效且业务无感。对 AI 业务等长毗连场景特别友好。