一文搞懂：AI网关这个新东西是什么意思？有没有开源免费的选择？ ...

AI网关是什么意思？有什么用？

AI网关是企业应用与内外部大模型之间的桥梁，它位于企业应用与内外部大模型的调用交汇点。
AI网关的主要功能 是 将应用哀求 通过会合管理模块 转发给 1 内部自建模型、2 外部大模型服务提供商，以致 3 海外模型提供商。

通过这种方式，AI网关在企业内管理了所有的AI出口流量，为开辟运维团队提供了更好的维护切面，同时也为不同团队带来了不同的利益:
对于开辟团队来说： AI网关可以让开辟团队不再关心模型费用和申叨教题，按需调用即可，加速应用构建。这意味着开辟团队可以更专注于应用的开辟，而不必要担心与AI模型申请和管理相关的繁琐事务。
对于安全和管理团队来说：AI网关通过限制访问、确保安全使用AI模型及提供控制、审计和可见性，保护应用。这有助于确保企业应用的安全性和合规性，同时为安全和管理团队提供了更好的控制本领。
对于根本设施团队来说：AI网关在加速开辟应用构建的同时，增强整个AI调用的稳定性，尤其是海外模型调用的稳定性。这有助于提高企业应用的性能和可靠性，同时降低故障和延长的风险。
总的来说，AI网关在企业应用与内外部大模型之间起到了关键的作用，它不仅提高了应用的开辟效率，还增强了应用的安全性和稳定性。

AI网关应有的焦点本领

1）API聚合 ：通过AI网关，企业可以未来自不同AI供应商的服务统一管理起来。例如，一家公司大概同时使用了阿里云的语音识别服务、百度的图像识别技能以及谷歌的笔墨翻译功能。在这种环境下，AI网关能够作为单一接入点，让开辟者只需面临一个接口就能访问到所有这些服务，极大地简化了集成过程并降低了维护本钱。
2）调用管理 ：对于内部团队来说，公道控制预算同样重要。好比，在某大型科技公司内部，管理层希望限制每个项目组每日在AI服务上的开销不凌驾肯定金额（如500元），但并不想因此而限制他们探索不同的模型或功能。借助AI网关提供的调用管理功能，管理员可以轻松设定如许的规则，既保证了财务康健又促进了创新活动。
3）安全审查：考虑到敏感数据的安全性至关重要，AI网关还提供了强大的日记记录与追踪机制。假设有一家金融机构正在利用AI分析客户举动模式以改进其产物保举体系，那么通过启用AI网关的安全审查功能，该机构不仅能详细跟踪每一次哀求的具体内容及其返回效果，还能确保所有生意业务信息都得到妥善保护，防止未授权访问或泄露给第三方。
4）高可用增强：当业务规模不停扩大时，单一API Key大概会成为瓶颈。为办理这个题目，AI网关支持配置多个备用密钥。假如某个在线教导平台每天都要处理数百万次的自然语言处理哀求，而且已经设置了两个来自不同提供商的有用密钥A和B。一旦发现密钥A因达到速率限制而无法继续工作时，体系会主动切换至密钥B继续提供服务，从而有用制止了因单点故障导致的服务中断题目，提高了整体体系的稳定性和响应速度。
基于我们在阿里巴巴团体内部的最佳实践来看，接纳AI网关是十分须要的。它不仅资助我们高效整合了自建模型与外部优质资源，使得用户可以无缝享受到最前沿的人工智能成果；更重要的是，通过精细化的本钱管理和严酷的数据安全措施，我们也能够更好地保护客户隐私，同时实现经济效益的最大化。


Higress AI 开源网关 功能介绍


Higress AI网关 是一个阿里 开源的 网关 ，里面有大量AI插件，提供了多种关键功能，这些功能不仅增强了体系的机动性和安全性，也提高了用户体验。
1）API多模型适配： 在多模型适配方面，纵然不同供应商提供的大模型在接口调用上有差别，通过统一的API层，可以轻松实现跨平台兼容，极大地简化了集成流程。AI代理插件支持与凌驾15家国内外知名的大规模语言模型（LLM）提供商对接，这大大淘汰了企业在选择或更换AI服务时的本钱和技能障碍。同时，这种广泛的兼容性还允许构造内部的不同团队根据本身的需求自由地访问最得当其应用场景的语言模型，而无需担心底层技能栈的厘革对业务造成影响。
2）AI内容审核插件，它能够无缝毗连至阿里云的内容安全服务，主动识别并过滤掉诸如非法言论、虚假信息或是含有歧视性的文本片断，确保输出给最终用户的每一条信息都是符合法律规范且积极正面的。别的，该插件还能详细记录下每一次哀求及其处理效果，便于后续审计追踪，而且所有这些日记都会被赋予唯一的哀求ID，以便于快速定位题目发生的位置。
3）统计和限流插件。一方面，通过实时天生Prometheus监控指标以及在访问日记中打印相关数据，管理员可以清楚地了解到当前体系的Token吞吐量；另一方面，则是基于上述统计信息实行机动的流量控制计谋，好比设置每个用户每天最大允许使用的Token数量上限，如许既能保证公平使用公共资源，又能有用防止因滥用导致的服务不稳定现象。
4）高可用切换插件：AI网关特殊设计了一套健壮的密钥管理方案——当某个密钥失效时，体系会主动切换到下一个可用密钥继续提供服务，直到耗尽所有备选选项为止。这种方式不仅提升了整体服务的可靠性和连续性，也为用户带来了更好的体验。总之，通过结合以上提到的各项焦点本领，AI网关为企业级应用提供了一个强大而全面的AI根本设施平台。

Higress的AI插件设置

Higress 提供了多种 AI 插件以增强其功能，好比 AI 检索增强天生（RAG）、AI 内容安全以及 AI 提示词模板。接下来将分别基于这三类插件提供详细的配置指南。

1) AI检索增强天生(RAG)插件配置

此插件旨在通过阿里云向量检索服务来提升模型的搜索和天生本领。配置时必要提供关于通义千问服务及阿里云向量检索服务的相关信息。

• 预备须要参数：确保你已经获取了dashscope与dashvector的服务相关密钥及域名等信息。
  

• 编辑配置文件：在你的项目中找到或创建一个 YAML 格式的配置文件。参考如下格式填写相应信息：
  

1. dashscope:
2.     apiKey: [您的apiKey]
3.     serviceName: [服务名称]
4.     servicePort: [服务端口, 如443]
5.     domain: [访问服务时使用的域名]
6. dashvector:
7.     apiKey: [您的apiKey]
8.     serviceName: [服务名称]
9.     servicePort: [服务端口, 如443]
10.     domain: [访问服务时使用的域名]

复制代码

• 应用配置：保存更改后的配置文件，并根据具体环境重启或者重新加载 Higress 服务使得新设置见效。
  

2 ) AI内容安全插件配置

为了保障大模型输出的内容符合规范要求，可以启用该插件并与阿里云内容安全服务集成。

• 获取接入凭据：起首登录到阿里云控制台并创建所需的服务实例，记录下ak(Access Key ID)与sk(Secret Access Key)。
  

• 更新YAML配置：同样地，在您的配置文件里添加如下条目：
  

1. serviceSource: "dns"
2. serviceName: "safecheck"
3. servicePort: 443
4. domain: "green-cip.cn-shanghai.aliyuncs.com"
5. ak: "[您的AK]"
6. sk: "[您的SK]"

复制代码

• 验证设置：保存配置并重新启动服务后，可以通过发送含有敏感词汇的哀求测试是否能够正确触发内容过滤机制。
  

3) AI提示词模板插件配置

当希望对用户输入举行预处理，以确保它们符合某些特定格式或规则时，可以考虑使用这个插件。

• 界说模板：在配置文件中指定想要使用的Prompt模板及其细节：
  

1. templates:
2. - name: "example-template"
3.   template:
4.     model: gpt-3.5-turbo
5.     messages:
6.     - role: system
7.       content: "You are an expert in answering questions about..."
8.     - role: user
9.       content: "{{query}}"

复制代码

• 发送哀求：客户端发送API调用时需包含之前界说好的模板名以及任何须要的变量替换值，如：
  

1. {
2.   "template": "example-template",
3.   "properties": {
4.     "query": "What is the capital of France?"
5.   }
6. }

复制代码

按照上述步调操纵即可完成Higress AI插件的根本配置过程。每一步都至关重要，请务必仔细查抄每一项设置是否准确无误。别的，对于更高级别的定制化需求，则大概还必要深入查阅官方文档获取更多信息。

Higress单机简易摆设

本例子提供了Higress的单机摆设样例，Higress也支持了 基于k8s和helm chart的
Higress单机快速摆设

根据我了解的信息中的第2篇参考内容，这里将详细介绍怎样在当地环境中使用Docker快速摆设Higress，并完成根本的配置与测试。此方法适用于个人开辟者在当地搭建学习环境或用于简易站点。
前置条件

• 本机已安装Docker。如未安装，请参考官方指南举行安装：Get Docker | Docker Docs
  

摆设步调

• 创建一个工作目录来存放Higress相关的文件和数据。
  

1. mkdir higress

复制代码

• 使用Docker运行Higress容器。这一步会主动下载所需的镜像并启动服务。
  

1. docker run -d --rm --name higress-ai -v ./higress:/data \
2.     -p 8001:8001 -p 8080:8080 -p 8443:8443  \
3.     higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

复制代码

解释：

• 
  
  
  
  • -d 表示背景运行容器。
    
  
  

• 
  
  
  
  • --rm 指令确保当容器停止时主动删除它。
    
  
  

• 
  
  
  
  • --name higress-ai 给容器指定一个名称。
    
  
  

• 
  
  
  
  • -v ./higress:/data 将当前主机上的higress目录挂载到容器内的/data路径下，如允许以让容器内产生的配置等文件被长期化保存。
    
  
  

• 
  
  
  
  • -p 8001:8001、-p 8080:8080 和 -p 8443:8443 分别映射了容器内部的8001、8080以及8443端口到宿主机对应的端口上。
    
  
  

• 
  
  
  
  • higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest 是使用的Docker镜像名称及其版本号。
    
  
  

• 登录Higress控制台开始举行须要的初始化设置及后续操纵。
  

• 
  
  
  
  • 在浏览器中输入 http://127.0.0.1:8001 进入Higress UI管理界面。
    
  
  

• 
  
  
  
  • 初次访问必要初始化管理员账号。按照页面提示设置用户名密码后点击“确定”按钮完成注册流程。
    
  
  

• 
  
  
  
  • 利用刚才设置好的凭据登录到控制台。
    
  
  

• 配置服务泉源和服务路由规则。
  

• 
  
  
  
  • 点击左侧菜单栏里的“服务泉源”，然后点击右方出现的“创建服务泉源”按钮。在此处添加一个新的DNS域名作为示例服务（好比选择httpbin.org）。
    
  
  

• 
  
  
  
  • 接着转至“路由配置”，点击“创建路由”。为这个新创建的服务界说一个匹配规则（例如准确匹配路径/get），同时选择刚才添加的服务作为目标。
    
  
  

• 测试验证所做配置是否见效。
  

• 
  
  
  
  • 打开命令行工具或者直接在浏览器地址栏里输入http://127.0.0.1:8080/get尝试访问刚刚设定好的路由。
    
  
  

• 
  
  
  
  • 假如齐备正常，您应该能看到来自httpbin.org网站返回的一段JSON格式响应信息，表明哀求已经成功地被转发到了该长途服务器。
    
  
  

通过上述步调，您就完成了Higress网关的一个根本版本摆设，并能够基于此开展更复杂的应用场景探索。请注意，只管这种方式非常得当快速试用或小规模实行，但对于生产级别的应用来说照旧发起接纳更为稳定可靠的Kubernetes集群摆设方案。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。