在亚马逊云科技上摆设Llama大模子并开辟负责任的AI生存智能助手

项目简介：

小李哥将继承每天先容一个基于亚马逊云科技AWS云盘算平台的环球前沿AI技能办理方案，资助各人快速相识国际上最热门的云盘算平台亚马逊云科技AWS AI最佳实践，并应用到自己的一样平常工作里。
本次先容的是如安在亚马逊云科技上利用SageMaker呆板学习服务摆设Llama开源大模子，并为Llama模子的输入/输出添加Llama Guard合规性检测，克制Llama大模子天生有害、不当、虚伪内容。同时我们用容器管理服务ECS托管一个AI生存智能助手，通过调用Llama大模子API为用户提供智能生存发起，并将和用户的对话汗青存在DynamoDB中，让用户可以回看汗青对话记载。本架构操持全部接纳了云原生Serverless架构，提供可扩展和安全的AI办理方案。本方案的办理方案架构图如下：

方案所需根本知识

什么是 Amazon SageMaker？

Amazon SageMaker 是亚马逊云科技提供的一站式呆板学习服务，旨在资助开辟者和数据科学家轻松构建、训练和摆设呆板学习模子。SageMaker 提供了从数据预备、模子训练到模子摆设的全流程工具，利用户可以或许高效地在云端实现呆板学习项目。
什么是 Llama Guard工具？

Llama Guard 是一种专门操持的工具或框架，旨在为 Llama 模子（或其他大型语言模子）提供安全和合规的防护步伐。它通过对模子的输入和输出举行监控、过滤和查察，确保天生内容符合道德尺度和法律法规。Llama Guard 可以资助开辟者辨认并防止潜伏的有害内容输出，如不当言论、私见、虚伪信息等，从而提拔 AI 模子的安全性和可靠性。

为什么要构建负责任的 AI？

防止私见和鄙视：

大型语言模子大概会在训练过程中偶尔中学习到数据中的私见。构建负责任的 AI 旨在辨认和消除这些私见，确保 AI 的决定公平、公正，不会因种族、性别或其他特性而产生鄙视。
提拔信托和透明度：

用户对 AI 体系的信托依赖于体系的透明度和可表明性。通过构建负责任的 AI，可以增长用户对体系的明白，提拔体系的可信度，确保用户可以或许信托 AI 提供的发起和决定。
遵遵法律法规：

很多国家和地区对数据隐私、安全和公平性有严格的法律要求。构建负责任的 AI 可以确保模子在符合这些法律法规的根本上运行，克制法律风险。
掩护用户隐私：

负责任的 AI 器重并掩护用户的隐私权，克制在处理处罚敏感数据时泄漏用户个人信息。通过对数据举行得当的加密和匿名化，确保用户的数据安全。
防止误用和滥用：

负责任的 AI 操持包罗防范体系被恶意利用或误用的机制。比方，防止 AI 体系被用于天生虚伪消息、散布虚伪信息或攻击他人。
道德责任：

AI 体系的影响力越来越大，开辟者和企业有责任确保这些体系对社会产生积极的影响。构建负责任的 AI 意味着在操持和摆设 AI 体系时思量到道德责任，克制对社会产生负面影响。

本方案包罗的内容

1. 利用Streamlit框架开辟AI生存助手，并将服务摆设在Amazon Fargate上，前端利用负载平衡器实现高可用。

2. 利用Lambda无服务器盘算服务实现与大模子的API交互

3. 在Amazon SageMaker上摆设Llama 2大模子，并为大模子添加安全工具Llama Guard

4. 将对话记载存储到NoSQL服务DynamoDB中


项目搭建具体步调：

1. 登录亚马逊云科技控制台，创建一个SageMaker Studio运行Jupyter Notebook文件，并点击Open打开。

2. 在SageMaker Studio中创建一个新的Jupyter Notebook，运行以下下令安装须要依赖和指明Llama大模子的版本。

1. %pip install --quiet --upgrade sagemaker
2. model_id = "meta-textgeneration-llama-guard-7b"
3. model_version = "1.*"

复制代码

3. 利用SageMaker Jumpstart功能，无需训练大概加载模子文件就可以快速摆设Llama Guard大模子

1. from sagemaker.jumpstart.model import JumpStartModel
4. model = JumpStartModel(model_id=model_id, model_version=model_version,instance_type='ml.g5.2xlarge')
6. accept_eula = True
8. try:
9.     predictor = model.deploy(accept_eula=accept_eula)
10. except Exception as e:
11.     print(e)

复制代码

4. 本段代码是用于测试大模子复兴内容的测试代码，通过retrieve_all_examples()方法取出实例数据，并通过大模子推测得到复兴。

1. example_payloads = model.retrieve_all_examples()
3. for payload in example_payloads:
4.     try:
5.         response = predictor.predict(payload.body)
6.         print(
7.             "\nInput\n",
8.             payload.body,
9.             "\n\nOutput\n",
10.             response[0]["generated_text"],
11.             "\n\n===============",
12.         )
13.     except Exception as e:
14.         print(e)

复制代码

5. 接下来我们利用JumpStart功能快速摆设Llama 2 7B大模子

1. llm_model_id = "meta-textgeneration-llama-2-7b-f"
2. llm_model_version = "3.*"
3. model_llm = JumpStartModel(model_id=llm_model_id, model_version=llm_model_version)
4. try:
5.     predictor_llm = model_llm.deploy(accept_eula=accept_eula)
6. except Exception as e:
7.     print(e)

复制代码

6. 接下来我们界说一个给Llama Guard查抄模子对话安全性的指示性模板，模板中明确指出不安全内容种别。

1. TASK = "Task: Check if there is unsafe content in 'Agent' messages in conversations, according to our safety policy with the following categories."
3. INSTRUCTION = """\
4. Provide your safety assessment for Agent in the previous conversation:
5. - The first line must read 'safe' or 'unsafe'.
6. - If unsafe, a second line must include a comma-separated list of

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金