【服务器摆设】云端摆设Gradio情感聊天bot应用(ubuntu服务器+Nginx反向署理 ...

【服务器摆设】从0-1举行摆设Gradio情感聊天AI bot云端应用(ubuntu服务器+Nginx反向署理+内网穿透）

Gradio是一个常用于创建呆板学习和深度学习的Web应用程序，它提供了一个用户友好的界面，允许开辟者举行快速构建和摆设并制作可视化界面，本文会先容怎样将Gradio应用摆设到云服务器上，并使用反向署理来实现外链访问
Step1：先预备一台能够运行代码情况的服务器

流程：服务器租用→ssh连接→情况搭建→查抄情况
服务器租借购买可以参考该教程阿里云服务器租用搭建教程，可以根据自身实际需要选择需要的服务器，选择服务器后使用Xshell长途连接云服务器设置情况(Xshell自行在网络中下载)，打开Xshell输入服务器的公网ip

输入要登录的账户名（主机名）

输入在云服务器中设置的登录密码，密码精确即完成SSH连接

开始设置应用所需要的python情况，假如需要设置java或者c++情况也可以参考别的的服务器设置教程

安装python捏造情况所需要的依靠包

1. sudo apt update
2. sudo apt-get install python3-venv

复制代码

创建python捏造情况并激活
情况创建:python3 -m venv my-venv​ (情况名可自定)
激活情况：source work/bin/activate​（改为你的路径，linux默认~为起始目录）

​
安装应用所需要的依靠包，目前安装有两种策略，一种直接用pip install packge​举行安装或者将所需要包写入requirements.txt，或者使用以下语句举行安装​​

1. nano requirements.txt

复制代码

​
这里所需要安装的包写进去

​

1. pip install -r requirements.txt

复制代码

​

​
安装完后可以用pip list​检察所需要的包是否安装完成

​
Step 2：搭建一个Gradio应用，这里以文心一言的Enrie SDKt为例

流程:编写一个Gradio应用→上传应用文件→设置后台服务→测试Gradio应用
首选在服务器上创建一个用于测试应用的文件目录

1. mkdir gradio_test/bot

复制代码

要编写一个Gradio Web应用，本文通过使用Enrie的sdk实现一个实现一个情感伙伴bot聊天，其代码如下举例先容:

1. import gradio as gr
2. import json
3. import erniebot
5. history = []
6. # 导入角色设置
7. with open('../config/enireRoleConfig.json', 'r', encoding='utf-8') as file:
8.     role_config = json.load(file)
10. # 角色和描述
11. roles = role_config['roles']
13. # css样式
14. custom_css = """
15. <style>
16. @import url('https://fonts.googleapis.com/css2?family=Pacifico&family=Permanent+Marker&family=Roboto+Slab&family=Dancing+Script&display=swap');
17. body, .gradio-container {
18.     display: flex;
19.     flex-direction: column;
20.     min-height: 100vh;
21.     margin: 0;
22. }
23. .main {
24.     flex-grow: 1;
25.     display: flex;
26.     flex-direction: column;
27. }
28. .contain {
29.     flex-grow: 1;
30.     display: flex;
31.     flex-direction: column;
32. }
33. #component-0 {
34.     flex-grow: 1;
35.     display: flex;
36.     flex-direction: column;
37. }
38. #component-0 > .chat-interface {
39.     flex-grow: 1;
40.     display: flex;
41.     flex-direction: column;
42. }
43. #component-0 > .chat-interface > .message-list {
44.     flex-grow: 1;
45.     overflow-y: auto;
46. }
47. </style>
48. """
49. def predict(message, history, option, api_key, role_selector):
51.     model = "ernie-bot"
53.     erniebot.api_type = 'aistudio'
54.     erniebot.access_token = api_key
56.     # 模型选择
57.     if option == "ernie-bot":
58.         model = 'ernie-bot'
59.     elif option == "ernie-bot-turbo":
60.         model = 'ernie-bot-turbo'
61.     elif option == "ernie-bot-4":
62.         model = 'ernie-bot-4'
64.     # 角色选择
65.     system_prompt = roles[role_selector]['prompt']
67.     # 输入消息
68.     json_str = {'role': 'user', 'content': message}
69.     messages = ""
70.     history = [{k: v for k, v in item.items() if k != 'metadata'} for item in history]
71.     history.append(json_str)
73.     # 调用API获取回复
74.     response_stream = erniebot.ChatCompletion.create(
75.         model=model,
76.         messages=history,
77.         stream=True,
78.         system = system_prompt
79.     )
81.     # 流式输出回复
82.     for response in response_stream:
83.         chat = response.get_result()
84.         messages = "".join([messages, chat])
85.         print(chat, end='', flush=True)
86.         yield messages
88.     print("")
89.     print(history)
91. def update_description(role):
92.     descriptions = {
93.         "温柔女友": f"""<p class='role-description' style='
94.                 color: #FF69B4;
95.                 font-size: 24px;
96.                 font-family: 'Pacifico', cursive;
97.                 text-shadow: 2px 2px 4px rgba(0,0,0,0.3);
98.                 '>{roles[role]['description']}</p>""",
99.         "可爱甜心": f"""<p class='role-description' style='
100.                 color: #DDA0DD;
101.                 font-size: 24px;
102.                 font-family: 'Permanent Marker', cursive;
103.                 text-shadow: 2px 2px 4px rgba(0,0,0,0.3);
104.                 '>{roles[role]['description']}</p>""",
105.         "霸道总裁": f"""<p class='role-description' style='
106.                 color: #4169E1;
107.                 font-size: 24px;
108.                 font-family: 'Roboto Slab', serif;
109.                 text-shadow: 2px 2px 4px rgba(0,0,0,0.3);
110.                 '>{roles[role]['description']}</p>""",
111.         "贴心闺蜜": f"""<p class='role-description' style='
112.                 color: #32CD32;
113.                 font-size: 24px;
114.                 font-family: 'Dancing Script', cursive;
115.                 text-shadow: 2px 2px 4px rgba(0,0,0,0.3);
116.                 '>{roles[role]['description']}</p>"""
117.     }
118.     return descriptions.get(role, "<p>请选择一个角色</p>")
120. # 部署页面设计
121. with gr.Blocks(css=custom_css) as demo:
122.     html_title = gr.HTML("""
123.     <h1 style='text-align:center; font-family: "Brush Script MT", cursive; font-size: 48px; color: #4B0082;'>Elegant AI Chat Assistant</h1>
124.     <style>
125.         @keyframes fadeIn {
126.             from { opacity: 0; }
127.             to { opacity: 1; }
128.         }
129.         #description {
130.             animation: fadeIn 2s ease-in-out;
131.         }
132.     </style>
133.     """)
134.     html_component = gr.HTML(
135.         update_description("温柔女友"),  # 默认显示第一个角色的描述
136.         elem_id="role-description"
137.     )
138.     with gr.Row():
139.         with gr.Column():
140.             gr.HTML("<h2 style='text-align:center; font-family: 'Microsoft YaHei'; font-size: 36px; color: #4B0082;'>请输入你的API key</h2>")
141.             api_key = gr.Textbox(
143.                 placeholder="输入你的API Key",
144.                 value="", # 输入你的apikey
145.                 container=False,
146.                 interactive=True,
147.                 type="password",
148.                 label="API Key"
149.             )
150.         option = gr.Radio(
151.             choices=["ernie-bot", "ernie-bot-turbo", "ernie-4.0"],
152.             value="ernie-bot-turbo",
153.             label="模型选择"
154.         )
156.     role_selector = gr.Radio(
157.         choices=["温柔女友", "可爱甜心", "霸道总裁", "贴心闺蜜"],
158.         value="温柔女友",
159.         label="角色选择",
160.         interactive=True,
161.         elem_id="role_selector"
162.     )
164.     role_selector.change(fn=update_description, inputs=role_selector, outputs=html_component)
166.     with gr.Column(elem_id="chatbot-wrapper"):
167.         gr.ChatInterface(
168.             predict,
169.             type="messages",
170.             theme="ocean",
171.             additional_inputs=[option, api_key, role_selector],
172.             fill_height=True,
173.         )
175. # 本地127.0.0.1，服务端0.0.0.0
176. demo.launch(server_name="0.0.0.0", server_port=7861,root_path="/bot")

复制代码

用JSON文件对脚色人设举行统一设置（注意，Enire的system prompt只能1024字符，在脚色设定上只管不要超字符），以下是我结合gpt生成几个人设设定
[code]{
    "roles": {
        "温柔女友": {
            "description": "玉莹是一位温柔可爱的女友，她时刻陪伴在男友身边，给予倾听、安慰和鼓励。她能用温暖的话语和浪漫的举动让男友感受到满满的爱意，为男友提供情绪价值，成为男友生活中的甜蜜依靠。