利用Unity 接入 Stable-Diffusion-WebUI的 文生图api 并生成图像 ...

利用Unity 接入 Stable-Diffusion-WebUI 文生图生成图像


  
一、前言

在无聊的时间，想瞅一下sd生图遂做了一下

注意：我采用了异步处置处罚，每点击一次发送一次请求，不需要等候生成完再点击。反面生成的画面会覆盖掉之前的。
二、具体步骤

1、启动SD的api设置

注意，运行后的api相干功能可以在:http://127.0.0.1:7860/docs 检察

比如这一次我们要的生图的地点就是/sdapi/v1/txt2img 是POST
所以可以通过requests 向 "http://127.0.0.1:7860/sdapi/v1/txt2img"发送POST请求并拿到数据
注意： “http://127.0.0.1:7860/sdapi/v1/txt2img” ，内里的地点和端口在unity中改成你设置的，如果没有改就不动
到这里sd的前期准备就OK了
2、unity 创建生图脚本

新建C#脚本，imgsd
注意：

• “http://127.0.0.1:7860/sdapi/v1/txt2img” 内里的ip和端口与sd中设置的一致
  
• sd_model_name = “animePastelDream_softBakedVae” 模型用你本身的模型，如果删掉则用默认你第一个模型。模型文件如：majicmixRealistic_v7.safetensors 则模型名为majicmixRealistic_v7
  
• 要用某个魔，需要在sd的web中能看到这个模型，你才气利用api调用。你需要下载模型后放在models文件夹在，参考地点如：sd-webui-aki-v4\models\Stable-diffusion
  

其他的保持不动即可

1. using UnityEngine;
2. using UnityEngine.Networking;
3. using UnityEngine.UI;
4. using System.Text;
5. using System;
6. using System.Collections;
9. public class imgsd : MonoBehaviour
10. {
11.     public InputField promptInputField; // 在Inspector中设置
12.     public InputField negativePromptInputField; // 在Inspector中设置
13.     public RawImage outputImage; // 在Inspector中设置
15.     private string txt2imgUrl = "http://127.0.0.1:7860/sdapi/v1/txt2img";
17.     // 调用这个方法来开始生成图像的过程
18.     public void GenerateImage()
19.     {
20.         string prompt = promptInputField.text;
21.         string negativePrompt = negativePromptInputField.text;
22.         StartCoroutine(PostRequest(txt2imgUrl, prompt, negativePrompt));
23.     }
24.     [Serializable]
25.     public class YourResponseType
26.     {
27.         public string[] images;
28.         // 添加其他需要的字段
29.     }
32.     IEnumerator PostRequest(string url, string prompt, string negativePrompt)
33.     {
34.         var data = new
35.         {
36.             prompt = prompt,
37.             negative_prompt = negativePrompt,
38.             sd_model_name = "animePastelDream_softBakedVae"
39.         };
41.         string jsonData = JsonUtility.ToJson(data);
43.         using (UnityWebRequest www = UnityWebRequest.Post(url, UnityWebRequest.kHttpVerbPOST))
44.         {
45.             byte[] bodyRaw = Encoding.UTF8.GetBytes(jsonData);
46.             www.uploadHandler = (UploadHandler)new UploadHandlerRaw(bodyRaw);
47.             www.downloadHandler = (DownloadHandler)new DownloadHandlerBuffer();
48.             www.SetRequestHeader("Content-Type", "application/json");
50.             yield return www.SendWebRequest();
52.             if (www.result != UnityWebRequest.Result.Success)
53.             {
54.                 Debug.LogError($"请求失败: {www.error}");
55.             }
56.             else
57.             {
58.                 Debug.Log("请求成功");
59.                 // 解析响应
60.                 string jsonResponse = www.downloadHandler.text;
61.                 YourResponseType response = JsonUtility.FromJson<YourResponseType>(jsonResponse);
62.                 // 假设YourResponseType是你定义的类，用来匹配JSON响应的结构
64.                 // 显示图像
65.                 DisplayImage(response.images[0]); // 假设images[0]包含了Base64编码的图像
66.             }
67.         }
68.     }
70.     private void DisplayImage(string base64String)
71.     {
72.         byte[] bytes = Convert.FromBase64String(base64String);
73.         Texture2D texture = new Texture2D(2, 2);
74.         if (texture.LoadImage(bytes))
75.         {
76.             outputImage.texture = texture;
77.         }
78.         else
79.         {
80.             Debug.LogError("图像加载失败");
81.         }
82.     }
83. }

复制代码

3、Unity 生图交互设置

要通过点击事件触发GenerateImage方法，你可以利用Unity的UI系统中的按钮（Button）组件。这里有一个简朴的步骤阐明如何做到这一点：
步骤 1: 创建sdControl

• 在Unity编辑器中，右键点击Hierarchy面板中的空白区域。
  
• 创建一个空对象Create Empty，并改名为sdcontrol。
  
• 将上一步创建的imgsd脚本拖拽到sdcontrol
  

步骤2：生成后图片画布

• 在Unity编辑器中，右键点击Hierarchy面板中的空白区域。
  
• UI->Raw Image ``
  

步骤3：创建两个输入框

• 在Unity编辑器中，右键点击Hierarchy面板中的空白区域。
  
• UI->Legacy -> input fileld ``
  
• UI->Legacy -> input fileld ``
  执行两次，创建两个输入框
  注：UI ->如果没有Legacy 那就UI -> input fileld
  

步骤4：sdcontrol赋值

步骤 5: 创建按钮并绑定点击事件

• 在Unity编辑器中，右键点击Hierarchy面板中的空白区域。
  
• 选择UI -> Button。这将自动创建一个Canvas（如果尚未存在），button的text改为生成
  
• 选中你刚刚创建的按钮对象。
  
• 在Inspector面板中找到Button (Script)组件。
  
• 拖拽包罗TextToImageRequest脚本的GameObject（即你将该脚本附加到的对象）到Button (Script)组件下方的OnClick()列表中。
  
• 点击OnClick()列表旁边的加号（+）来添加一个新的条目。
  
• 在新条目的None (Object)字段中，确保包罗TextToImageRequest脚本的GameObject被选中。
  
• 然后点击旁边的下拉菜单，选择TextToImageRequest -> GenerateImage。
  

三、测试

• 进入Play模式，输入prompt 点击按钮，这应该会触发GenerateImage方法，从而开始图像生成的过程。
  
  
  
  

注：如果发现生成了画面，但与实际的不符，请实验输入另外一个框，再试着点击一次。由于两个框依次代表，prompt 和native prompt如果输错了框会导致生成结果不理想。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。