Stable Diffusion XL搭建

本文参考：Stable Diffusion XL1.0正式发布了，赶紧来尝鲜吧-云海天教程
Stable Diffision最新模子SDXL 1.0利用全教程 - 知乎
1、SDXL与SD的区别

（1）分辨率得到了提升
原先利用SD天生图片，一般都是天生512*512（模子就是基于这个分辨率举行练习的）的图然后再举行放大，以达到高清出图的效果。
这次SDXL1.0直接利用1024*1024的图片练习底模
（2）SDXL1.0由base模子和refiner模子共同构成
SDXL由文生图的base模子和图生图举行优化放大的refiner模子构成，以是生图过程中会先运行底子模子，然后再运行细化模子。底子模子设置全局构成，而细化模子则添加了更多的细节。

2、安装的硬软件情况

硬件：如果希望在GPU上运行，则需要GPU显存在16G以上，否则很难运行。
软件：python需要在3.10以上。

3、下载Stable Diffusion WebUI源码到本地

执行下令：git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
将代码从GitHub下载到了本地

4、 切换到支持SDXL的版本

支持SDXL的webUI版本需要v1.5.0以上。
在stable-diffusion-webui目次下运行：
git checkout -b v1.6.0

5、启动WebUI服务

python launch.py  --listen --port 12346 --theme dark --xformers --enable-insecure-extension-access
首次执行该下令后，会自动下载干系算法源码到repositories中，以及干系模子到对应的目次下。
如果运行成功则直接跳到第8步，否则按照6-9步依次手工处理干系题目。

 
6、repositories安装错误处理

如果出错，则需要手工下载这些代码放到指定目次。以下过程仅针对启动不成功时需要手工安装的步骤：
（1）下载stablediffusion源码
提示错误：“Command: "git" clone "https://github.com/Stability-AI/stablediffusion.git" "/xxx/stable-diffusion-webui/repositories/stable-diffusion-stability-ai"”
则手工再执行git clone https://github.com/Stability-AI/stablediffusion.git ，（如果下载照旧不成功则从git中下载zip文件，放到相应目次后解压，该方法适用以下的其他源码。）然后更名为stable-diffusion-stability-ai。
（2）下载k-diffusion源码
手工执行git clone https://github.com/crowsonkb/k-diffusion.git或手工下载zip包
（3）下载CodeFormer源码
手工执行git clone https://github.com/sczhou/CodeFormer.git或手工下载zip包

7、py的requirements_versions.txt安装错误处理

报错信息：

处理方法：
pip3 install -r requirements_versions.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
直接官网下载不通的话，建议换成清华大学的数据源举行安装。

8、下载SDXL大模子

（1）首先考虑直接从HuggingFace中下载模子
SDXL大模子涉及stable-diffusion-xl-base和stable-diffusion-xl-refiner两部分，链接地址为：
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors
https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0.safetensors
这两个文件是底模，约莫7个G每个文件，下载到GPU服务器后，需要放到stable-diffusion-webui/models/Stable-diffusion文件夹中
针对base模子，如果直接利用stablebilityai的stable-diffusion-xl-base-1.0模子，自己利用时效果大概没那么好，我则从c站下载自己喜好style的基模，比如：https://civitai.com/models/139565/realistic-stock-photo
这个是真实电影感比力强的SDXL1.0的base模子。

而refiner模子则照旧利用huggingface提供的refiner模子。
（2）如果HuggingFace和civitai无法连通，可以从https://aliendao.cn/下载对应模子。

9、下载VAE模子

（1）首先下载vaeapprox-sdxl.pt模子（必选）
WebUI启动过程中大概会出现如下雷同错误：
Downloading VAEApprox model to: /xxx/stable-diffusion-webui/models/VAE-approx/vaeapprox-sdxl.pt
TimeoutError: [Errno 60] Operation timed out    
During handling of the above exception, another exception occurred:
这是由于缺少一个vaeapprox-sdxl.pt模子，一般自动下载会很轻易失败，保举各人去GitHub上手动下载，链接地址为：
https://github.com/AUTOMATIC1111/stable-diffusion-webui/releases/tag/v1.0.0-pre

下载后放到stable-diffusion-webui/models/VAE-approx/目次下即可
（2）安装VAE模子（可选）
https://huggingface.co/stabilityai/sdxl-vae/resolve/main/sdxl_vae.safetensors
下载后放到stable-diffusion-webui/models/VAE目次下即可。

10、利用WebUI的SDXL功能

webui通过以下下令执行成功后，
python launch.py --listen --port 12346 --theme dark --xformers --enable-insecure-extension-access
然后chrome浏览器中输入<服务器ip>:12346后即打开了SD的WebUI服务如下：

留意点1的位置：选择SDXL的base模子
留意点2的位置：选择SDXL的refiner模子，该模子会在base模子运行进展到80%（Refiner的Switch at参数）时切换为refiner模子继续执行。
留意点3的位置：将分辨率从默认的512*512调整为1024*1024，这个是SDXL和SD的显著差异之一。
根据以下prompt我们天生测试图片，
prompt及干系参数信息：
photograph close up portrait of Embraced couple enjoying in a movie in theatre , cinematic 4k epic detailed 4k epic detailed photograph shot on kodak detailed bokeh cinematic hbo dark moody
Steps: 35, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1847092677, Size: 1024x1024, Model hash: 2d44ce378d, Model: realisticStockPhoto_v10, Refiner: sd_xl_refiner_1.0 [7440042bbd], Refiner switch at: 0.8, Version: v1.6.0
图片达到了电影感的效果：

此天生过程耗时1分32秒，占用12.9G的显存。
如果进展到这里都没有题目，那么请开始SDXL的旅程吧！！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。