Stable Diffusion：使用ControlNet为黑白照片上色

https://www.dong-blog.fun/post/2019
使用ControlNet的Recolor模型为黑白图片上色

1. Recolor Control-LoRA简介

用途：专为黑白照片上色筹划的轻量化模型
核心特点：
• 老照片修复/汗青影像彩色化的理想选择
• 基于ControlNet架构，接纳LoRA（低秩顺应）技术实现模型瘦身：
• 原版ControlNet：4.7GB → Control-LoRA：仅738MB/377MB
• 练习时覆盖多样化图像概念和比例，具备精良泛化本领
技术文档：HuggingFace项目页
  2. 模型下载

官方资源库：ControlNet模型聚集
推荐下载以下2个核心模型：

1. sai_xl_recolor_128lora.safetensors   396 MB
2. sai_xl_recolor_256lora.safetensors   774 MB  

复制代码

我下载了sai_xl_recolor_256lora.safetensors放在models/ControlNet
SDXL 模型我选择了juggernautXL_v8Rundiffusion.safetensors，放到 models/Stable-diffusion
3. 快速部署指南

3.1 使用预配置Docker镜像

1. kevinchina/deeplearning:sdwebui-contorlnet

复制代码

3.2 容器启动命令

1. docker run --net host \    --gpus device=2 \    -v ./models:/workspace/stable-diffusion-webui/models \    -it kevinchina/deeplearning:sdwebui-contorlnet
2. bash

复制代码

3.3 启动WebUI服务

1. cd /workspace/stable-diffusion-webui
2. /opt/conda/bin/python3 webui.py \
3.     --enable-insecure-extension-access \
4.     --skip-python-version-check \
5.     --skip-torch-cuda-test \
6.     --skip-install \
7.     --no-half-vae \
8.     --timeout-keep-alive 300 \
9.     --port 7864 \
10.     --opt-sdp-no-mem-attention \
11.     --no-download-sd-model \
12.     --api --listen

复制代码

4. 打开webui使用

依次按图设置参数：

设置ContorlNet：
recolor_luminance（重着色-亮度）
recolor_intensity（重着色-强度）

5. 使用API批量生图

执行 python generate_recolor_image.py 即可访问API生图
6. 使用 qwen2.5 vl 7b 进行图像描述

在生图的时间，如果有一个较好的图像描述，更有利于生成更好的图像，这里我们开一个 qwen2.5 vl 7b 的API。
教程在这里：https://www.dong-blog.fun/post/2009
这么启动：

1. docker run -it --rm --gpus '"device=1"' \
2. --shm-size 16G \
3. --net host \
4. -v /ssd/xiedong/Qwen/Qwen2.5-VL-7B-Instruct:/Qwen2.5-VL-Instruct \
5. kevinchina/deeplearning:llamafactory20250311-3 bash
7. vllm serve /Qwen2.5-VL-Instruct --max-model-len 16384 --tensor-parallel-size 1 --mm-processor-kwargs '{"min_pixels": 784, "max_pixels": 2352000, "fps": 1}' --limit-mm-per-prompt "image=2,video=1"

复制代码

运行 python request_qwen257b.py 即可哀求API拿到图像的描述。
比如拿到：

1. The image features a bouquet of flowers wrapped in white paper. The bouquet includes various types of flowers in soft pastel colors, such as peach, light yellow, and white. Green leaves and stems are interspersed among the flowers, adding contrast to the soft hues. The background includes a hint of a peach-colored object and a white surface.

复制代码

7. 串联过程

输入一张图，先哀求qwen2.5 vl 7b 进行图像描述，得到图像描述作为Prompt。
使用Prompt和图，去哀求SDXL+ControlNet，得到结果图。
运行 python auto_recolor_with_description.py 即可得到 output_recolored.jpg
8. gradio sdwebui

python recolor_gradio_app.py
使用说明

• 点击上方图片区域上传图片大概拖放图片
  
• 点击开始处理按钮
  
• 等待体系处理，将显示原始调整巨细的图片、L通道图片和重上色结果
  
• 处理过程包括：
  
• 将图像调整为1024x1024
  
• 提取LAB色彩空间的L通道
  
• 使用Qwen2.5-VL生成图像描述
  
• 使用SD WebUI ControlNet进行重上色
  

9. 批量处理测试数据集，生成待测试数据的结果图

python process_and_recolor_images.py

• 新建/ssd/xiedong/image_color/sdwebuicolor_test
  
• 读取/ssd/xiedong/image_color/ddcolor_test下的所有图
  
• 图片名字中含有real_B_rgb的就是原图
  
• 把原图复制到/ssd/xiedong/image_color/sdwebuicolor_test
  
• 图片名字中含有real_A的图是L通道图
  
• 把L通道图复制到/ssd/xiedong/image_color/sdwebuicolor_test
  
• 图片名字中含有fake_B_rgb的不消管
  
• 然后你必要用每张原图，都用这里的这个逻辑代码去生成一张图，并定名为fake_B_rgb的那种名字，存入/ssd/xiedong/image_color/sdwebuicolor_test
  
• 末了，将/ssd/xiedong/image_color/sdwebuicolor_test里的图都resize到384*384。
  

10. 指标测试

1. docker run -it --gpus device=2 -v /ssd/xiedong/image_color:/ssd/xiedong/image_color kevinchina/deeplearning:2.5.1-cuda12.1-cudnn9-devel-ddcolor-webui-metric bash
3. cd /ssd/xiedong/image_color
5. python evaluate_colorization.py --results_dir /ssd/xiedong/image_color/sdwebuicolor_test --output_dir /ssd/xiedong/image_color/sdwebuicolor_test_metric  --use_fid

复制代码

结果：
MetricMeanStdMinMaxssim0.7228460.1204990.2746590.986491psnr17.4180133.4082778.71920731.298785mse1588.5979511364.56931248.2171818732.923037mae25.50872411.2425912.69995671.070618color_error17.5480588.4458061.91576861.184597lpips0.3441670.1092690.0473650.669448fid58.473146---
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告