如何用Python将普通视频变成动漫视频

最近几个月，毒教材被曝光引发争议，那些编写度教材的人着实可恶。咱程序员也没有手绘插画能力，但咱可以借助强大的深度学习模型将视频转动漫。所以今天的目标是让任何具有python语言基本能力的程序员，实现短视频转动漫效果。

效果展示

一、思路流程

• 读取视频帧
  
• 将每一帧图像转为动漫帧
  
• 将转换后的动漫帧转为视频
  

难点在于如何将图像转为动漫效果。这里我们使用基于深度学习的动漫效果转换模型，考虑到许多读者对这块不了解，因此我这边准备好了源码和模型，直接调用即可。不想看文章细节的可以直接拖到文章末尾，获取源码。
二、图像转动漫

为了让大家不关心深度学习模型，已经为大家准备好了转换后的onnx类型模型。接下来按顺序介绍运行onnx模型流程。
安装onnxruntime库

1. pip install onnxruntime
2. # 源码及Python资料教程、电子书领取群 279199867

复制代码

 
如果想要用GPU加速，可以安装GPU版本的onnxruntime:

1. pip install onnxruntime-gpu

复制代码

 
需要注意的是：
onnxruntime-gpu的版本跟CUDA有关联，具体对应关系如下：
 

 
 
当然，如果用CPU运行，那就不需要考虑那么多了。考虑到通用性，本文全部以CPU版本onnxruntime。
运行模型
先导入onnxruntime库，创建InferenceSession对象，调用run函数。
如下所示

1. import onnxruntime as rt
2. sess = rt.InferenceSession(MODEL_PATH)
3. inp_name = sess.get_inputs()[0].name
4. out = sess.run(None, {inp_name: inp_image})

复制代码

 
具体到我们这里的动漫效果，实现细节如下：

1. import cv2
2. import numpy as np
3. import onnxruntime as rt
5. # MODEL = "models/anime_1.onnx"
6. MODEL = "models/anime_2.onnx"
8. sess = rt.InferenceSession(MODEL)
9. inp_name = sess.get_inputs()[0].name
12. def infer(rgb):
13.     rgb = np.expand_dims(rgb, 0)
14.     rgb = rgb *  2.0 / 255.0 - 1
15.     rgb =  rgb.astype(np.float32)
16.     out = sess.run(None, {inp_name: rgb})
17.     out = out[0][0]
18.     out = (out+1)/2*255
19.     out = np.clip(out, 0, 255).astype(np.uint8)
20.     return out
22. def preprocess(rgb):
23.     pad_w = 0
24.     pad_h = 0
25.     h,w,__ = rgb.shape
26.     N = 2**3
27.     if h%N!=0:
28.         pad_h=(h//N+1)*N-h
29.     if w%2!=0:
30.         pad_w=(w//N+1)*N-w
31.     # print(pad_w, pad_h, w, h)
32.     rgb = np.pad(rgb, ((0,pad_h),(0, pad_w),(0,0)), "reflect")
33.     return rgb, pad_w, pad_h

复制代码

 
其中, preprocess函数确保输入图像的宽高是8的整数倍。这里主要是因为考虑到深度学习模型有下采样，确保每次下采样能被2整除。
单帧效果展示



三、视频帧读取与视频帧写入

这里使用Opencv库，提取视频中每一帧并调用回调函数将视频帧回传。在将图片转视频过程中，通过定义VideoWriter类型变量WRITE确保唯一性。具体实现代码如下：

1. import cv2
2. from tqdm import tqdm
4. WRITER = None
5. def write_frame(frame, out_path, fps=30):
6.     global WRITER
7.     if WRITER is None:
8.         size = frame.shape[0:2][::-1]
9.         WRITER = cv2.VideoWriter(
10.             out_path,
11.             cv2.VideoWriter_fourcc(*'mp4v'),  # 编码器
12.             fps,
13.             size)
14.     WRITER.write(frame)
16. def extract_frames(video_path, callback):
17.     video = cv2.VideoCapture(video_path)
18.     num_frames = int(video.get(cv2.CAP_PROP_FRAME_COUNT))
19.     for _ in tqdm(range(num_frames)):
20.         _, frame = video.read()
21.         if frame is not None:
22.             callback(frame)
23.         else:
24.             break

复制代码

 
完整源码获取点击  蓝色字体 获取哟~
给大家推荐一套爬虫教程，涵盖常见大部分案例，非常实用！
代码总是学完就忘记？100个爬虫实战项目！让你沉迷学习丨学以致用丨下一个Python大神就是你！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！