智谱CogVideoX视频开源大模子

一、资料地址

GitHub - THUDM/CogVideo: Text-to-video generation: CogVideoX (2024) and CogVideo (ICLR 2023)
CogVideo/README_zh.md at main · THUDM/CogVideo · GitHub
二、CogVideo部署与实现

方式1-基于源码部署

步调一：下载源码

1. cd /workspace/
2. git clone https://github.com/THUDM/CogVideo.git

复制代码

步调二：下载依靠库

1. cd /workspace/CogVideo/
2. pip install -r requirements.txt
3. cd sat
4. pip install -r requirements.txt
5. pip install omegaconf

复制代码

步调三：下载模子库

1. mkdir THUDM
2. cd THUDM
3. git lfs install
4. git clone https://www.modelscope.cn/ZhipuAI/CogVideoX-5b-I2V.git

复制代码

 步调四：测试

1. cd ..
2. cd inference
3. python cli_demo.py

复制代码

 方式2-基于Docker部署

步调一：安装docker

1. apt install podman-docker
2. apt install docker.io

复制代码

步调二：启动docker

1. systemctl start docker
2. systemctl enable docker

复制代码

步调三：下载

1. docker run -itd --name=cogvideo -p 7878:7878 --gpus=all registry.cn-hangzhou.aliyuncs.com/guoshiyin/cogvideo:v3

复制代码

方式3-基于modelscope调用

魔搭社区

步调一：下载依靠库

1. pip install modelscope
2. pip install torch
3. pip install accelerate
4. pip install sentencepiece
5. pip install --upgrade opencv-python transformers
6. pip install git+https://github.com/huggingface/diffusers.git@878f609aa5ce4a78fea0f048726889debde1d7e8#egg=diffusers # Still in PR

复制代码

步调二：编写代码

1. mkdir /workspace/
2. touch cli.py
3. vi cli.py 

复制代码

在cli.py中添加代码如下：

1. # To get started, PytorchAO needs to be installed from the GitHub source and PyTorch Nightly.
2. # Source and nightly installation is only required until the next release.
4. import torch
5. from diffusers import AutoencoderKLCogVideoX, CogVideoXTransformer3DModel, CogVideoXImageToVideoPipeline
6. from diffusers.utils import export_to_video, load_image
7. from transformers import T5EncoderModel
8. from torchao.quantization import quantize_, int8_weight_only
10. quantization = int8_weight_only
12. text_encoder = T5EncoderModel.from_pretrained("THUDM/CogVideoX-5b-I2V", subfolder="text_encoder", torch_dtype=torch.bfloat16)
13. quantize_(text_encoder, quantization())
15. transformer = CogVideoXTransformer3DModel.from_pretrained("THUDM/CogVideoX-5b-I2V",subfolder="transformer", torch_dtype=torch.bfloat16)
16. quantize_(transformer, quantization())
18. vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX-5b-I2V", subfolder="vae", torch_dtype=torch.bfloat16)
19. quantize_(vae, quantization())
21. # Create pipeline and run inference
22. pipe = CogVideoXImageToVideoPipeline.from_pretrained(
23.     "THUDM/CogVideoX-5b-I2V",
24.     text_encoder=text_encoder,
25.     transformer=transformer,
26.     vae=vae,
27.     torch_dtype=torch.bfloat16,
28. )
30. pipe.enable_model_cpu_offload()
31. pipe.vae.enable_tiling()
32. pipe.vae.enable_slicing()
34. prompt = "A little girl is riding a bicycle at high speed. Focused, detailed, realistic."
35. image = load_image(image="input.jpg")
36. video = pipe(
37.     prompt=prompt,
38.     image=image,
39.     num_videos_per_prompt=1,
40.     num_inference_steps=50,
41.     num_frames=49,
42.     guidance_scale=6,
43.     generator=torch.Generator(device="cuda").manual_seed(42),
44. ).frames[0]
46. export_to_video(video, "output.mp4", fps=8)

复制代码

步调三：调试

1. cd /workspace/
2. python cli.py

复制代码

三、视频创作平台

1、清影-智谱

体验地址：智谱清言
智谱AI开放平台

提示词
   一只熊猫，穿着一件赤色的小夹克，戴着一顶小帽子，坐在宁静的竹林里的木凳上。熊猫毛茸茸的爪子拨弄着一把微型原声吉他，发出柔和的旋律。附近，其他几只熊猫聚集在一起，好奇地看着，有些还有节奏地鼓掌。阳光透过高大的竹子，在现场投下柔和的光芒。熊猫的脸很有心情，在玩耍时表现出专注和快乐。配景包罗一条小溪和生机勃勃的绿叶，加强了这场独特音乐表演的宁静和神奇氛围。
  写实刻画，近距离，猎豹卧在地上睡觉，身体微微升沉
  低角度向上推进，缓缓抬头，冰山上忽然出现一条恶龙，然后恶龙发现你，冲向你。好莱坞影戏风
  一只白色小兔子戴着黑框眼镜正在像人一样敲键盘。心情严厉认真，桌子上有一盘月饼，侧写镜头，配景是窗户，夜晚，大大的玉轮
  

其它视频生成平台
2、即梦-字节跳动

即梦AI - 即刻造梦

3、可灵-快手

KLING AI

4、pixverse-爱诗科技

PixVerse - Create breath-taking videos with PixVerse AI

5、寻光-阿里

寻光AI - 视频创作平台

参考地址：
星海智算：【同源-CogVideoX】部署教程_cogvideo linux部署-CSDN博客
CogVideo文生视频docker一键部署启动-CSDN博客


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。