作者公众号 大数据与AI杂谈 (TalkCheap),转载请标明出处
近期肝了很长时间,把国内外相对主流和常见的AIGC图像,视频,音频生成产品,网站都试用了一圈,做了一下总结,分享给大家。
这一篇主要介绍视频相干生成工具。谈一下个人的感受和见解,简朴罗列一下优缺点和订阅代价等等。图像AIGC请看上一篇文章:
AIGC图像视频工具和网站大全:数十款图像、视频、音频生成软件和网站,总有一款得当你(图像篇)_aigc视频 工具-CSDN博客
本文主要是对各类产品功能做简朴介绍和展示,不涉及详细的深入探究,针对其中部门优秀的产品,软件的功能和利用技巧,创作范例,后续会单独撰文介绍。
以下是本文视频篇中的主要产品列表 :
- Minimax(海螺 AI)
- 通义万象
- Runway
- 可灵
- 即梦 AI
- Viva
- Vidu
- Haiper
- Pika
- 智谱 - 清影
- Pixverse
- Mootion
- Luma
- Stable Video
- Promeai
- ComfyUI
然后是具体每个产品的简朴介绍,如果不想看介绍,只想看一下各自的优缺点小结,可以直接跳到最后边的总结。
注:文章里的一些demo视频因为不太好贴,所以在这里就没有贴,如果需要,可以在我的公众号里看完整的带视频的内容
Minimax (海螺AI)
Minimax的海螺AI,可说是近期比力火的AI视频生成工具之一。它的文生视频生成的视频,在人物动作和画面活动幅度都比力大的场景中,也有很大的概率能保持画面不崩和物体的活动逻辑的合理性。我第一次登录它的网站的时候,就是被它首页的一个女探险家行走在森林里的文生视频惊讶到了。居然仅凭笔墨形貌就能一个镜头生成人物动作和视角转换如此流畅的视频。
它的图生视频功能,在对目标视频的形貌和你所提供的原始图像内容比力接近的环境下,也能有不错的效果。
或许是海外的用户付费风俗比力好,国内AI公司的产品,近期有很多都走的先海外,再国内的路线。
海螺AI也是如此。他在国内和国外分别建设了两个网站
海外站点的网址是:https://hailuoai.video/ , 专注于视频生成,没有其它功能。海外网站前不久已经开启了正式的贸易化服务。
新用户有三天的不限量免费试用时间,这一点相比其它网站赠送少量名誉点,随便试两个视频就用完了相比,就要慷慨不少,三天时间,任你利用,方便你充实体验产品。
不过免费用户同一时间只能生成一个视频,而且人多的时候需要排比力长的队,比如周末繁忙的时间,乃至大概需要排几千人,等候一个小时以上。但是人少的时候,比如平时早上的时间,大概等一两分钟就可以了。
它在国内的网站是:https://hailuoai.com/video
它在国内的网站除了视频生成,实在还包括通常的问答,以及海螺音乐等内容
停止现在,国内的海螺视频,音频,都是免费生成,且没有限额,但是同时也只能生成一个视频,且需要排队等候。现在还没有付费的方式,据说很快就要开通付费功能了,不知道代价和海外版比,会是咋样。
优点:
视频生成质量高,大幅度活动画面也能保持画面不崩
能生成视角转化相对复杂的连续活动画面,而不仅仅局限于场景视角变革不大的画面
国内版网站,免费用户,现在也能无穷额利用。
缺点:
功能相对简朴,图生视频,没有首尾帧功能,不能指定画面元素活动路径,不能指定运镜方式等等
没有太多后处理本领,不能通过尾帧延长视频,不能进步分辨率等
视频长度固定,文生视频不能指定画幅,默认只能16:9
费用:
海外版每天登录送100个名誉点,一个6秒的视频要斲丧30个名誉点,也就是一天能生成3个视频。标准付费用户10刀的费用,额外一个月获取1000个名誉点,也就是33个视频,差不多两块钱一个视频,如果算上免费的部门,总共一个月可以生成120个左右视频,差不多五六毛钱一个视频。
120个生成额度,如果要做端庄的视频创作,还没有任何控制画面的手段,必然需要反复抽卡,那肯定是远远不敷的,要痛快酣畅利用,贸易用户95刀的筹划,不限数目,肯定是最好的。
单独购买名誉点的话,现在是一刀100个名誉点左右,算下来也差不多2元多一个视频的代价。可以利用国内支付手段,如支付宝等进行支付。
通义万象
通义万象的视频部门,网站上利用根本是用不了的,排队排不上,总是失败。但是在通义APP里利用,就很舒服了,速度还是不错的,虽然也要排队,但等个十几分钟,都能完成,而且可以同时排队6个并行使命,并且免费,不限额度,还是那句话,有钱任性。
具体路径在频道页,万象AI生视频中,包含文生视频和图生视频两个模块
两者的界面差不多,提供智能扩写,可以或许扩写形貌词,支持不同的分辨率选择。可以或许生成背景音乐
生成的音乐一泰半概率是不合拍的噪声,但也有一部门概率可以或许美满配合视频画面,特别是画面配合的音效是相对简朴干净的效果音的时候,整体契合度就会很好。
比如我生成的几个模特在水下行走,漂泊的视频,水泡上升的声音与画面的配合就很美满。
功能界面相对简朴,没有太多好说的,来看几个用它生成的视频,包括文生视频和图生视频
优点:
现在完全免费,不限额度,APP端速度也还可以,排队不用排很长时间,一次能排六个,所以也够用。
如果形貌准确,生成视频画面质量还是比力优秀的,人物也根本不太变形错位,哪怕人物在画面中比例较小的时候
可以或许同步生成视频的背景音乐,这点是大多数视频生成网站不具备的本领,虽然效果好坏看运气,但有总比没有强,不需要自己找音效卡点之类的了。
缺点:
个人用户没有付费方式,视频不能去水印,想花钱都不让你花
功能简朴,没有任何前期镜头控制,后期高清处理之类的本领
人物动作倾向于慢动作,所以活动幅度比力大或者运镜速度比力快的画面,有时动作就显得比力僵硬
场景角度变革较大的画面不太能做,根本生成的是场景切换移动幅度不大的场景(也大概是我没掌握技巧)
和图像生成模块类似,敏感关键字太多,比如万圣节,你要画个骷髅,吸血鬼,僵尸,鬼魂,十字架,统统不行,关键有些关键字还莫名其妙,根本不知道那里有题目。
费用:无
下面这个视频,素材我是完全用通义生成的,留意一下里面的水声,都是通义生成的。
望月的蚂蚁
run way
网址 https://app.runwayml.com/
runway是AI视频生成领域的老兵了,视频生成效果曾经一枝独秀。直到近来众多的其它国内外视频生成产品的出现,让用户有了更多的选择。
但它的代价,确实不便宜,而且新注册账户,一次性的125个名誉点,只够生成不到30秒的视频,也不会定期刷新给新的名誉点,所以不太好白嫖。
最新的模型是gen-3模型,但如果你是用免费账号试用的话,几乎是没法用的,官方的说法是服务器压力太大,就算点了生成,也是很快就失败了。所以免费账号大致就只能试用几次gen-2的模型。
具体视频生成效果,Gen-2模型放在本日和其它最新的产品比,是非常一般的。但功能方面确实很多。仅视频方面,就包括文生视频,图生视频,镜头控制,活动笔刷,风格选择,自界说参考风格,视频延长,视频复用生成(保持seed值),视频转绘,声音对口型等等,
而Gen-3模型,效果就有了巨大的提升,特别是新上的镜头控制功能,效果惊人。虽然其它产品也有类似的运镜功能,但是最终效果,根本属于平移镜头或简朴缩放镜头,而Runway的镜头控制功能,能很好地展示物体的三维视角变革,产出效果真正具备3D空间运镜的感觉,看Demo视频几乎像是在3D软件中做视频运镜一样,和其他产品的运镜功能相比,效果美满是碾压的。
不过看大多数视频,在做镜头视角变革的时候,物体自身的活动就不太大了,所以多数时候,效果更像子弹时间这种感觉。
费用
少量实用的花,代价是很贵的,生成一条几秒的视频,换算下来,大概要十几元,如果不买一个月95刀的不限量筹划,那肯定是没法端庄用的,最多就是测试一下。
当然,如果你是重度用户或贸易用户,一年接近七千虽然不算便宜,但还是比你自己买块4090合算不少,何况你自己本地速度还慢,功能上你也搞不出这样的效果。
可灵
国内网址:https://kling.kuaishou.com/
国外网址:https://klingai.com/
可灵AI视频,也算是国内比力早在国外打出名气的产品。国内网址需要用手机注册,国外网址可以用邮箱注册。本身是包含图像生成和视频生成的。但是图像生成方面没有什么特别出彩的地方,而且手指根本是画不好的。倒是视频生成部门,因为具备一定的镜头和画面元素控制本领,质量和代价性价比也还比力高(单次生成视频的代价相比runway),所以被国内外的众多视频创作者所广泛利用。
图像生成如果不涉及我刚才说的手脚之类的题目,实在也还能用,可以给视频垫垫图
功能方面,图生视频除了能上传首帧做为开始的画面,也能添加尾帧,做两幅图像之间的变化视频,但这个功能很难用好,大多数环境下效果一般,大概就是两端视频中心插入一个融合转场效果,要不然就是强行转换画面,物体严峻扭曲之类的,很难平滑过渡,得当做抽象动画,但不太得当出现真实活动变革。当然,有时候运气好的话,也偶尔能做出连续变革的效果。就是对两幅图像的构图,景物相似性,或者形貌词等有比力高的要求了。
比如上面这两张首尾图像生成的视频,人物动作就非常连贯
也支持视频对口型功能,不过只支持通过可灵生成的视频,不能自己上传图片或视频。
活动笔刷功能,可以选择图像中的对象(提供了自动识别对象和手工涂抹蒙版的功能),指定该对象的活动轨迹,然后联合形貌词,生成视频。而且能同时指定多个对象和各自的活动路径。不过物体具体的活动方式,并不是绝对的,有大概动的是物体本身,也有大概动的是背景,物体不动,但物体在画面中的相对位置照着指定方向移动。总之,并不是准确的,而是一种相对的提示作用,但这也很锋利了。
比如上面这个玉人拿起扇子遮住脸的动作,虽然我指定的是女子的活动方向,但实际是镜头在做反向移动,不过思量到我写的形貌词,这样的结果也很合理。
优点:
图生视频本领较好,生成的人物动作,相对比力流畅
提供首尾帧等图像引导视频功能
活动笔刷的控制,实际结果也还不错
缺点:
效果比力随机,稳定性一般,需要抽卡碰运气
复杂的动作场景形貌,生成效果比力一般
文生视频,人物脸部较小的时候,也很容易崩,脸部较大的时候还好。
免费用户生成视频速度很慢,排队算法也很迷,很随机,有时候个别视频乃至卡在那里,排队排一两天
费用:
生成一条5秒的标准质量视频需要10个灵感值,大概就是一块钱一条了。如果是高质量视频,斲丧的灵感值翻倍。横向比力,属于中等相对便宜的。
没有不限量的会员筹划,所以如果需要大量生成视频的话,不如其它产品的类似代价档次(600-700元每月),但不限量利用的筹划来得合算了。
看一下首尾帧控制生成的邀赞小姐姐
即梦AI
上一篇说了即梦AI的图片生成功能非常良心好用,即梦的视频生成功能也还不错
https://jimeng.jianying.com/ai-tool/home
功能方面,和他的生图功能配合的很好,此外还有配音,对口型等附加功能,视频生成效果虽然属于一般的水平,但做一些近景视频,也还可以。最主要是代价相比其他产品要便宜很多,哪怕免费用户,一天送的66个积分,也够生成二十条视频了。
优点
免费用户的速度也很快,几乎不太用排队。视频质量,时长,画面比例可选
单条视频代价相对便宜,付费会员利用闲时延迟生成功能费用还有扣头
图生视频功能尚可,对口型功能可以单独利用,可以上传本地视频,不限于本平台生成的视频。
缺点
文生视频质量一般,中景远景的人物,脸一般根本都是糊的。近景和特性镜头尚可。(没有试过付费会员,不知道高清模式下,人物脸部清晰度会不会更好一些)
无法生成运镜较为复杂的连续活动画面
费用
免费账号每天赠送66个积分。
一秒视频斲丧一个积分,付费账号部门,差不多一元钱对应十秒的视频,相比其它产品,就相称便宜了。
Viva
网址 https://vivago.ai/
图形和视频生成模块都有,图像输出结果感觉有一点过度PS的感觉,颜色不是特别真实。但是视频生成模块,效果还不错,特别是人物的动作比力自然,和周围环境的互动,机构关系,透视比例等等也比力合理。
图像生成功能有脚色一致性控制本领,但是好像没法用到视频的生成上去,或许以后会添加?
界面是英文的,但是打开Magic Prompt功能以后,提示词是可以利用中文的
功能方面包括文生视频和图生视频,免费用户可以或许选择基础视频模型,付费用户可以利用高级视频模型,基础模型的质量看起来也是不错的。支持智能扩展形貌词。可以控制画面活动的幅度巨细和画面比例,可以指定Seed,便于微调生成一组画面内容类似的视频进行比力择优。
这个图书馆猫咪的视频是参考demo的形貌词写的,效果很不错
优点:
免费账号也可以不限量的生成视频,(当然,需要排队)
文生视频的生成质量还算比力优秀,视频内容往往能较好遵照形貌进行生成
相比其它产品,生成的人物动作更加自然真实。
缺点:
大范围转移活动的场景好像做得不太好(但也不确定,没有做严格测试)
对亚洲人像支持一般,多样性不足
只能利用名誉卡,PayPal等海外支付手段
费用
免费用户也根本能无穷量生成视频,就是生成速度比力慢,一个视频需要排队十几到几十分钟不等。
付费用户的定价应该说也非常良心了,最根本的5刀的套餐,就能利用高级模型和去水印。而20刀的Plus筹划,就能无穷量的利用快速视频生成通道,支持4个并发度。这个代价只有其它产品类似不限量快速通道服务筹划的五分之一不到。
Vidu
生数科技和清华大学团结研发,当时号称国内首个纯自研原创视频大模型,效果方面,也有不错的口碑
网址:https://www.vidu.studio/
虽然是国内的产品,但估计主要面对海外用户?虽然网站界面是支持中英双文的,但订阅付费都是利用Stripe,通过名誉卡,不支持国内支付宝等支付方式
网站首页,不得不说,是非常非常的丑,网页的交互功能筹划等都非常粗糙,一眼盗窟。看来是没有找美工筹划这一块。哪怕抄一下其它网站也好。毕竟看脸的期间,好酒也怕巷子深。
除了常见文生视频和图生视频,他还有一个参考生视频功能,可以上传一张人物图像作为参考,生成的视频会参考该使命的外貌和服饰特征(合称主体特征),联合形貌词再生成具备人物一致性的视频。实行下来,女性脚色的面部特征,发型这些把握得还是不错的,男性的就差一点。这个对制作多镜头的短视频来说,还是很好用的,省去了后期换脸的工作。
另外这个参考主体(人物)生成视频(文生视频)的功能,按官方的说法,不局限于人,也可以是一些其它卡通形象或物体,我没有自己实际试验,但看官方的宣传视频,乃至可以是一双鞋子,一个沙发,然后视频人物穿着这双鞋子,躺在这个沙发上之类。。。
我没有实际试过,但估计不会太准确。但即便如此,也很锋利了,大概准确程度不一定能支持电商商用(毕竟作为商品宣传用,需要严格一致性,还是建模或实拍靠谱),但作为平凡视频的物体一致性控制手段,大概还是可以的
Vidu生成视频的质量相对较高,小幅度动作的场景,根本上都可以或许有比力好的效果,很少出现人物形象结构崩坏的环境,大幅度活动的场景还没有深入实行,不好评价判定。
中英文都支持。免费账号和标准版账号都只能利用高性能模式(实在就是低质量模式),这个模式生成的视频,默认尺寸下都很含糊,需要超清放大以后才气利用,免费账号倒也是可以放大的,就是需要额外花费和生成视频相同的积分。
优点
视频图像质量好(超清放大以后),人物活动姿态真实
参考生成视频模式,可用性好,人物一致性控制不错
缺点
高性能模式,默认视频画质差,画面含糊,几乎没法用
支付方式不支持国内支付手段
费用
高性能模式一秒一个积分,转超清分辨率还要花一个积分,相称于一秒视频需要斲丧两个积分。算下来也差不多一秒视频需要0.9到1元左右。生成一个4秒的视频3-4元,相比其它国内收费产品,算是贵的了。乃至160刀一个月的的尊享版,都不能无穷量生成(就算昂贵的runway,也有不限量的版本筹划可以订阅,总体成本可控),一千元只能抽300次卡,所以质量好归好,但估计绝大多数用户是用不起的。和美工筹划类似,贸易模式的筹划感觉也是很一般,大概团队主要还是技术背景是强项,其它方面的人都差那么一点。
Haiper
网址 :https://haiper.ai/ 这是一家伦敦的创业公司,但团队首创人泰半是华人
视频生成模型现在有两个版本可以利用,1.5老版本生成2秒和4秒的视频是免费的,最新的2.1版本则需要花费积分名誉点。1.5的模型支持视频风格的选择,但不支持Magic Prompt,需要利用英文输入。2.1模型则支持中文输入。
现在网站还处于Beta版阶段,但功能已经非常完整。除了文生图,文生视频,图生视频这些基础模块,还提供视频的延长,高清,局部修改等增强模块,和各种场景模版,变形,换脸,动作和心情模仿等快速应用型模块。
加了这么多应用型的模块,很明显是强调面对平凡用户而不仅仅是专业视频创作者的意图。这也是现在很多AIGC网站的产品形态方向。毕竟专业视频创作者数目有限,而且要求也高得多。从各种AI产品的网站或者app排名就能看得出,大众流量还是那些小白应用型的网站或产品。
视频质量来看,1.5模型差强人意,活动的人物根本脸部和肢体都是崩的(也大概是我试的不敷多),人物心情也不太自然,到了2.1模型质量就好很多,同样的形貌词,产出的画面,虽然人物脸部面积不敷大的时候,也会含糊,但至少动作姿态是自然的完整的。
1.5模型的重绘(属于video2video的一部门)功能可以选择并修改视频中的局部对象,生成新的视频,比如把画面中的中国女孩改成俄罗斯女孩,动作姿态保持一致。还是挺风趣的,效果嘛,我试了两次,修改后的画面融合的还可以。质量本身不好说,毕竟是1.5模型。大概一些非写实风格的容错性会更好一些
优点
应用型功能模块众多,上手门槛低
可以上传视频做各类自界说后处理,如局部修改,延长,高清处理等
1.5模型现在免费
缺点
人物大幅度活动的场景,生成质量非常一般,慢速镜头,特写镜头等还可以。
1.5模型画面容易崩,而2.0模型自界说控制画面的手段,比如活动镜头控制之类的都还没有,所以综合本领也就一般了。
费用
2.0模型,生成一秒视频需要5个名誉点,付费筹划差不多一刀能买150到170个名誉点,算一下,也差不多1元生左右成一个4秒的视频,算是相对中等偏便宜一点的代价。但思量到视频的质量和抽卡的必要性,运气一般的话,估计成本就会增长,和其他产品大概差不了太多。此外,效果好的2.0模型没有默认的不限额利用筹划。
Pika
网址:Pika.art
Pika也是国人出海做的老牌的视频生成网站了,但是这一年来后起之秀太多,在基础的视频生成领域,pika好像就没有太多的声音了。
不过这几个月,Pika另辟蹊径,开始上各种的奇怪的特效效果,算是拉回了一波眼球。这些特效,也就是Pikaffect,大概有十来个,比力热门的比如squish it捏扁,其它特效还有比如压平,坍塌,飞灰湮灭,以及新上的几个万圣节相干特效比如脑袋搬家,漂泊,眼睛弹出眼眶之类。
Pika 免费的账号送的150个名誉点,理论上够做十个6秒的特效视频,但是Pika的免费账号,视频生成常常需要排队,而且大概一直在排队状态出不来,斲丧的名誉点也不返回,导致实际大概就能生成4-5个视频。我有一半的视频挂在那里快两周了,还卡着,估计是早就废了,还删不掉。
eye pop的特效,有时候对得不是很准。需要重试。
优点 :Pikaffect很好玩
缺点:没太玩除了特效以外的根本视频生成功能,不好评判。但近来声音不大。
费用:
一个6秒的视频需要15点名誉点,一刀差不多70个名誉点,算一下差不多1.5元一个视频,相比其它产品,不算便宜也不算贵了。提供了95刀的不限量版利用筹划。
智谱-清影
https://chatglm.cn/
智谱做语言大模型起家的,厥后做的图像领域,AI视频是网站的几个功能模块之一
清影生成的视频怎么说呢,有好有坏,就是感觉很特别。
比如它生成的视频,不管选什么风格,我总感觉有很强的老影戏的感觉,特别是如果选用视频风格好坏老照片的话,强烈的暗角,闪烁的屏幕,劈面而来的好坏默片的感觉。情感氛围的效果也会导致画面有很强的戏剧性。
画面也往往自带昏黄,往好了说呢,有怀旧的效果,有强烈的艺术氛围感。但是,往坏了说呢,清影生成的视频,又常常有严峻的图像结构不合理的题目,含糊的脸,奇怪的肢体,扭曲的物体,重复的元素,抽象的局部画面等等。
哪怕提示词是写实的人物和场景形貌,生成的视频画面也总有机械,抽象,油画混合的那种感觉。虚幻,梦核,二次元,怀旧,但又带点怪异。
总之,就很莫名的特别,我总感觉是它训练时利用的视频大概以古老的影戏和电视剧居多,所以有这样的结果,也不知道是喜是忧。比如画慢动作特写类人物情绪的镜头,就很符合。只是需要抽卡包管物体结构合理。
文生视频的画面动作都还比力大,不是静态微动的那种,运气好,效果就不错,画面有强烈的动感,但一泰半时间,画面细节会有明显的扭曲变形乃至错位。感觉就是模型没太训练完,还很野,结果天马行空,不是惊喜,就是惊吓 ;)
看看这个天马行空的镜头
优点:
风格独特,得当特定氛围
能产生大幅度活动画面,运气好的话,效果不错
现在免费账号也可不限量利用
缺点:
图像质量见仁见智
功能简朴,没有太多控制余地
费用:
它的账号不是专门给AI视频的,而是整个产品网站的,包括大语言模型,绘图,视频等等合在一起,会员和VIP的区别。就视频生成而言,包括高清,加速排队,高画质等权益。相比其它专门做图像视频产品的网站,39元连续包月,代价是非常非常的便宜了。或许是因为模型还处于迭代阶段吧
Pixverse
这也是国内团队的产品,但在海外部署上线的。也迭代了几版,近来上线了V3模型,
网址 :https://app.pixverse.ai/
近期,也开始玩各种特效模版,比如pika的热门特效Squish it,pixverse也有,但是效果明显比Pika要差一些,捏到一半就停了,不知道是为了避免通盘照抄的嫌疑还是本领有限。诡异的微笑,开枪的特效,在网上也被广泛用来恶搞传播了一番。
功能方面,支持视频延长,对嘴型,提升分辨率等相对常见功能
Pixverse生成的视频,文生视频方面我感觉效果还可以,产出效果也相对稳定,不过我感觉也主要是以人物动作幅度不大的微动风格的视频为主,人物动作幅度很小,但是背景画面倒是有一些明显的动效。整体画面还是比力真实的,特别是背景场景方面,有比力好的写实效果。但是,人物或镜头活动幅度比力大的画面大概比力难生成。
比如这个视频,背景的爆炸效果就动静比力大,但女性脚色的活动幅度就很小。
图生视频感觉效果相对差一些,就我测试的环境来看,成功率比力低,大多数会出现画面的扭曲变形,比力难实现想要的视频活动效果,几乎不太能用。
Pixverse可以上传一张照片用来界说人物(character),在视频生成时可以引用人物来出镜,也是少数几个可以用图片界说视频中的人物形象的产品。效果嘛,脸部结构清晰的话,女性有七八分像吧,前面那个视频就是用了第三张图片作为人物特征参考。
优点:
画面比力真实,小幅度活动的视频,效果比力稳定
可以自界说人物形象,便于控制生成多个视频时候的人物一致性
缺点:
图生视频效果较差
大幅度一些的活动画面难以生成
费用
账号注册免费给100个名誉点,之后每天更新30个。做一个5秒的标准视频也需要30个名誉点,所以大概是让你每天回来试一下的意思。。。有用又好像没用。
名誉点,按pro筹划来算的话,30刀可以生成200个视频,也差不多一元一个视频,但是视频高质量,对嘴唇这些功能,都需要额外的30点名誉点,所以大致也要1.5-2元一个视频了。
Mootion
网址:www.mootion.com
Mootion是一个比力特别的网站,与其说他是一个视频生成网站,不如说它是一个一站式故事短片PPT或者动画书生成网站。
它的整体流程是围绕故事短片的分镜拍摄流程来进行的,用户先新建一个故事,可以输入根本分镜的脚本,可以是中文也可以是英文,乃至也可以只起一个故事的名字,让它自动生成故事内容的分镜脚本。
然后,他会根据这些分镜脚本内容,一次性批量生成一批分镜图,这些分镜图中,人物看起来还都挺像的,一致性不错,内容的表达也根本符合笔墨意思
比如上面我输入梵高的绘画作品和生平介绍,然后点击下一步,没有做任何修改,就一键生成了十三个分镜的故事情节和对应的画面。虽然画面内容并不准确(主要是对这种真实的故事来说),但是整体故事结构和完整性都很不错。
你可以手工更换或者修改每个场景的文本,绘图用的提示词,重新绘图,乃至手工上传一张图片来更换具体的场景等等(比如提到梵高的画的时候,上传一张梵高真实的作品,而非让AI自己画),让画面和内容更加准确。总之,就是内容是完全可控的。
这些分镜画面的形貌,利用了分镜脚本的内容,但绘制图像的时候,会利用调解过的文原来生成,添加了一些更细节的对人物,场景的形貌(这些形貌不会出现在故事本身的文本中),主要是会加上一些统一的环境描写,人物姿态动作描写之类的,让每张图片生成效果更加一致。在绘图提示调解的界面,你还能指定人物的pose(毕竟,故事书里人物的动作姿态是很重要的内容)
近来它添加了分镜视频功能,可以进一步根据分镜图再生成一个几秒的视频,用来更换这段分镜的静止画面。
然后,你可以选择和配置整个视频的标题,分镜的字幕样式,分镜效果和转场方式,旁白的语音,背景音乐等等。总之就是傻瓜式的把所有的工作流程都帮你完成。你只要一路点击下一步,就能帮你生成一个完整的视频了。
当然,最后合成视频的步调,你如果有视频编辑的本领,也可以自己做,他提供了完整的图片素材包,文本,故事概述供你下载到本地利用。不得不说这确实很美满很有针对性的产品。据说国外有很多用他做儿童绘本视频的。
那么看看上面我花了一分钟时间,一键生成的梵高生平的短片吧(请忽略画面内容的准确性,毕竟我一个字一张图都没改)
望月的蚂蚁
优点:
傻瓜一站式流程,极致快速方便
人物一致性不错
自动故事和分镜脚本
缺点:
灵活性较差,得当没有基础的用户。图片和视频生成质量和本领有限
最后生成的视频中,语音和字幕不支持中文,中文不会表现
费用:
如果什么都不改,一个故事需要花20点名誉点,按标准用户的代价,10刀一千个名誉点来盘算,差不多一元就能生成一个故事。当然如果你要修改画面重新生成,或者部门画面生成视频等等,就需要花费更多的名誉点了。
Luma
https://lumalabs.ai/dream-machine
luma的网站界面,真的是简朴到了极致,只有一个输入框。乃至连类似网站常见的公共Demo展示区域,Explore,Discover之类的都没有。
连最新添加的镜头控制功能,这么重要的功能,也没有任何界面可以操作,需要通过在提示框里输入camera的笔墨,然后才出现的下拉浮动框,真的是一个额外的按钮都不想添加,恐怕自己有什么功能会被用户发现的感觉,做得这么抽象,固然简洁,但对小白新用户会不会不太友爱?
功能方面,也只支持视频生成,连图像生成功能也没有。你要图生视频,那不好意思,帮助文档会请你到MJ上生成一张16:9的图片先,然后下载了再上传到这里。
不得不说,产品做得很纯粹。当然,如果视频质量好的话,那都不是题目。(实在海螺AI也是类似这样的界面,但至少海螺AI还是有公共视频展示区域,来宣传视频质量或者供你参考的)
如果你是新用户第一次利用,那么第一个视频很快可以生成,但是第二个视频开始,就需要排队了,人多的时候队都不让你排,直接拒绝生成,建议你升级付费用户 ;)
视频生成选项方面,也没有什么选择的余地,文生视频几乎没有任何参数可以设置,只能选择是否要生成循环视频,是否要增强优化提示词。而图生视频,除了上传首尾帧图像,也就没有任何可配置的东西了。和其它网站产品形成鲜明的对比。
优点:
视频图像质量口碑不错,但我个人Luma用的不多,所以没法做更多评价
界面简洁干净,计费方式简朴纯粹
缺点:
除了提示词,没有任何画面控制手段,工具或模版
免费用户排队很困难,也没有Demo参考视频,试用的体验会比力差
费用:
计费方式和订阅筹划也很简朴,按次收费,不算一个月30次免费额度的话,付费部门差不多两元生成一次,中等偏上一点的正常代价吧。同样,没有不限量筹划,对重度用户大概不敷友爱
Stable Video
https://www.stablevideo.com/
主要是StableDiffusion相干技术为支持的网站。它的图生视频功能,应该是采用SVD的技术,主要是固定内容加上各种运镜效果。在图生视频模式下,可以指定运镜方式,但不能添加任何形貌语,所以效果很随机了,完全无法控制。
文生视频,我猜应该是利用形貌语老师成一张画面,然后再添加运镜,所以应该也是无法形貌镜头情节的。
功能比力简朴,加上免费账号,一天只有40个名誉点,只能试验4个视频,所以只是简朴试用了一下。
Promeai
https://www.promeai.pro/
这个我感觉主要是基于开源SD模型体系整合的工具集网站,大部门功能大概都是从开源体系搬过来的。做了产品形态的易用性封装。
它的文生视频和图生视频模块和前面的StableVideo类似,应该就是类似SVD或Animatediff之类的封装,根本上只能生成静止图像的微动视频,很难生成有特定动作逻辑的视频。
优点:作为视频生成网站我感觉没啥优点,但作为本地SD模型部署的网络产品更换方案,或许可以利用,各种功能封装的还比力全。
缺点:只有微动视频生成本领,不能生成真正的有动作逻辑的视频。
费用:
一条视频的话,差不多一元左右,如果放大,加速之类的,就差不多2元一条视频了,作为图片微动视频的模型简朴封装,值不值看你有没有更好的更换方案了。
ComfyUI
说到开源视频模型,那就得再提一下ComfyUI了,你可以通过它部署和利用各种开源视频生成工具或模型。
有很多模型或者项目可以用来制作视频,虽然效果不如现在主流利用类似Sora的VIT技术的各类视频AIGC网站,而且各种项目有不同的适配底模,不一定能用在最新模型上,但是还是有很多风趣的应用的。
篇幅所限,这里仅列举一些相干模型和项目供参考,详细介绍,大概后续会写一些单独的文章。
echo mimic :口型驱动心情
live portrait :可以编辑心情,可以做人物转绘
SVD:SD1.5底模,可以做简朴运镜视频
AnimateDiff:用来控制一批多帧图片之间的构图相似性和连贯性,可以联合其它工具用来做动画
IPadapter,InstantID等,可以用来模仿人脸,生成一致性人物,或者做视频换脸等等。
总体来说,这些都是一些零散的工具模块,需要你自己构建流程去完成一个特定的事项。比力成熟的应用比如各种视频的风格转汇,多张图片之间的动态变形动画之类。但凭空按文本生成指定动作情节的视频,现在还是做不到的。
总结
Minimax(海螺 AI)
优点:视频生成质量高,大幅度活动画面不崩,能生成视角转化复杂的连续活动画面。国内版网站免费用户现在无穷额利用。
缺点:功能相对简朴,图生视频无首尾帧等功能,不能指定画面元素活动路径和运镜方式等。没有后处理本领,不能延长视频、进步分辨率等,视频长度固定,文生视频不能指定画幅。
费用:海外版每天登录送名誉点,付费用户代价约为五六毛钱一个视频;国内版现在免费,即将开通付费功能。
通义万象
优点:现在完全免费,不限额度,APP 端速度较快,一次能排六个使命。生成视频画面质量较好,人物根本不变形错位,能同步生成背景音乐。
缺点:个人用户无付费方式,视频不能去水印。功能简朴,无前期镜头控制和后期处理本领,人物动作倾向慢动作,场景角度变革大的画面难做,敏感关键字多。
费用:无
Runway
优点:功能多,Gen - 3 模型镜头控制效果惊人,有 3D 空间运镜感觉。
缺点:代价贵,免费账号试用受限,不好白嫖。
费用:少量利用代价贵,重度或贸易用户可选择 95 刀不限量筹划。
可灵
优点:图生视频本领较好,人物动作流畅,提供首尾帧等功能,活动笔刷控制效果不错。
缺点:效果随机,稳定性一般,免费用户生成视频速度慢。复杂动作场景形貌效果一般,文生视频人物脸部小时易崩。
费用:生成视频代价中等相对便宜,无不限量会员筹划。
即梦 AI
优点:免费用户速度快,几乎不用排队,视频质量、时长、画面比例可选,单条视频代价便宜。图生视频功能尚可,对口型功能可单独利用,可上传本地视频。
缺点:文生视频质量一般,中景远景人物脸糊,无法生成复杂运镜画面。
费用:免费账号每天送积分,付费账号代价相对便宜。
Viva
优点:免费账号可不限量生成视频,文生视频质量优秀,人物动作自然真实。
缺点:大范围转移活动场景效果不确定,对亚洲人像支持一般,只能利用海外支付手段。
费用:免费用户生成速度慢,付费套餐代价良心。
Vidu
优点:视频图像质量好,人物活动姿态真实,参考生成视频模式可用性好。
缺点:高性能模式默认画质差,支付方式不支持国内手段。
费用:代价相对较贵,无不限量生成筹划。
Haiper
优点:应用型功能模块多,上手门槛低,可上传视频做后处理,1.5 模型现在免费。
缺点:人物大幅度活动场景生成质量一般,2.0 模型自界说控制画面手段有限。
费用:2.0 模型代价中等偏便宜,但无默认不限额利用筹划。
Pika
优点:Pikaffect 特效好玩。
缺点:免费账号视频生成常排队,大概斲丧名誉点不返回。
费用:代价不算便宜也不算贵,有不限量版利用筹划。
智谱 - 清影
优点:风格独特,得当特定氛围,能产生大幅度活动画面,免费账号不限量利用。
缺点:图像质量见仁见智,功能简朴。
费用:会员代价便宜,包括高清等权益。
Pixverse
优点:画面真实,小幅度活动视频效果稳定,可自界说人物形象。
缺点:图生视频效果差,大幅度活动画面难生成。
费用:注册送名誉点,每天更新,代价约 1.5 - 2 元一个视频。
Mootion
优点:傻瓜一站式流程,人物一致性好,有自动故事和分镜脚本。
缺点:灵活性差,得当无基础用户,图片和视频生成质量有限,语音字幕不支持中文。
费用:代价相对便宜,修改画面等需更多名誉点。
Luma
优点:视频图像质量口碑好,界面简洁干净,计费方式简朴纯粹。
缺点:无画面控制手段、工具或模版,免费用户排队困难,无 Demo 参考视频。
费用:付费部门两元生成一次,无不限量筹划。
Stable Video
优点:无,以 StableDiffusion 相干技术为支持。
缺点:功能简朴,图生视频效果随机,免费账号名誉点少。
费用:一条视频约一元左右,放大等操作代价更高。
Promeai
优点:作为本地 SD 模型部署的网络产品更换方案或许可用,功能封装较全。
缺点:只有微动视频生成本领,不能生成有动作逻辑的视频。
费用:一条视频约一元左右,放大等操作代价更高。
ComfyUI
可以部署和利用各种开源视频生成工具或模型,但效果不如主流视频 AIGC 网站,现在无法凭空按文本生成指定动作情节的视频。
推荐
最后,这么多产品,如果你看得眼花缭乱,非要简朴推荐几个的话,那么:
- 贸易付费产品,有钱或者重度用户,可以利用RunWay的不限额筹划,或者利用Minimax和可灵,虽然没有不限量利用筹划,但单价稍微便宜一些,质量也不错。
- 非重度利用,不想付费:通义万象是个不错的选择,既快又好,还不限量,就是不能去水印,而且近来画质压缩得很锋利,特别是图生视频模式。。。
- 想去水印,还想代价便宜,可以试一下Viva较低的成本就能得到去水印且不限量的筹划。如果不需要画大幅度活动的镜头或者质量要求放宽一些,可以思量即梦AI,然后智谱清影也是个相对便宜的选择。
- 想要直接控制人物外貌特征的,可以思量Vidu,Pixverse等
- 剩下Haiper,Pika,Luma等代价中等,质量不错,各有优缺点,看实际功能需求和喜好吧
- 至于comfyUI得当自己折腾一些现在开源模型力所能及的事情,毕竟免费自由。
当然,同样的,这些选项也不冲突,作为成年人,你也可以全都要。。。
上面的视频是同一张图做图生视频,一样的提示词,没有做任何修改,比力了其中9个平台的体现(多数都是只生成了一两次,挑其中好的一次,但大体体现还是符合我整体的感觉的,当然,这个简朴的画面,有很强的随机性和偶尔性,多抽两次大概结果就相反,而且很多平台我也没有开会员,没法用高质量模式,或者没法用他们最新的模型,所以结果仅供参考)
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |