昨天的AI新闻有点太密集了,肝快废了。
凌晨2点半,Claude发3.7 Sonnet,凌晨5点半,阿里发了推理模型QwQ-Max的预览版,早上10点DeepSeek开源了一个DeepEP代码库,然后晚上10点20,阿里的视频模型万相2.1,也来了。
而且,正式开源。
2月25号是什么黄道吉日吗。。。
万相2.1开源链接在此:
Huggingface的:https://huggingface.co/Wan-AI
GitHub的:https://github.com/Wan-Video/Wan2.1
阿里,真的也是“源神”。
这次上线的有四个模型,文生和图生各俩。
文生视频模型有1.3B和14B两个规格。图生视频模型都是14B,分辨率一个480P一个720P。
这回比较让人惊喜的是,低配置的模型真的小,1.3B的模型,只需要8个G的显存就能跑了,也就是说,本地的4060都能跑得动了。
如果你有4090,跑一条5秒钟的480P视频的时间大概只要4分钟。
说实话,在年前的时候,万相2.1就已经上线通义万相了。
只不过叫2.1专业和2.1极速版。
这块在我测试下来,专业版和极速版其实都是14B的,只不过专业版感觉是原生720P,极速版是直出的480P然后超分到720P的。
而1.3B是这次为了本地部署特意出的,所以线上目前还没有体验渠道,想用的话,只能自己部署。
我也第一时间跑了一些case,14B因为太大了,我直接用线上的通义万相来跑的。 1.3B我是直接在魔搭上部署了跑的,还是比较简单的。
https://www.modelscope.cn/models/Wan-AI/Wan2.1-T2V-1.3B
整体效果上,语义理解、物理真实性、复杂运动的表现,万相2.1 14B在开源视频模型里绝对是第一梯队,而1.3B别看小,但是使用门槛也低啊,在实力上也真的完全不含糊。
直接先上一点我们跑的case。
首先是长文本和prompt的语义理解表现不错。一连串动作,都能按prompt顺序挨个儿给你实现。
prompt: 空镜从卧室顶部45度俯拍,一位女子躺在凌乱的床上。清晨阳光透过百叶窗在她脸上投下条纹状光影。她闭着眼,用手揉眼睛。然后睁开眼睛, 微笑。
14B效果:
1.3B效果:
物理规律和质感表现也挺不错,这个切柠檬的影子变化、刀面纹理,还有切下去的质感,真实感拉满。
prompt: 高速摄影拍摄一个新鲜柠檬被切开的瞬间。镜头推进,从中景到特写。锋利的银色水果刀从上方切下,柠檬汁飞溅而出,形成细小水珠。特写画面呈现柠檬的横切面和果肉纹理。
14B效果:
1.3B效果:
然后就是万相2.1刚上线通义的时候,不少人吹的运动表现。
我测下来,虽然还说不上是版本T0,但优点确实也挺明显。大幅度的动作、旋转还有动作的速度,都很猛。
prompt: 在冰面上,一位 18 岁的中国美少女明星短道速滑运动员熠熠生辉。她五官玲珑,神色自信,肌肤胜雪,高马尾充满活力。她身着一条薄荷绿的超短薄纱裙,裙摆随风飘动,上身搭配白色露脐运动背心。以全景镜头俯拍,通过轨道车拍摄跟行。柔和的淡蓝色灯光从斜前方洒下,光质轻柔,光比偏小,营造出清新的氛围。她身姿矫健地疾驰,临近终点时采用推镜头特写其坚毅的眼神和快速摆动的手臂。
14B:
1.3B:
2.1还可以直接实现运镜效果,连复杂的遮挡物运镜都行。
prompt: 低机位拍摄图书馆书架,前景书本缝隙间闪过金丝眼镜的反光。当镜头水平移过三格书架,穿灰色毛衣的男生恰好转头,看向镜头,手中悬停的棕色书本封皮。
14B:
1.3B:
还有必须提一下的文字生成,万相是全世界第一个能直出中文字的,现在能在AI视频里,直接生成中文的AI视频模型太少了。
prompt: 以红色新年宣纸为背景,出现一滴水墨,晕染墨汁缓缓晕染开来。文字的笔画边缘模糊且自然,随着晕染的进行,水墨在纸上呈现「福」字,墨色从深到浅过渡,呈现出独特的东方韵味。背景高级简洁,杂志摄影感。
14B效果:
1.3B效果:
不过文字生成还是有待改进,亲测目前只能支持生成非常简单的、笔画数少的中文,可以实现的字体也比较少,复杂点的文字内容还是容易出现乱码和鬼画符。不过没关系,这只是刚开始,万相继续加油吧,这个方向是非常实用的。
整体来说,万相2.1语义理解和物理表现都很稳,画面审美也在基准之上。
而且不要忘了,这玩意可是开源的。。。
对与生态的加持,想象空间太大了。
如果你现在想用万相2.1的话,有几种使用方式。
先说14B的,14B的你可以跟我一样,直接去官网免费用,每天签到有50灵感值,如果你在APP上跑一个视频的话每天可以再加50灵感值。
1个专业版(14B 720P)的视频,5灵感值,也就是说,你其实一天可以白嫖20个视频了。
然后就是Hugging Face上的demo,虽然是可以所谓的无限免费用,但是算力太少人太多,基本约等于用不了,可以直接放弃。
还有就是去阿里云百炼,接API用:
https://bailian.console.aliyun.com/model-market#/home
价格的话,Plus(2.1专业版)是每秒0.7元,Trubo(2.1极速版)是每秒0.24元。
然后就是1.3B,如果你本身有8G以上的显卡,那就无脑直接本地化自己部署就行了。
具体的可以去他们github上看。
其实我最期待的,还是关于ComfyUI的集成,如果这能接进去,那就可以玩很多的花活了。
最后,我还是想表达一下对阿里的敬佩。
AI领域的半壁江山,现在几乎都是阿里的。
Qwen作为老大哥遥遥领先,新秀万相补上AI视频的空白,现在全世界,都知道了阿里的名号。