清华团队“国产Sora”效果惊艳,背后创业公司已融资数亿元

清华大学联合生数科技正式发布了中国首个高一致性、清华高动态性视频大模型Vidu。团队从放出的国公司常德媒体新闻网首页官网视频来看,Vidu生成的产S创业视频效果非常惊艳,在一致性、效果运动幅度等方面已经达到了Sora的惊艳水准,虽然比不上Sora的背后时长,但整体上已经可以对标Sora。已融亿元

640 (2).gif

Vidu:“画室里的资数一艘船驶向镜头”

压缩2.gif

Sora:“逼真的特写视频,展示两艘海盗船在一杯咖啡内航行时互相争斗的清华场景。”

不过,团队无论是国公司Sora还是Vidu,目前都还没有正式发布,产S创业常德媒体新闻网首页官网而且除了视频生成的效果时长以外,成功率、惊艳质量对于视频生成大模型而言也是非常重要,所以真实差距或许还有待日后仔细比较。但无论Sora还是Vidu,其更大的意义还是在于采用了新的技术。

据了解,目前市面上很多视频生成工具增加视频长度的思路是采用插帧技术,这种方法通过在原始视频帧之间插入额外的帧来提升视频的流畅度和长度,还有一些工具则主要通过组合不同的模型和技术来生成较长的视频,在一些较为简单的视频动画制作中,已经呈现出了非常不错的效果。

cover_20240226_YgQZD37VJ_cover.jpg

此前央视制作的文生视频AI动画《千秋诗颂》

但与此同时,这两种方式都可能会在内容的流畅性和视觉表现上显得不够连贯,缺乏自然的过渡效果,还会出现画质下降,尤其是在快速运动或阴影处理上的扭曲和模糊等一系列问题。

而Vidu采用了和Sora完全一致的Diffusion和Transformer融合的架构,底层基于生数自研的U-ViT架构,是第一个融合了Diffusion和Transformer的架构,据称比Sora的DiT架构早了一年。生数科技联合创始人兼CEO唐家渝表示,生数科技在3月份就实现了8秒的视频生成,在4月突破16秒,未来还将继续加速迭代。

973cb79538c14986bf013fc4fd90f677.jpg

公开数据显示,生数科技成立于2023年3月,核心团队来自清华大学人工智能研究院,还有来自北京大学、阿里巴巴、腾讯、字节跳动的多位技术人才。公司员工总数近90% 为研发人员。

1714266806534.png

去年6月,生数科技获得蚂蚁集团、BV百度风投、卓源资本的近亿元天使轮融资;8月,完成了数千万元天使+轮融资;今年3月,生数科技完成新一轮数亿元融资,由启明创投领投,达泰资本、鸿福厚德、智谱AI、老股东BV百度风投和卓源亚洲继续跟投。在三轮融资总计数亿元人民币的资本加持下,生数科技已成为目前国内多模态大模型中估值最高的初创公司之一。

邓之东:好事不留名 温暖传全城

邓之东:好事不留名 温暖传全城

法治在线丨1秒克隆声音样本!谁在偷走我们的声音?记者调查

法治在线丨1秒克隆声音样本!谁在偷走我们的声音?记者调查

港媒曝容祖儿承认是同性恋 与何韵诗相爱多年

港媒曝容祖儿承认是同性恋 与何韵诗相爱多年

会议纪要显示美联储担忧中东战事对经济的多重负面冲击

会议纪要显示美联储担忧中东战事对经济的多重负面冲击

话剧《磁州窑》石家庄首演 浓郁地方民俗文化讲述千年磁州窑文脉

话剧《磁州窑》石家庄首演 浓郁地方民俗文化讲述千年磁州窑文脉

一个新品牌,3款新车!奇瑞要硬刚坦克、方程豹?

一个新品牌,3款新车!奇瑞要硬刚坦克、方程豹?

提前抢跑!三星Galaxy S25系列真机曝光,手写笔未抛弃

提前抢跑!三星Galaxy S25系列真机曝光,手写笔未抛弃

范冰冰评委见面会成焦点 不偏心任何中国电影

范冰冰评委见面会成焦点 不偏心任何中国电影

邓超予获授海南自贸港琼海文旅推广大使 助力海南文旅

邓超予获授海南自贸港琼海文旅推广大使 助力海南文旅

行业内部消息,Switch 2发布窗口确认,新机能超乎想象?

行业内部消息,Switch 2发布窗口确认,新机能超乎想象?