阿里巴巴推出AtomoVideo高保真图生视频框架，兼容多种文生图模型
再会的她
2024-05-12 18:22:19
0次
团队还以Cross-Attention的形式注入高级图像语义，以实现更高的图像语义可控性。
IT之家 3 月 7 日消息，阿里巴巴研究团队近日推出了 AtomoVideo 高保真图生视频（I2V，Image to Video）框架，旨在从静态图像生成高质量的视频内容，并与各种文生图（T2I）模型兼容。
IT之家总结 AtomoVideo 特性如下：
高保真度：生成的视频与输入图像在细节与风格上保持高度一致性
运动一致性：视频动作流畅，确保时间上的一致性，不会出现突兀的跳转视频帧预测：通过迭代预测后续帧的方式，支持长视频序列的生成
兼容性：与现有的多种文生图（T2I）模型兼容
高语义可控性：能够根据用户的特定需求生成定制化的视频内容
AtomoVideo 使用预先训练好的 T2I 模型为基础，在每个空间卷积层和注意力层之后新添加一维时空卷积和注意力模块，T2I 模型参数固定，只训练添加的时空层。由于输入的串联图像信息仅由 VAE 编码，代表的是低层次信息，有助于增强视频相对于输入图像的保真度。同时，团队还以 Cross-Attention 的形式注入高级图像语义，以实现更高的图像语义可控性。
目前，该团队只发布了 AtomoVideo 的论文及演示视频，并未提供在线体验地址。同时官方开设了 GitHub 账户，但仅用作官方网站托管，并未上传任何相关代码。
相关内容
热门资讯
沪深B股市场收盘：B股指数下跌...
截至沪深B股市场收盘，B股指数下跌0.14%，报246.28点。成份B指上涨0.99%，报7545....
恒生指数主连夜盘收涨027%，...
每经AI快讯，恒生指数主连夜盘收涨0.27%，报16779.00点。恒生科技指数主连夜盘收涨0....
又爆丑闻！高管鞠躬道歉……
日媒：丰田再爆发动机测试存在违规，10种车型停供，高管鞠躬道歉据《日本经济新闻》报道，1月29日，丰...
2月20日基金净值：鑫元健康产...
本站消息，2月20日，鑫元健康产业混合发起式A最新单位净值为0.865元，累计净值为0.865元，较...
买！买！买！很多人瞄准这项投资...
港人来深买楼热情提升！机构：深圳写字楼投资情绪回升。 本文自南都·湾财社。 采写 | 南...
邦达亚洲 欧洲央行副行长发表鹰...
欧洲央行副行长路易斯·德金多斯警告称，消费者价格增长可能会短暂回升，不过主要方向是下行。 他周一在法...
豪门不同命：曼城1
北京时间2月21日凌晨，英超进行了第18轮的一场补赛，欧冠两场八分之一决赛随后进行，曼城、国米和多特...
最新任命！事关“国家队”！
中投公司传来大消息！ 2月26日消息，“70后”刘浩凌正式出任中投公司副董事长、总经理兼首席...
名下证券账户违规买卖公司股票，...
（原标题：【原创】名下证券账户违规买卖公司股票，乐普医疗高级副总经理郭同军收警示函）名下证券账户存在...
5月10日基金净值：汇添富蓝筹...
本站消息，5月10日，汇添富蓝筹稳健混合A最新单位净值为2.523元，累计净值为3.852元，较前一...