阿里巴巴推出AtomoVideo高保真图生视频框架，兼容多种文生图模型
再会的她
2024-05-12 18:22:19
0次
团队还以Cross-Attention的形式注入高级图像语义，以实现更高的图像语义可控性。
IT之家 3 月 7 日消息，阿里巴巴研究团队近日推出了 AtomoVideo 高保真图生视频（I2V，Image to Video）框架，旨在从静态图像生成高质量的视频内容，并与各种文生图（T2I）模型兼容。
IT之家总结 AtomoVideo 特性如下：
高保真度：生成的视频与输入图像在细节与风格上保持高度一致性
运动一致性：视频动作流畅，确保时间上的一致性，不会出现突兀的跳转视频帧预测：通过迭代预测后续帧的方式，支持长视频序列的生成
兼容性：与现有的多种文生图（T2I）模型兼容
高语义可控性：能够根据用户的特定需求生成定制化的视频内容
AtomoVideo 使用预先训练好的 T2I 模型为基础，在每个空间卷积层和注意力层之后新添加一维时空卷积和注意力模块，T2I 模型参数固定，只训练添加的时空层。由于输入的串联图像信息仅由 VAE 编码，代表的是低层次信息，有助于增强视频相对于输入图像的保真度。同时，团队还以 Cross-Attention 的形式注入高级图像语义，以实现更高的图像语义可控性。
目前，该团队只发布了 AtomoVideo 的论文及演示视频，并未提供在线体验地址。同时官方开设了 GitHub 账户，但仅用作官方网站托管，并未上传任何相关代码。
相关内容
热门资讯
沪深B股市场收盘：B股指数下跌...
截至沪深B股市场收盘，B股指数下跌0.14%，报246.28点。成份B指上涨0.99%，报7545....
恒生指数主连夜盘收涨027%，...
每经AI快讯，恒生指数主连夜盘收涨0.27%，报16779.00点。恒生科技指数主连夜盘收涨0....
又爆丑闻！高管鞠躬道歉……
日媒：丰田再爆发动机测试存在违规，10种车型停供，高管鞠躬道歉据《日本经济新闻》报道，1月29日，丰...
新时达：截至目前公司尚未与人形...
证券之星消息，新时达(002527)08月22日在投资者关系平台上答复投资者关心的问题。投资者：公司...
2月20日基金净值：鑫元健康产...
本站消息，2月20日，鑫元健康产业混合发起式A最新单位净值为0.865元，累计净值为0.865元，较...
买！买！买！很多人瞄准这项投资...
港人来深买楼热情提升！机构：深圳写字楼投资情绪回升。 本文自南都·湾财社。 采写 | 南...
汇成真空(301392SZ)：...
格隆汇7月16日丨汇成真空(301392.SZ)在投资者互动平台表示，公司产品涵盖了蒸发镀膜、磁控溅...
国投电力最新公告：上半年净利润...
国投电力发布2024年半年度报告，报告期内，公司实现营业收入271.02亿元，同比增长2.79%；归...
宝丽迪(300905SZ)：预...
格隆汇7月21日丨宝丽迪(300905.SZ)发布2024年半年度业绩预告，本报告期，归属于上市公司...
邦达亚洲 欧洲央行副行长发表鹰...
欧洲央行副行长路易斯·德金多斯警告称，消费者价格增长可能会短暂回升，不过主要方向是下行。 他周一在法...