AniSora 是一个由B站开发的专为动漫视频生成设计的综合系统,旨在解决动画视频生成中的多种挑战,如艺术家风格、违反物理定律的动作以及夸张表现等问题。该系统包括以下几个核心组件:
- 数据处理管道:通过数据飞轮收集超过1000万个高质量的文本-视频对,为模型训练提供了坚实的基础123。
- 可控生成模型:采用扩散transformer架构,并引入时空掩码模块,支持关键帧插帧、运动控制等功能。这种设计能够实现平滑过渡和局部区域的可动控制123。
- 评估基准数据集:包含948个不同类型的动画视频,用于验证生成视频在角色和动作一致性方面的表现123。
AniSora 的主要功能包括:
- 图生视频(从文本生成视频)
- 视频插帧(在现有视频帧之间插入新帧)
- 局部图像引导动画(通过局部图像引导动画生成)
该系统在多个方面展现了显著优势:
- 在VBench上的评估显示,AniSora 在运动平滑度、美学质量、一致性和主题一致性等指标上表现优异12。
- 在人工双盲测试中,AniSora 的性能超越了其他方法,尤其是在主体一致性和运动平滑度方面23。
- AniSora 已成功应用于动态漫内容制作,降低了制作成本并提高了效率,已有超过10部自有IP作品运用了这一技术23。
未来,AniSora 计划扩展其功能,包括全面的自动评分系统、优化高质量模型性能以及解决生成动画中的伦理问题2311。
本项目是哔哩哔哩献给二次元世界的礼物——动漫Index‑AniSora,目前最强大的开源生成模型。
它支持一键生成多种风格的动漫视频镜头,包括番剧片段、国创动画、漫画视频改编、VTuber内容、动画PV、鬼畜(MAD)等!
AniSora 是一个创新的动画视频生成系统,通过先进的技术框架和丰富的数据支持,在动画视频生成领域取得了突破性进展,为动画制作行业带来了新的可能性。