CUBE团队 投稿乱伦故事

日韩成人av电影

量子位 | 公众号 QbitAI

在这个信息爆炸的期间，如何让AI生成的视频更具创意，又相宜特定需求？

来自香港大学的最新商议《基于事件、无需考试的可控视频生成框架 CUBE》带来一个全新的处理有遐想。

这一框架欺骗了事件相机捕捉动态边际的才智，将AI生成的视频带入了一个新的维度，精确又高效。论文原标题是“Controllable Unsupervised Event-based Video Generation”，

发表于图像处理嘉会ICIP并被选为Oral（理论讲解），并受邀在WACV workshop演讲。

什么是事件相机？

在长远了解CUBE框架之前，先来意志一下事件相机。

不同于传统相机的定时捕捉，事件相机效法生物的视觉系统，只捕捉像素点亮度变化的“事件”，就像是只纪录画面的精华部分。

这么不仅不错有用减少冗尾数据，还不错显赫缩小耗能。

尤其是在高速动态或光辉变化大的场景下，事件相机比传统相机更有上风。而这些独有的“事件数据”恰是CUBE框架的中枢。

△左：广阔相机拍的；右：事件相机拍的

粗浅说，事件相机和广阔相机不同，捕捉的是物体边际的动态细节，就像你脑中一闪而过的灵感，简易了大批带宽还能省电。

CUBE框架皆集了这些“暴露”的边际数据和笔墨刻画乱伦故事，无需考试就能合成相宜需求的视频！这不仅能让你生成的场景更“合胃口”，还能让视频质料、时辰一致性和文本匹配度都蹭蹭高涨。

为什么要用CUBE？

其他步地或是需要大批考试数据，亚洲成人av电影或是生成后果欠佳。CUBE框架不仅处理了这些问题，还在多样貌的上发达出色。

无论是视觉后果、文本匹配度仍是帧间一致性，CUBE都发达优异。

不错这么思：CUBE就像给事件相机配上了智能“滤镜”，让生成的视频不仅纯真还相宜刻画，比如让铁东谈主也能在马路上跳起月球舞步！

CUBE框架是如何使命的？

CUBE的全称是“Controllable， Unsupervised， Based on Events”，直译过来等于“可控的、无需考试的、基于事件的”视频生成框架。

它通过索求事件中的边际信息，再皆集用户提供的笔墨刻画生成视频。在步地上，CUBE主要依赖扩散模子生成期间。

扩散模子通过向图像添加立时噪声并冉冉收复来生成图片，但团队进一步优化了这个流程，能让它字据“事件”提供的边际数据生成视频。

CUBE的中枢步地

1. 边际索求：事件流纪录了物体通顺的轨迹，而CUBE的紧要任务等于将这些事件养息成边际信息。团队遐想了一个边际索求模块，把事件数据分红多个时辰段，索求出重要的空间位置，从而造成精确的边际图。这些边际图不仅保留了通顺物体的概述，还能让视频生成更敞开。

2. 视频生成：有了边际数据之后，CUBE皆集了笔墨刻画生成视频。通过扩散模子的冉冉收复流程，不错生成多个与刻画相匹配的图像帧，并用插帧期间让视频愈加平滑一致。这个流程不需要大批的考试数据，因为CUBE凯旋调用了预考试的扩散模子来已毕高质料生成。

3. 适度性与一致性：收受了ControlVideo框架，这一框架具有优秀的可控性，通过笔墨刻画来适度生成的视频本色，使每帧的生成都相宜特定的条目。ControlVideo和CUBE的组合处理了传统步地中视频生成一致性不及的问题，让本色新纯真、更贴合刻画。

CUBE的性能发达

在履行中，CUBE的发达远超现存步地。在视频质料、文本匹配度和时辰一致性等多个意见上，CUBE都赢得了优异的收获。

定量履行高傲，CUBE生成的帧间一致性和文本匹配度都比ControlNet、ControlVideo等步地更优。此外，团队还作念了用户偏好测试，斥逐高傲参与者普遍更心爱CUBE生成的视频。

以前瞻望

虽然，CUBE还有升迁的空间。以前团队但愿将边际信息和纹理信息皆集，使视频更具细节和委果感，同期探索更多限度适用性，以致将其应用在及时场景中。这一期间不仅允洽电影、动画生成等限度，还不错用于自动驾驶、监控等需要快速识别动态环境的场景。

CUBE不仅是一项期间，更是一次在事件相机与AI生成视频限度的新探索。

要是你也对AI生成视频感兴致，可进一步参考完好意思论文和开源代码。

论文地址：

https://ieeexplore.ieee.org/abstract/document/10647468代码已开源：

https://github.com/IndigoPurple/cube

— 完 —

量子位 QbitAI · 头条号签约

温雅咱们乱伦故事，第一时辰获知前沿科技动态