要拍慢动作视频必须用昂贵的高速摄像机

要拍慢动作视频，必须用昂贵的高速摄像机。

不！可以用AI。

看，这就是人工智能所做的！

虽然它无法与至少有数千帧的真正高速相机相比，但它可以轻松地将视频从每秒53帧更改为每秒960帧，而且没有伪像和噪音。

很多网友看了之后都受不了这个效果我真的想要一个深入的教程，你能启动一个应用程序吗

这个很酷的研究成果也成功入选了CVPR 2021，研究人员来自华为苏黎世研究中心和苏黎世大学。

为了达到这种效果，我们并没有采用通过视频光流猜测粒子运动的经典思路，而是先用两台摄像机捕捉画面。

一种是普通相机，记录低帧实拍图，

怎么办。由另一台特殊的照相机拍摄，mdash

也就是事件摄像机，它使用一种新型的传感器，拍摄事件，即记录像素亮度变化。

相机还是比较新的，实验室有很多，市场上还没有大规模出现报价为2000美元或以上

由于摄像机记录的信息经过压缩和表达，可以以更低的清晰度和更高的速度拍摄，即以牺牲图像质量为代价获得更多的图像信息。

最终的信息量足以让AI理解粒子的运动，便于后续的插值。

这是这两个摄像头拍摄的内容结合在一起的:

拍摄后，可以使用机器学习，最大限度地利用这两个摄像头的信息进行插帧。

这里研究者提出的AI模型叫做时间镜头，分为四个部分。

首先，由两个相机捕获的帧信息和事件信息被发送到前两个模块:的基于变形的插值模块和合成插值模块。

基于变形的插值模块使用U形网络将运动转换为光流表示，然后将事件转换为真实帧。

合成插值模块还使用U形网络将事件放置在两个帧之间，并为每个事件直接生成一个新的可能帧。

该模块可以很好地处理新对象和帧间的光线变化。

但是，如果你来这里，合成视频可能会有问题很吵

这时，第三模块的作用就发挥出来了，它利用第二插值合成模块中的新信息对第一模块进行细化。

即从同一事件的两个生成帧中提取最有价值的信息，进行变形优化mdashmdash再次使用U—net网络生成事件的第三帧版本。

最后，这三个候选帧被输入到基于注意力的平均模块。

该模块使用三帧表示的最佳部分来形成最终帧。

现在，在帧之间有了第一个事件的高清帧后，对事件摄像机提供的所有事件重复这个过程，我们就可以生成我们想要的最终结果。

这是使用AI创建真实慢动作视频的方法最近怎么样

附上相机参数图:

你说这个AI模型效果好，你要对比一下。

例如，与最好的插值模型之一DAIN相比，谁好谁坏是显而易见的。

而且其插值方法的计算复杂度也是最好的图像的分辨率是640倍480，在研究人员的GPU上执行单次插值时，DAIN模型需要878毫秒，而AI只需要138毫秒

另外，虽然不推荐，但这个模型输入的视频即使只有5个也能产生慢动作。

与其他模型的实验数据对比，有兴趣可以查看论文。

最后，在介绍结果的视频中，笔者再次表示，相比昂贵的专业设备，该机型至少达到了智能手机等机型无法达到的效果。

我是华为苏黎世研究中心的机器学习研究员Stepan Tulyakov。

合著者丹尼尔格赫里希，苏黎士大学博士生苏黎世联邦理工学院机械工程硕士

论文地址:

开源地址: