博客
关于我
动作识别0-03:mmaction2(SlowFast)-白话给你讲论文-翻译无死角(1)
阅读量:726 次
发布时间:2019-03-21

本文共 1158 字,大约阅读时间需要 3 分钟。

Sl owFast Networks for Video Recognition

本论文提出了一种新的基于时空分离的视频识别网络架构,称为 SlowFast Networks。本文将详细阐述该网络的设计思想、实现方式以及实验结果。对于动作识别问题,我们提出了一个结合了慢速路径和快速路径的双流架构,其中慢速路径负责捕获空间语义信息,快速路径则专注于时序动作特征。通过这种划分,我们能够在不同的时间维度上分别处理运动和空间信息,从而提升动作识别的效果。

3D卷积网络在视频识别任务中一直受到了广泛关注。然而,这类方法通常需要在时空维度上进行统一处理,这种做法可能无法充分利用视频的时空特性。视觉系统中,空间信息通常是缓慢变化的,而运动信息则往往以快速的时间频率出现。基于这一观点,我们提出了一个新的网络架构,即 SlowFast Networks。

在引言部分,我们讨论了传统的视频识别方法主要集中在时空卷积的统一处理上 ,但是这种方法可能无法有效利用视频的时空特性。我们提出,应该分别处理空间信息和时间信息,这种思路与生物视觉系统中的灰质细胞和黄色体细胞类似,其中灰质细胞对空间细节敏感但时间分辨率较低,而黄色体细胞则相反。

针对这一思想,我们设计了一个包含慢速路径和快速路径的双流架构。慢速路径输入低帧率的视频片段,主要负责捕获空间语义信息。相比之下,快速路径输入高帧率的视频片段,专注于捕获动作特征。尽管快速路径在通道数量上相对较少,但其计算复杂度却远低于传统的3D卷积网络,大约占整个网络的20%。这种轻量化设计使得快速路径能够高效地捕捉快速变化的运动信息。

在网络架构方面,我们采用了侧面连接的方式将慢速路径和快速路径的特征融合。这种设计不仅可以利用两者的优势,还能够有效减少计算量。此外,我们在每个卷积层中使用了特定的时态卷积核,确保不同路径在时空维度上的有效结合。

实验结果表明,SlowFast Networks在多个基准数据集(如Kinetics、Charades和AVA)上均能够取得较好的性能,动作分类精度显著优于传统的3D卷积网络。这些成果验证了我们的设计理念。

在相关工作部分,我们回顾了现有视频识别方法,包括基于光流的手工特征、双流架构以及3D卷积网络。我们指出了这些方法的局限性,并提出了 SlowFast Networks 的创新性。与传统方法相比, SlowFast Networks 的主要优势在于其能够更好地分别处理时空信息,避免了传统方法中在时空维度上的不平衡处理问题。

最终,通过实验验证和理论分析,我们证明了 SlowFast Networks 在视频动作识别任务中的有效性和优势。未来的工作将进一步探索如何利用这种架构进行更复杂的视频理解任务,如行为分析和高层次视觉理解。

转载地址:http://tvigz.baihongyu.com/

你可能感兴趣的文章
mutiplemap 总结
查看>>
MySQL Error Handling in Stored Procedures---转载
查看>>
MVC 区域功能
查看>>
MySQL FEDERATED 提示
查看>>
mysql generic安装_MySQL 5.6 Generic Binary安装与配置_MySQL
查看>>
Mysql group by
查看>>
MySQL I 有福啦,窗口函数大大提高了取数的效率!
查看>>
mysql id自动增长 初始值 Mysql重置auto_increment初始值
查看>>
MySQL in 太多过慢的 3 种解决方案
查看>>
Mysql Innodb 锁机制
查看>>
MySQL InnoDB中意向锁的作用及原理探
查看>>
MySQL InnoDB事务隔离级别与锁机制深入解析
查看>>
Mysql InnoDB存储引擎 —— 数据页
查看>>
Mysql InnoDB存储引擎中的checkpoint技术
查看>>
Mysql InnoDB存储引擎中缓冲池Buffer Pool、Redo Log、Bin Log、Undo Log、Channge Buffer
查看>>
MySQL InnoDB引擎的锁机制详解
查看>>
Mysql INNODB引擎行锁的3种算法 Record Lock Next-Key Lock Grap Lock
查看>>
mysql InnoDB数据存储引擎 的B+树索引原理
查看>>
mysql innodb通过使用mvcc来实现可重复读
查看>>
mysql interval显示条件值_MySQL INTERVAL关键字可以使用哪些不同的单位值?
查看>>