博客
关于我
动作识别0-03:mmaction2(SlowFast)-白话给你讲论文-翻译无死角(1)
阅读量:726 次
发布时间:2019-03-21

本文共 1158 字,大约阅读时间需要 3 分钟。

Sl owFast Networks for Video Recognition

本论文提出了一种新的基于时空分离的视频识别网络架构,称为 SlowFast Networks。本文将详细阐述该网络的设计思想、实现方式以及实验结果。对于动作识别问题,我们提出了一个结合了慢速路径和快速路径的双流架构,其中慢速路径负责捕获空间语义信息,快速路径则专注于时序动作特征。通过这种划分,我们能够在不同的时间维度上分别处理运动和空间信息,从而提升动作识别的效果。

3D卷积网络在视频识别任务中一直受到了广泛关注。然而,这类方法通常需要在时空维度上进行统一处理,这种做法可能无法充分利用视频的时空特性。视觉系统中,空间信息通常是缓慢变化的,而运动信息则往往以快速的时间频率出现。基于这一观点,我们提出了一个新的网络架构,即 SlowFast Networks。

在引言部分,我们讨论了传统的视频识别方法主要集中在时空卷积的统一处理上 ,但是这种方法可能无法有效利用视频的时空特性。我们提出,应该分别处理空间信息和时间信息,这种思路与生物视觉系统中的灰质细胞和黄色体细胞类似,其中灰质细胞对空间细节敏感但时间分辨率较低,而黄色体细胞则相反。

针对这一思想,我们设计了一个包含慢速路径和快速路径的双流架构。慢速路径输入低帧率的视频片段,主要负责捕获空间语义信息。相比之下,快速路径输入高帧率的视频片段,专注于捕获动作特征。尽管快速路径在通道数量上相对较少,但其计算复杂度却远低于传统的3D卷积网络,大约占整个网络的20%。这种轻量化设计使得快速路径能够高效地捕捉快速变化的运动信息。

在网络架构方面,我们采用了侧面连接的方式将慢速路径和快速路径的特征融合。这种设计不仅可以利用两者的优势,还能够有效减少计算量。此外,我们在每个卷积层中使用了特定的时态卷积核,确保不同路径在时空维度上的有效结合。

实验结果表明,SlowFast Networks在多个基准数据集(如Kinetics、Charades和AVA)上均能够取得较好的性能,动作分类精度显著优于传统的3D卷积网络。这些成果验证了我们的设计理念。

在相关工作部分,我们回顾了现有视频识别方法,包括基于光流的手工特征、双流架构以及3D卷积网络。我们指出了这些方法的局限性,并提出了 SlowFast Networks 的创新性。与传统方法相比, SlowFast Networks 的主要优势在于其能够更好地分别处理时空信息,避免了传统方法中在时空维度上的不平衡处理问题。

最终,通过实验验证和理论分析,我们证明了 SlowFast Networks 在视频动作识别任务中的有效性和优势。未来的工作将进一步探索如何利用这种架构进行更复杂的视频理解任务,如行为分析和高层次视觉理解。

转载地址:http://tvigz.baihongyu.com/

你可能感兴趣的文章
MySQL 日期时间类型的选择
查看>>
Mysql 时间操作(当天,昨天,7天,30天,半年,全年,季度)
查看>>
MySQL 是如何加锁的?
查看>>
MySQL 是怎样运行的 - InnoDB数据页结构
查看>>
mysql 更新子表_mysql 在update中实现子查询的方式
查看>>
MySQL 有什么优点?
查看>>
mysql 权限整理记录
查看>>
mysql 权限登录问题:ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)
查看>>
MYSQL 查看最大连接数和修改最大连接数
查看>>
MySQL 查看有哪些表
查看>>
mysql 查看锁_阿里/美团/字节面试官必问的Mysql锁机制,你真的明白吗
查看>>
MySql 查询以逗号分隔的字符串的方法(正则)
查看>>
MySQL 查询优化:提速查询效率的13大秘籍(避免使用SELECT 、分页查询的优化、合理使用连接、子查询的优化)(上)
查看>>
mysql 查询,正数降序排序,负数升序排序
查看>>
MySQL 树形结构 根据指定节点 获取其下属的所有子节点(包含路径上的枝干节点和叶子节点)...
查看>>
mysql 死锁 Deadlock found when trying to get lock; try restarting transaction
查看>>
mysql 死锁(先delete 后insert)日志分析
查看>>
MySQL 死锁了,怎么办?
查看>>
MySQL 深度分页性能急剧下降,该如何优化?
查看>>
MySQL 深度分页性能急剧下降,该如何优化?
查看>>