- Rempe D, Birdal T, Zhao Y, et al. Caspr: Learning canonical spatiotemporal point cloud representations[J]. Advances in neural information processing systems, 2020, 33: 13688-13701.
- Stanford
过去有一些工作做了动态点云的时间学习, 然而这些工作有一个致命限制: 它们缺少时间连续性、鲁棒性、同类泛化性。有一些工作考虑了其中某一个方面, 但没有对这三者整体进行统一的要求。
Canonical Spatiotemporal Point Cloud Representations (CaSPR)致力于对3D形状的时空变化进行编码。
- 将输入的点云序列规范化到一个共享的4D container空间: 其先构建了坐标空间Normalized Object Coordinate Space (NOCS) [63], 它能把同类中的一些外在属性引如位置、朝向和放缩程度给规范化。进一步的, CaSPR将NOCS扩展到4D Temporal-NOCS(T-NOCS), 额外将点云序列的持续时间归一化成一个单位时间。对于给定的点云序列, 最终规范化后会给出在时间和空间上都规范化的点云。
- 然后在规范化空间中学习连续的时空特征: 其使用了Neural Ordinary Differential Equations (Neural ODEs) [9]。
规范化网络 TPointNet++
在规范化的同时, 希望保留以下特性:
- 避免时空邻域的搜索
- 将时间视为和空间维度同等重要的一个维度
- 将物体的时间特征加入到其局部结构的特征中
其采用了双流的设计, 最终输出每个点的1600维embedding。
- PointNet: 将4D的点云序列(时间作为一个标签)视为一个整体, 抽取出1024维的全局特征, 和64维的逐点特征。
- PointNet++: 对4D的每个点(不输入时间标签)计算局部结构特征, 最终每个点输出512维特征。
后续求解使用 Latent ODE 求解器 (略)
参考文献
[9] Chen, T.Q., Rubanova, Y., Bettencourt, J., Duvenaud, D.K.: Neural ordinary differential equations. In: Proceedings of the Advances in Neural Information Processing Systems (NeurIPS) (2018)
[63] Sridhar, S., Rempe, D., Valentin, J., Bouaziz, S., Guibas, L.J.: Multiview aggregation for learning category-specific shape reconstruction. In: Proceedings of the Advances in Neural Information Processing Systems (NeurIPS) (2019)