【论文阅读】【点云处理】Transformer在点云上的应用
发布日期:2021-09-16 07:31:51 浏览次数:1 分类:技术文章

本文共 2355 字,大约阅读时间需要 7 分钟。

文章目录

Transformer在点云上的应用的研究处于起步阶段。

Transformer的入门可以看我另外一篇博客:。

PCT: Point Cloud Transformer

论文链接:https://arxiv.org/abs/2012.09688

代码链接:https://github.com/MenghaoGuo/PCT

naive PCT

在这里插入图片描述

1、输入为点云,用MLP做input embedding。

2、送入transformer中,做成DenseNet的连接形式。
3、然后用LBR进一步提取特征到1024维
4、做MA-Pool,就是max-pooling和average-pooling结合,得到一个global feature

做classification:用这个global feature直接算

做Segmentation和法向量预测:需要恢复到原始点的数量,则把global feature和做MA-pool之前的特征拼接起来。然后用LBR做预测。

Offset-Attention

这块是本文声称的一个创新点:

SA代表self attention这个模块, F s a F_{sa} Fsa代表经过self-attention操作之后的特征

在这里插入图片描述

原本的self-attention如上,本文改成了:

在这里插入图片描述
然后我认为作者强行与Laplacian matrix关联了一下。那你说有改进,那你就做ablation study看一下效果提升多少啊。

作者也改了normalization的方法。

Neighbor Embedding for Augmented Local Feature Representation

作者认为attention可以很好的提取全局特征,但对于局部特征来说则弱一些。所以作者提出,先用PointNet++来提取一些局部特征,作为transformer的输入。

对于classification,PointNet++中的采样保留就好。但对于分割。就不要FPS这个,对所有点做局部特征提取。

Experiment

实验做出来效果很好,就是没有ablation study说明提出改进的比较性。

Point Transformer

Attention Module

作者首先给出原本transformer的表达式,其中 δ \delta δ是position encoding, ρ \rho ρ是normalizaion函数,例如softmax:

在这里插入图片描述

然后作者给出了vector attention的表达式,这里作者也没给出引文,我也没听过没查到说vector attention是啥。但也先不管,其中 γ \gamma γ是MLP, β \beta β是relation function,例如减法:

在这里插入图片描述

紧接着,作者给出了本文attention的表达式

在这里插入图片描述
其中, γ \gamma γ, φ \varphi φ, ψ \psi ψ, α \alpha α均是MLP, δ \delta δ如下给出,其中 θ \theta θ也是MLP:
在这里插入图片描述
那我们重新整理一下这个公式:

y i = ∑ ρ ( M L P ( x i ) − M L P ( x j ) + M L P ( x i − x j ) ) ⊙ ( M L P ( x j ) + M L P ( x i − x j ) ) y_i = \sum \rho(MLP(x_i)-MLP(x_j)+MLP(x_i-x_j)) \odot(MLP(x_j)+MLP(x_i-x_j)) yi=ρ(MLP(xi)MLP(xj)+MLP(xixj))(MLP(xj)+MLP(xixj))

我认为MLP反正是可以训练的,MLP合一合表示其实也是一样的,结果就是:

y i = ∑ ρ ( M L P ( x i , x j , x i − x j ) ) ⊙ ( M L P ( x j , x i − x j ) ) y_i = \sum \rho(MLP(x_i,x_j,x_i-x_j)) \odot(MLP(x_j,x_i-x_j)) yi=ρ(MLP(xi,xj,xixj))(MLP(xj,xixj))

x j x_j xj的挑选还是在 x i x_i xi的KNN这个邻域内,那么这个其实就和《Relation-Shape Convolutional Neural Network for Point Cloud Analysis》的想法就很像了。这里放一张RS-CNN的图:

在这里插入图片描述
x i x_i xi的邻域内的一个点 x j x_j xj h i , j h_{i,j} hi,j其实就是 x i x_i xi x j x_j xj的位置关系,然后用MLP计算权重 w i , j w_{i,j} wi,j,然后再与 f x j f_{x_j} fxj相乘,表示成公式就是:
y i = ∑ ρ ( M L P ( x i , x j , x i − x j ) ) ⊙ ( M L P ( x j ) ) y_i = \sum \rho(MLP(x_i,x_j,x_i-x_j)) \odot(MLP(x_j)) yi=ρ(MLP(xi,xj,xixj))(MLP(xj))

其实差不多嘛,就是对 f x j f_{x_j} fxj做了个特征的增加

network

在这里插入图片描述

跟PointNet++或者是RS-CNN差不多。

Experiment

实验效果很好,而且在ablation study中证明了本文提出的attention的方法要比原本的self attention更有效。

转载地址:https://blog.csdn.net/wqwqqwqw1231/article/details/115219267 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:【论文阅读】【2D目标检测】CenterNetv2: Probabilistic two-stage detection
下一篇:【学习】从零入门Transformer

发表评论

最新留言

做的很好,不错不错
[***.243.131.199]2024年03月03日 06时08分55秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

python入门之基础语法第四关输入输出答案_Python基本语法入门,基础 2019-04-21
mysql在存储过程仍_mysql存储过程 2019-04-21
失败的人生图片_早安励志经典语录精辟的一句话人生感悟 2019-04-21
如何设画面大小_如何设计旅游类项目?分享3种设计思路 2019-04-21
开启web_2021秋招四大网申时间、网申地址汇总(持续更新),德勤、安永、普华永道已开启!... 2019-04-21
从右边开始放_停路边,被人恶意放钉子,爆胎,报警无果,要我找监控 2019-04-21
读写测试_UFS 3.0读写测试数据曝光:秒杀UFS 2.1和eMMC 2021-06-24
注册小程序要多少钱_开发一个微信小程序商城要多少钱? 2021-06-24
mysql 实现id自增序列_MySQL分表自增ID解决方案 2021-06-24
反距离加权插值法例题_空间插值算法-反距离加权法 2021-06-24
oracle如何写循环日期自增_Oracle动态创建时间分区,以及Oracle12c中快速创建自增列... 2021-06-24
手机gps信息提取并储存到本地_通信人的实用技巧,如何在日常拍的照片里提取GPS位置信息... 2021-06-24
linux 怎么找到web日志文件,Linux 检查websphere 的application的日志文件 2021-06-24
window自动上传linux,利用putty证书实现linux和window文件自动同步 2021-06-24
linux iso 定制系统,linux 定制ISO 2021-06-24
linux 多线程ppn,Linux下如何查看CPU信息, 包括位数和多核信息 2021-06-24
linux用计算器的命令,linux计算器命令 2021-06-24
via小主机装linux,如何在 Linux 服务器上安装 Krypt 涡轮增压 (Turbo) 2019-04-21
linux tomcat加logo,Docker Tomcat镜像制作 2019-04-21
usb键码转linux键值,CH554串口接收数据转USB键值程序 CH559模拟USB复合设备,键鼠,支持类命令... 2019-04-21