自动驾驶3D目标检测综述（六）

停更了好久终于回来了（其实是因为博主去备考期末了hh）
这一篇接着（五）的第七章开始讲述第八章的内容。第八章重要先容的是三维目标检测的高效标签。

---

目录
第八章 三维目标检测高效标签
一、域适应
（一）题目和挑衅
（二）跨传感器域适应
（三）跨气候域适应
（四）模拟现实域适应
二、弱监督3D目标检测
（一）题目和挑衅
（二）弱监督三维目标检测
三、半监督3D目标检测
（一）题目和挑衅
（二）半监督三维目标检测
四、自监督3D目标检测
（一）题目和挑衅
（二）自监督三维目标检测

---

第八章 三维目标检测高效标签

在这个章节里，我们先容一些三维目标检测高效标签的方法。在前几个章节中，我们通常假设三维检测器是在全监督下进行练习的，且是在特定数据域和富足大量的上下文的情况下进行的。然而，在现实天下的应用中，三维目标检测方法不可避免地会遇到泛化能力差和缺少上下文的题目。为了解决这些题目，高效标签化的技术就能够应用于三维目标检测，包罗三维目标检测的域适应（第一节）、弱监督学习（第二节）、半监督学习（第三节）和自监督学习（第四节）。我们将会在下面几个章节中先容这些方法。
一、域适应

（一）题目和挑衅

域间隙在数据网络过程中是普遍存在的。不同的传感器设置和放置，不同的地理位置以及不同的气候都有大概得到完全不同的数据域。在大部门情况中，在特定域中练习的三维目标检测器比在其他域中练习的检测器性能更差。人们提出了许多技术来解决三维目标检测中域适应的题目，比如采用源和目标域的同等性，以及在目标域中自练习。然而，大部门方法仅仅注重解决某个特定的域转换题目。设计一个域适应方法，这种方法可以应用于三维目标检测中任意一个域转换任务，这将是一个有前途的研究方向。三维目标检测域适应方法阐述图如下：

方法分类如下表：

（二）跨传感器域适应

不同的数据集有着不同的传感器设置，比如在nuScenes数据集上采用的32光束的激光雷达VS在KITTI数据集上采用的64光束的激光雷达， 而且数据也在不同的地理位置网络，比如KITTI数据集是在德国网络的，而Waymo是在美国网络的。这些因素都会导致不同数据集间产生严重的域间隙，而且在数据集上练习的检测器在其他数据集上测试时通常性能较差。Wang等人的一项开创性工作就是观察到了不同数据集之间的间隙，而且引入了一种统计归一化的方法来处理这些间隙。下面许多工作也都采用了自练习的方法解决域适应的题目。在这些方法中，在源数据集上预练习的检测器将为目标数据集引入伪标签，而且会在带有伪标签的目标数据集上重新练习。这些方法重要在获取更高质量的伪标签上做出了改进，比如Saltori提出了一种范围和检测策略，Yang引入了一种记忆库，Fruhwirth-Reisinger等人采用场景流应用，以及You等人采用重放来增强伪标签的质量。除了自练习方法，也存在一些论文在源和目标域之间建立对齐。域对齐通过规模意识和范围意识对齐策略（这是Zhang等人提出的），多级别同等性（Luo等人提出）以及对比性团结练习方案（Yihan等人提出）来建立。
除了数据集间的域间隙，不同的传感器之间也能够产生不同特征的数据。一个32光束的激光雷达能产生比64光束激光雷达更希罕的点云，而且不同摄像机获取的图像也拥有不同的尺寸和内参。Rist等人提出了一种多任务学习模式来解决不同激光雷达传感器的域间隙，而且Gu提出了不变位置的转换来解决不同相机间的域间隙。
（三）跨气候域适应

气候状态对数据的网络也会造成巨大的影响。在雨天的时候，雨滴会改变目标表面特质以致于很少有激光雷达光束能够反射回来并检测到，以是在雨天网络的点云比在干燥气候下网络的点云更加希罕。除了反射更少之外，下雨也会导致来自中空雨滴错误的正反射。Xu等人提出了跨气候域适应题目标一种新颖的语义点生成方案。
（四）模拟现实域适应

模拟数据已经被广泛应用于三维目标检测中，因为现实天下网络的数据并不能覆盖所有的驾驶场景。然而，合成数据与现实数据有着截然不同的特质，这也就导致了模拟现实域适应的题目。人们提出了许多方法来解决这个题目，例如Zhu等人提出的基于练习的GAN并引入一种对抗的辨别器来区分现实和合成数据。
二、弱监督3D目标检测

（一）题目和挑衅

现存的三维目标检测方法都高度依靠大量人工标签的三维边界框上的练习，但是给这些三维边界框添加注释是非常耗时费力和昂贵的。弱监督学习大概成为这个题目标一个解决方案，因为弱监督信号，例如更少昂贵的二维注释，已经被应用于三维目标检测模子中。若监督三维目标检测不须要那么多人工数据注释，但是在弱监督和全监督方法中仍存在不可忽视的性能间隙。弱监督三维目标检测方法阐述如下图：

（二）弱监督三维目标检测

弱监督方法采用弱监督而非全监督注释三维边界框来练习三维目标检测器。弱监督包罗二维图像边界框，一个预练习的图像检测器，BEV目标中心和车辆实例。这些方法通常设计出新颖的学习机制来跳过三维框监督并通过从弱信号中最小化有用的信息来学习如何检测三维目标。
三、半监督3D目标检测

（一）题目和挑衅

在现实天下应用中，数据注释须要的人力比数据网络更多。通常一个数据获取车一天之内能够网络十万多帧点云，然而一个纯熟的人类注释者一天仅能注释一百到一千帧。这就不可避免的会导致大量增长的未标签化的数据。因此如何从大范围未标签的数据中最小化有用的信息就成为了研究界和工业界一个严厉的挑衅。半监督学习是一个有希望的方向，它采用少部门标签化数据和大量未标签化的数据来团结练习一个更强大的模子。将半监督学习方法结合到三维目标检测中去能够增强检测性能。半监督三维目标检测方法阐述如下：

（二）半监督三维目标检测

半监督三维目标检测重要有两种方法：伪图像标签和西席-学生学习。伪图像标签方法（Caine等人提出）起首采用标签化的数据练习了一个三维目标检测器，然后使用三维检测器为那些未标签化的数据产生伪图像标签。终极，三维目标检测器在未标签化的域内用伪图像标签重新练习。西席-学硕方法（Zheng等人提出）在三维目标检测中采用均匀西席练习范式。具体而言，一个西席检测器起首在标签化域中练习，然后通过鼓励两种检测模子间的输出同等性来指导学生检测器在未标签化域中练习。
四、自监督3D目标检测

（一）题目和挑衅

自监督预练习已经成为一个强大的工具，当大量未标签化数据和限制性的标签数据存在时。在自监督学习中，模子起首在大范围的未标签化的数据中预练习，之后在标签化的数据集上微调以获得更好的性能。在自动驾驶场景中，三维目标检测的自监督预练习还未探索许多。现存方法仍实验适应自监督方法，例如对比性学习，相对于三维目标检测题目，但是多模态数据中丰富的语义信息还未被很好地使用起来。如安在预练习高效三维目标检测器时有用处理这些原始点云和图像仍是一项开放性的挑衅。自监督三维目标检测方法阐述如下：

（二）自监督三维目标检测

自监督方法通常将对比性学习技术应用到三维目标检测中。具体而言，输入点云起首转换成增强的两种视角，之后应用对比性学习来支持两种视角下相同三维位置的特征同等性。终极，采用对比学习预练习的三维检测器进一步在标签化数据集上微调以获得更好的性能。PointContrast（Xie等人提出）首次在三维目标检测中引入对比学习范式，而且以下文章中通过采用深度信息和聚合改进了这个范式。除了点云检测器的自监督学习，还有一些工作实验为自监督三维检测同时采用点云和图像，例如Li提出了一种基于多模态输入的模子内和模子间的对比学习模式。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。