Tesla在AIDay上展示了其车道线检测技术的最新进展。这项技术通过三个主要模块——视觉组件、地图组件和语言组件——来实现。视觉组件利用八个相机的视频流，通过RegNet和FPN提取视觉特征，再通过transformer进行特征融合，并引入时序信息。地图组件则将路网信息编码成3D世界坐标系下的tensor。语言组件是模型的核心，通过点预测器、拓扑类型预测器等结构，精确预测车道线的几何形状和连接性。尽管Tesla的演示中有一些细节未被完全解释清楚，但其基于起点和终点的点基础方法有效地避免了交叉路口中虚拟车道线的复杂性。这种技术的应用，让人联想到Uber早期的“Hierarchical Recurrent Attention Networks for Structured Online Maps”工作，通过网络结构预测车道线。Tesla的技术在车道线检测方面展现了其创新性和实用性。

距离Tesla的AIDay也已经过去了几天啦~百度58汽车上很多大佬也谈了自己对整个aiday的感受，对于我自己目前的菜鸡水平而言，可能唯一能够读的比较明白的就是关于车道线检测部分~这里简单的抛砖引玉，大概说下我自己的一个梳理以及个人理解~也欢迎大家多多讨论。

PS(一份小的广告)：我(2023年硕士应届毕业生)目前还在进行秋招自动驾驶感知算法岗的寻觅和投递，希望如果有团队缺人的话可以捞捞弟弟~谢谢各位大佬

Problemwiththeoldversion

Result:Oldversionbreaksdowninurbanscenarios.

Producethefullsetlaneinstancesandtheirconnectivitytoeachother.

Formulation

Predictagraph:

模型整体包括三个主要模块:VisionComponent,MapComponent,LanguageComponent

VisionComponent:

Input:八个相机的视频流

Output:视觉特征(估计应该是个3D的)

具体来讲，RegNet作为backbone,经编码后的特征输入至FPN.随后使用transformer将不同的相机的特征进一步进行融合.时序信息将通过videomodule进行引入。

MapComponent:

这部分Tesla的介绍非常简短，大概就是会将当前视域下一个粗糙的路网信息额外作为input，通过若干曾神经网络进行编码，输入并最终生成密集的基于世界坐标系下的tensor(3D)。根据ppt上的介绍，大概包括但不限于基于道路层面的几何信息&拓扑关系，导航路线，车道数量，车道级别的拓扑关系，是否为XX车道等(感觉已经蛮细致了，要能全部用到估计还挺麻烦)

几个发布会提到的细节：

最终输出:

Adenseworldtensor(3D).

LanguageComponent

这应该是整个model的重中之重，也是整个aiday花了较大篇幅介绍的一个工作内容。

Modelstructures:

PointPredictor(Level1):Acoarsepredictor(Thecoarsegridlocationofwholescene)

PointPredictor(Level2):Afinepredictor(Thefinegridlocationoftargetcoarsegrid)

TopologyTypePredictor:Start/continual/end/fork/merge

Forkpointpredictor:returnitspredecessorpointindexifthereisafork.

MergePointpredictor:returnitssuccessorpointindexifthereisamerge.

SplineCoefficientPredictor:givenamoreprecisegeometryrepresentationofthelane.

ThefinaloutputsofLanguageComponent

Doubts&ownopinion

关于LanguageComponent，仅从他的PPT和直播中的描述，有很多细节并没有介绍的很清楚。在他的整体刻画中，一整个scenarios是一个language。但按照他的Formuation，一整个scenarios中应该会有若干条lane,每个lane都应该有自己的start和对应的end。

根据其Example和先前的一些论文调研来看，会让我觉得有那么一点类似的是早年间Uber团队的"HierarchicalRecurrentAttentionNetworksforStructuredOnlineMaps"工作

该论文提出，通过一个如上图所示的网络结构，来进行最终车道线的预测。其中水平方向负责预测具体有多少条车道线，垂直方向负责预测这个车道线具体长什么样子。

虽然Tesla全篇描述他的baseelement是lane，但是在他的example刻画中，感觉还是一个Point-basedmethod，若将车道均由起点和终点以及对应的连接性进行表征。这种刻画方式很好规避了intersection中对虚拟车道线的刻画。

比较疑惑的一个点，在于Tesla所给的demo中(下图中红色方框圈定的位置)，intersection中的部分虚拟车道线，是进行了类似中间点的标定。不知道这个GT的标注原则具体是怎样的？但总体来看，是一个基于startpoint&endpoint的Point-Basedmethod.

以上内容由58汽车提供。如有任何买车、用车、养车、玩车相关问题，欢迎在下方表单填写您的信息，我们将第一时间与您联系，为您提供快捷、实用、全面的解决方案。