为什么需要时间同步？

在自动驾驶中，需要用到很多传感器的数据（Lidar，Camera，GPS/IMU)，如果计算单元接收到的各传感器的消息时间不统一，则会造成例如障碍物识别不准等问题。

时间同步包含哪些内容？

自动驾驶中，时间同步可以分为几部分的内容：统一时钟源，硬件同步，软件同步。其中硬件时间同步主要针对相机 。

1.统一时钟源

假设各传感器都有自己的内部时钟，但由于每个时钟的钟漂不一样，导致各时钟之间存在时间差，所以需要统一各传感器的时间源。

一般采用GPS时间作为统一时间源，通过GPS给各个传感器提供基准时间，各传感器根据提供的基准时间校准各自的时钟时间。

各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息，来做到所有传感器时间戳同步。

统一时钟源的常见方式有两种，一种是基于GPS的“PPS+NMEA”，另一种是基于以太网的IEEE 1588（或IEEE 802.1AS）时钟同步协议。

a.PPS+NMEA

GPS能够从卫星获得高精度的时钟信号，因此通常作为整个系统的时钟源。常规的GPS单元都支持输出精确到毫秒的秒脉冲信号PPS和包含年月日时分秒信息的NMEA指令，通过PPS和NMEA的组合就能够实现对激光雷达或主机的毫秒级时钟同步。

PPS+NMEA的优点是协议简单，容易实现；缺点是必须基于RS232。多个设备之间实现同步比较困难。

b.PTP（IEEE 1588或IEEE 802.1AS）

PTP(Precision Time Protocol，1588 V2)是基于以太网的高精度时钟同步协议，能够实现以太网中多个从节点（各种传感器）与主节点（主机）之间的亚微秒级时钟同步，前提是所有节点之间都通过以太网互联，交换机支持PTP协议，并且每个节点都支持PTP协议。

与PTP同时出现的还有一种NTP，即网络时间协议，不同的是PTP是在硬件级实现的，NTP是在应用层级别实现的 。

2.硬件同步

由于每种传感器的采样频率不一致，如lidar通常为10Hz，camera通常为25/30Hz，不同传感器之间的数据传输还存在一定的延迟，那么可以通过寻找相邻时间戳的方法找到最近邻帧，但如果两个时间戳相差较大，且传感器或障碍物又在运动，那么最终会得到较大的同步误差。这个情况可以采用硬件同步触发的方法来缓解查找时间戳造成的误差现象。

那如何实现硬件同步呢？也就是在激光雷达和相机的时间源都统一到GPS时间后，如何保证他们同步触发采集呢？方式是以PPS信号为触发信号，实现激光雷达和相机均在PPS信号上升沿的时候采集数据，且打上各自时钟的时间戳。由于PPS的频率只有1Hz，所以通常需要一个设备把PPS信号转发为任意频率、但是跟PPS信号同相位的方波，这样就可以控制相机的采集频率了。

用外部信号触发相机比较好理解，那如何保证激光雷达在PPS信号上升沿的时候采集数据呢？激光雷达制造商想出了一个相位锁定功能，也就是输入PPS，但PPS上升沿到来时，激光雷达的激光束恰好旋转到一定的角度。

于是乎，我们设置激光雷达的相位锁定角度为相机视野中央，如果相机视野朝着车辆正前方，激光雷达的坐标系也是朝着车辆正前方的话，相位锁定角度应该是0度。那么问题就这样解决了，每当激光雷达的激光束旋转到0度位置，也就是相机视野正中央，PPS上升沿刚好到来，相机也因此触发，就这样就实现了激光雷达和相机的同步采集。但是，由于激光雷达和相机采集数据的方式不同，我们只能近似地保证激光雷达和相机的同步采集。如下图所示，激光雷达的激光束不断地360度旋转，假设帧率为10Hz的话，那么一帧点云中采集时刻最早的一个点和采集时刻最晚的一个点时间相差100ms。而相机就不同了，相机是瞬间曝光的，因此图像里面所有像素点的采集时刻都是一样的。这就导致了我们只能近似地保证激光雷达和相机的同步采集。具体方法就是当激光束旋转到相机视野中央的时候，触发相机，这样就保证了相机视野内的点云采集时间是跟图像采集时间是近似的。为什么说是近似的呢？对于相机视野中央的那些点云，它们的采集时间是跟图像采集时间一致的，但是对于相机视野边缘的那些点云，它们的采集时间就跟图像采集时间要有一定的时间偏差了，根据相机视野的大小和点云采集帧率的不同，时间偏差可能会有5ms~20ms左右。

3.软件同步

当两传感器的采集时刻不一致，但又想得到同一时刻下两传感器的结果，就可以使用软件同步的方式。目前常采用的软件同步方式为内插外推法，此方法适用于传感器间帧率不存在倍数关系的情况，或者传感器有帧率不稳定的情况。主要利用两个传感器帧上的时间标签，计算出时间差，然后通过包含有运动信息的目标帧与时间差结合，对帧中每一个目标的位置进行推算，推算出新的帧时各个目标的位置，并于原有的两帧之间建立新的帧。