KITTI的标定数据是这样的
一个相机有三个标定文件组成：
calib_cam_to_cam
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 |
calib_time: 09-Jan-2012 13:57:47 corner_dist: 9.950000e-02 S_00: 1.392000e+03 5.120000e+02 K_00: 9.842439e+02 0.000000e+00 6.900000e+02 0.000000e+00 9.808141e+02 2.331966e+02 0.000000e+00 0.000000e+00 1.000000e+00 D_00: -3.728755e-01 2.037299e-01 2.219027e-03 1.383707e-03 -7.233722e-02 R_00: 1.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00 T_00: 2.573699e-16 -1.059758e-16 1.614870e-16 S_rect_00: 1.242000e+03 3.750000e+02 R_rect_00: 9.999239e-01 9.837760e-03 -7.445048e-03 -9.869795e-03 9.999421e-01 -4.278459e-03 7.402527e-03 4.351614e-03 9.999631e-01 P_rect_00: 7.215377e+02 0.000000e+00 6.095593e+02 0.000000e+00 0.000000e+00 7.215377e+02 1.728540e+02 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00 0.000000e+00 S_01: 1.392000e+03 5.120000e+02 K_01: 9.895267e+02 0.000000e+00 7.020000e+02 0.000000e+00 9.878386e+02 2.455590e+02 0.000000e+00 0.000000e+00 1.000000e+00 D_01: -3.644661e-01 1.790019e-01 1.148107e-03 -6.298563e-04 -5.314062e-02 R_01: 9.993513e-01 1.860866e-02 -3.083487e-02 -1.887662e-02 9.997863e-01 -8.421873e-03 3.067156e-02 8.998467e-03 9.994890e-01 T_01: -5.370000e-01 4.822061e-03 -1.252488e-02 S_rect_01: 1.242000e+03 3.750000e+02 R_rect_01: 9.996878e-01 -8.976826e-03 2.331651e-02 8.876121e-03 9.999508e-01 4.418952e-03 -2.335503e-02 -4.210612e-03 9.997184e-01 P_rect_01: 7.215377e+02 0.000000e+00 6.095593e+02 -3.875744e+02 0.000000e+00 7.215377e+02 1.728540e+02 0.000000e+00 0.000000e+00 0.000000e+00 1.000000e+00 0.000000e+00 S_02: 1.392000e+03 5.120000e+02 K_02: 9.597910e+02 0.000000e+00 6.960217e+02 0.000000e+00 9.569251e+02 2.241806e+02 0.000000e+00 0.000000e+00 1.000000e+00 D_02: -3.691481e-01 1.968681e-01 1.353473e-03 5.677587e-04 -6.770705e-02 R_02: 9.999758e-01 -5.267463e-03 -4.552439e-03 5.251945e-03 9.999804e-01 -3.413835e-03 4.570332e-03 3.389843e-03 9.999838e-01 T_02: 5.956621e-02 2.900141e-04 2.577209e-03 S_rect_02: 1.242000e+03 3.750000e+02 R_rect_02: 9.998817e-01 1.511453e-02 -2.841595e-03 -1.511724e-02 9.998853e-01 -9.338510e-04 2.827154e-03 9.766976e-04 9.999955e-01 P_rect_02: 7.215377e+02 0.000000e+00 6.095593e+02 4.485728e+01 0.000000e+00 7.215377e+02 1.728540e+02 2.163791e-01 0.000000e+00 0.000000e+00 1.000000e+00 2.745884e-03 S_03: 1.392000e+03 5.120000e+02 K_03: 9.037596e+02 0.000000e+00 6.957519e+02 0.000000e+00 9.019653e+02 2.242509e+02 0.000000e+00 0.000000e+00 1.000000e+00 D_03: -3.639558e-01 1.788651e-01 6.029694e-04 -3.922424e-04 -5.382460e-02 R_03: 9.995599e-01 1.699522e-02 -2.431313e-02 -1.704422e-02 9.998531e-01 -1.809756e-03 2.427880e-02 2.223358e-03 9.997028e-01 T_03: -4.731050e-01 5.551470e-03 -5.250882e-03 S_rect_03: 1.242000e+03 3.750000e+02 R_rect_03: 9.998321e-01 -7.193136e-03 1.685599e-02 7.232804e-03 9.999712e-01 -2.293585e-03 -1.683901e-02 2.415116e-03 9.998553e-01 P_rect_03: 7.215377e+02 0.000000e+00 6.095593e+02 -3.395242e+02 0.000000e+00 7.215377e+02 1.728540e+02 2.199936e+00 0.000000e+00 0.000000e+00 1.000000e+00 2.729905e-03 |
calib_imu_to_velo
|
1 2 3 |
calib_time: 25-May-2012 16:47:16 R: 9.999976e-01 7.553071e-04 -2.035826e-03 -7.854027e-04 9.998898e-01 -1.482298e-02 2.024406e-03 1.482454e-02 9.998881e-01 T: -8.086759e-01 3.195559e-01 -7.997231e-01 |
calib_velo_to_cam
|
1 2 3 4 5 |
calib_time: 15-Mar-2012 11:37:16 R: 7.533745e-03 -9.999714e-01 -6.166020e-04 1.480249e-02 7.280733e-04 -9.998902e-01 9.998621e-01 7.523790e-03 1.480755e-02 T: -4.069766e-03 -7.631618e-02 -2.717806e-01 delta_f: 0.000000e+00 0.000000e+00 delta_c: 0.000000e+00 0.000000e+00 |
1、kitti数据采集平台
KITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个Velodyne64线3D激光雷达，4个光学镜头，以及1个GPS导航系统。图示为传感器的配置平面图，为了生成双目立体图像，相同类型的摄像头相距54cm安装。由于彩色摄像机的分辨率和对比度不够好，所以还使用了两个立体灰度摄像机，它和彩色摄像机相距6cm安装。（模拟双目摄像机？）
1惯性导航系统（GPS / IMU）：OXTS RT 3003
1台激光雷达：Velodyne HDL-64E
2台灰度相机，1.4百万像素：Point Grey Flea 2（FL2-14S3M-C）
2个彩色摄像头，1.4百万像素：Point Grey Flea 2（FL2-14S3C-C）
4个变焦镜头，4-8毫米：Edmund Optics NT59-917
2、kitti 激光雷达、摄像头数据融合：
要将Velodyne坐标中的点x投影到左侧的彩色图像中y：
使用公式：y = P_rect_2 * R0_rect *Tr_velo_to_cam * x
将Velodyne坐标中的点投影到右侧的彩色图像中：
使用公式：y = P_rect_3 * R0_rect *Tr_velo_to_cam * x
Tr_velo_to_cam * x ：是将Velodyne坐标中的点x投影到编号为0的相机（参考相机）坐标系中
R0_rect *Tr_velo_to_cam * x ：是将Velodyne坐标中的点x投影到编号为0的相机（参考相机）坐标系中，再修正
P_rect_2 * R0_rect *Tr_velo_to_cam * x ：是将Velodyne坐标中的点x投影到编号为0的相机（参考相机）坐标系中，再修正，然后投影到编号为2的相机（左彩色相机）
注意：
P_rect_2 (标号为2的摄像机的内参矩阵，只和相机内部参数有关，比如焦距和光心位置)
R0_rect（相机0的矫正旋转矩阵）
Tr_velo_to_cam（点云到相机的外参矩阵）
3、kitti 提供的校正文件解析：以（2011_09_26_calib文件夹中的文件为例）文件夹中包含三个文件
（1）calib_cam_to_cam.txt(相机到相机的标定)：
其中
– S_xx：1×2 矫正前的图像xx的大小
– K_xx：3×3 矫正前摄像机xx的校准矩阵
– D_xx：1×5 矫正前摄像头xx的失真向量
– R_xx：3×3 （外部）的旋转矩阵(从相机0到相机xx)
– T_xx：3×1 （外部）的平移矢量(从相机0到相机xx)
– S_rect_xx：1×2 矫正后的图像xx的大小
– R_rect_xx：3×3 纠正旋转矩阵(使图像平面共面)
– P_rect_xx：3×4 矫正后的投影矩阵 （内参矩阵，前面第一行为前面四个数据，依次三行）
（2）calib_velo_to_cam.txt
其中
– R：3×3旋转矩阵
– T：3×1平移向量
– delta_f：弃用
– delta_c：弃用
– Tr_velo_to_cam = （R | T）（点云到相机的外参矩阵3×4）
（3）calib_imu_to_velo.txt
Y = P_rect_xx * R_rect_00 * (R|T)_velo_to_cam * (R|T)_imu_to_velo * X
4、 传感器标定
（1）calib_cam_to_cam.txt （P_rect_xx）
相机的标定，即为通过某个已知的目标，求取相机内参矩阵的过程。最常用的标定目标就是棋盘格。
准备好棋盘格照片之后采用matlab 自带的tools Camera Calibrator进行标定
- 单目摄像机需要标定的参数双目都需要标定
- 双目摄像机比单目摄像机多标定的参数（R和T）主要是描述两个摄像机相对位置关系的参数，这些参数在立体校正和对极几何中用处很大
（2）calib_velo_to_cam.txt
主要是得到点云到图像的旋转平移矩阵：Tr_velo_to_cam = （R | T）
