waymo数据集介绍说明

数据集介绍说明"/>

waymo数据集介绍说明

论文链接为：.04838v7

项目链接为：

数据官网为：

官网下载的原始数据集*.tar压缩包，批量解压出*.tfrecord格式数据集，每一份tfrecord文件存放一份连续帧视频文件，包括点云、图像、标注等信息。其中训练集798份，验证集202份，测试集150份。
批量解压脚本：

# shell脚本tar批量解压
cd ./datasest/waymo_open_dataset_v_1_4_0/archived_files/training
mkdir ./waymo_format/training
for tar in *.tar;  do tar xvf $tar -C ./waymo_format/training/; done
:<<!执行命令：bash waymo.sh
!

1. *.tfrecord 格式解析

pip安装waymo包：`pip install waymo-open-dataset-tf-1-15-0==1.2.0` 
参考代码：CenterPoint-master/det3d/datasets/waymo/waymo_converter.py (tfrecord格式解析出pkl格式的lidar、annos文件目录）包含5个camera image,若干个gt_box的label及lidar信息（range_image等）。label类别：4类--vehicle、pedestrians、cyclists、signs。dataset_pb2.Frame()详细信息如下：

camera_labels: 相机标注信息

context: 硬件校准信息。相应相机校准信息–位置(如front\front left).内-9外-16参数、分
辨率、滚动快门方向; 相应激光校准信息–位置、光束最大最小倾角、外参；状态–标注框类别个数（相机、点云）、采集时间天气地点。


images: 5个相机图像信息。有位置、图像数据、pose、velocity(v_x, v_y, v_z, w_x, w_y, w_z)、pose_timestamp、shutter(快门时间)、camera_trigger_time(相机触发时间)、camera_readout_done_time(相机读写时间)
laser_labels：点云标注信息。n个标注框信息，每个标注具有box|metadata-速度+加速度|type|id|detection_difficulty_level|tracking_difficulty_level|num_lidar_points_in_box信息。

lasers: 5个激光信息。位置+其他。
no_label_zones:
pose: 16维。组成车载坐标转世界坐标变换矩阵。

projected_lidar_labels: 5个激光标注图像框映射，如front激光点云框投影到图像位置，示例如下：

解析：train(798 份视频) 解析 158081 序列帧 pkl 文件；val(202 份视频)解析 39987 序列帧 pkl 文件。命名规则 ”seq_场景号_frame_帧号.pkl“。
点云解析

标注解析：速度标注借助frame.pose.transform变换矩阵进行一次坐标转换，从全局坐标系到参考坐标系（lidar)，如下右侧

2. 点云处理技巧

第四维度表示强度信息，激光脉冲返回的强度，部分表示激光脉冲击中物体的反射率，变化范围（0，5w），主要集中小数据阶段。常使用tanh处理强度维信息。

3. 标注规则

参考github标注文档

3d lidar标注，其边界框具有零间距(zero pitch)和零滚动(zero roll)。航向（以弧度为单位，归一化为 [-π， π]）表示车辆的+X轴围绕Z轴旋转角度，以与车辆的前轴对齐（原文：Heading is the angle needed to rotate the vehicle frame +X axis about the Z axis to align with the vehicle’s forward axis）。

3.1. vehicle

激光雷达数据或图像将对象识别为车辆。火车和有轨电车不视为车辆，也没有标签。摩托车和摩托车手被标记为车辆。
边界框包括：后视镜; 从车辆上突出的物体，例如自行车架、卡车后部的加长梯子、车顶上的货箱等;车辆的开放式引擎盖/引擎盖或行李箱/行李箱.
不包括: 小的突出部分，如天线、旗帜、拖车挂钩等; 任何打开的门（例如侧门、后门或油箱盖）。
对于所有带有拖车的车辆，将创建两个单独的边界框：一个用于车辆/牵引车，一个用于拖车。带拖车的车辆通常包括旅行车、房车、移动房屋、船、牵引车拖车、箱式拖车等。
如果车辆和拖车有重叠，则边界框也可能重叠。为所有不属于主车辆一部分的可移动外部附件创建单独的边界框。例如工程车辆上的液压臂和卡车上的装载坡道。

3.2. pedestrian

激光雷达数据或图像中将对象识别为行人。
步行或骑滑板车（包括电动滑板车）、赛格威、滑板等的人被标记为行人。站在汽车/卡车顶部或站在卡车平板上的人被标记为行人，其他车辆内的人员不被标记。
骑自行车的人不会被标记为行人，被标记为cyclist。
人体模型、雕像、假人、布面覆盖的物体、广告牌、海报、建筑物内的行人或人的倒影都不会被标记。
边界框:（包括行人和其他对象）— 行人抱着小孩或携带小物品（小于2米，例如雨伞或小手提包或标志）, 行人骑滑板车（包括电动滑板车）、赛格威、滑板等。
不包括其他对象—如果行人携带大于2m的物体，或者推着自行车或购物车，则边界框不包括附加物体。 如果行人推着装有孩子的婴儿车，则会为行人和孩子创建单独的边界框。婴儿车不包括在儿童边界框中。
如果行人相互重叠，则会将其标记为单独的对象。如果它们重叠，则边界框也可以重叠。

3.3. cyclist

激光雷达数据或图像将对象识别为骑行者。停放或没有骑手的自行车不被标记。
当行人上车时，并进入骑行姿势后被标记为骑自行车者。
边界框： 骑自行车、三轮车或带轮玩具的儿童车、独轮车、三轮车和卧式自行车、大型多座自行车手. 边界框包括骑手和自行车, 附着在活跃骑行者后部的物体（如座椅和小型拖车）。

3.4. sign

调节交通流量的标志（未指定标志子类型）。包括：停车标志、让行标志、限速标志、警告标志、指南和娱乐标志。 不包括： 街道名称标志、纸质标志/手写标志、商业板、任何其他与交通无关的标志.