3D点云目标跟踪~评价指标

评价指标"/>

3D点云目标跟踪~评价指标

3D点云目标跟踪的评价指标，可以根据跟踪的目标是单个还是多个，分为单目标跟踪（SOT）和多目标跟踪（MOT）两种。一般来说，SOT的评价指标主要关注跟踪的准确性和鲁棒性，而MOT的评价指标则需要考虑跟踪的完整性和一致性。

SOT的常用评价指标有：

• 平均重叠率（Average Overlap Rate, AOR）：表示预测的3D边界框与真实的3D边界框之间的重叠比例的平均值。

• 平均中心误差（Average Center Error, ACE）：表示预测的3D边界框与真实的3D边界框之间的中心点距离的平均值。

• 成功率（Success Rate, SR）：表示预测的3D边界框与真实的3D边界框之间的重叠比例超过某个阈值（如0.5）的帧数占总帧数的比例。

• 精确率（Precision Rate, PR）：表示预测的3D边界框与真实的3D边界框之间的中心点距离小于某个阈值（如1米）的帧数占总帧数的比例。whaosoft aiot 

MOT的常用评价指标有：

• 多目标跟踪精度（Multiple Object Tracking Accuracy, MOTA）：综合考虑了漏检率、误检率和ID切换率对跟踪精度的影响。

• 多目标跟踪精确度（Multiple Object Tracking Precision, MOTP）：表示预测的3D边界框与真实的3D边界框之间的重叠比例或中心点距离的平均值。

• 跟踪长度（Track Length, TL）：表示每个目标被成功跟踪的帧数。

• 跟踪片段（Track Fragment, TF）：表示每个目标被中断跟踪的次数。

• ID切换率（ID Switch Rate, ISR）：表示每个目标被错误地分配给另一个ID或从另一个ID切换过来的次数。

评价指标详细代码：

首先，我们需要导入一些必要的库，如numpy, scipy和sklearn。然后，我们需要定义一些辅助函数，如计算两个3D边界框之间的重叠比例（IoU），计算两个3D点之间的欧氏距离，以及使用匈牙利算法进行数据关联。

import numpy as np
from scipy.spatial.transform import Rotation as R
from scipy.optimize import linear_sum_assignment
from sklearn.metrics import pairwise_distances# 计算两个3D边界框之间的重叠比例（IoU）
def iou_3d(box1, box2):# box1和box2都是7维向量，表示(x, y, z, w, l, h, yaw)# 其中(x, y, z)是中心点坐标，(w, l, h)是宽度、长度和高度，yaw是偏航角# 返回两个边界框之间的IoU值，范围在[0, 1]# 将边界框转换为8个顶点的矩阵box1_corners = box_to_corners(box1)box2_corners = box_to_corners(box2)# 计算两个边界框在每个轴上的投影区间box1_xmin = np.min(box1_corners[:, 0])box1_xmax = np.max(box1_corners[:, 0])box1_ymin = np.min(box1_corners[:, 1])box1_ymax = np.max(box1_corners[:, 1])box1_zmin = np.min(box1_corners[:, 2])box1_zmax = np.max(box1_corners[:, 2])box2_xmin = np.min(box2_corners[:, 0])box2_xmax = np.max(box2_corners[:, 0])box2_ymin = np.min(box2_corners[:, 1])box2_ymax = np.max(box2_corners[:, 1])box2_zmin = np.min(box2_corners[:, 2])box2_zmax = np.max(box2_corners[:, 2])# 计算两个边界框在每个轴上的交集区间inter_xmin = max(box1_xmin, box2_xmin)inter_xmax = min(box1_xmax, box2_xmax)inter_ymin = max(box1_ymin, box2_ymin)inter_ymax = min(box1_ymax, box2_ymax)inter_zmin = max(box1_zmin, box2_zmin)inter_zmax = min(box1_zmax, box2_zmax)# 如果没有交集，返回0if inter_xmax < inter_xmin or inter_ymax < inter_ymin or inter_zmax < inter_zmin:return 0.0# 计算交集区域的体积inter_vol = (inter_xmax - inter_xmin) * (inter_ymax - inter_ymin) * (inter_zmax - inter_zmin)# 计算两个边界框的体积box1_vol = (box1_xmax - box1_xmin) * (box1_ymax - box1_ymin) * (box1_zmax - box1_zmin)box2_vol = (box2_xmax - box2_xmin) * (box2_ymax - box2_ymin) * (box2_zmax - box2_zmin)# 计算并返回IoU值iou = inter_vol / (box1_vol + box2_vol - inter_vol)return iou# 将7维向量表示的边界框转换为8个顶点的矩阵表示
def box_to_corners(box):# 输入是一个7维向量，表示(x, y, z, w, l, h, yaw)# 输出是一个8x3的矩阵，表示8个顶点的坐标# 提取边界框的参数x, y, z, w, l, h, yaw = box# 计算旋转矩阵rot = R.from_euler('z', yaw).as_matrix()# 计算边界框的中心点center = np.array([x, y, z])# 计算边界框的8个顶点的相对坐标x_corners = np.array([w, w, -w, -w, w, w, -w, -w]) / 2y_corners = np.array([l, -l, -l, l, l, -l, -l, l]) / 2z_corners = np.array([h, h, h, h, -h, -h, -h, -h]) / 2corners = np.vstack((x_corners, y_corners, z_corners))# 通过旋转和平移，将相对坐标转换为绝对坐标corners = np.dot(rot, corners).T + centerreturn corners# 计算两个3D点之间的欧氏距离
def euclidean_distance(point1, point2):# point1和point2都是3维向量，表示(x, y, z)# 返回两个点之间的欧氏距离# 计算两个点之间的差异向量diff = point1 - point2# 计算并返回欧氏距离dist = np.sqrt(np.sum(diff ** 2))return dist# 使用匈牙利算法进行数据关联
def data_association(cost_matrix):# cost_matrix是一个m x n的矩阵，表示m个预测和n个观测之间的代价（如距离或者负IoU）# 返回一个长度为m的向量，表示每个预测匹配的观测的索引，如果没有匹配，则为-1# 使用scipy库中的linear_sum_assignment函数，求解最小化总代价的匹配方案row_ind, col_ind = linear_sum_assignment(cost_matrix)# 初始化匹配结果为-1matches = np.full(cost_matrix.shape[0], -1)# 将匹配方案赋值给匹配结果matches[row_ind] = col_indreturn matches

接下来，我们需要定义一些评价指标的计算函数，如AOR，ACE，SR，PR，MOTA，MOTP，TL，TF，ISR等。我们已经有了预测的3D边界框和真实的3D边界框的列表，以及每个边界框的置信度得分。我们还需要定义一些阈值，如重叠比例阈值（iou_threshold），中心点距离阈值（dist_threshold），置信度得分阈值（score_threshold）等，这些阈值将在代码中具体给出。

# 计算平均重叠率（AOR）
def average_overlap_rate(pred_boxes, gt_boxes):# pred_boxes是一个p x 7的矩阵，表示p个预测的3D边界框# gt_boxes是一个g x 7的矩阵，表示g个真实的3D边界框# 返回平均重叠率（AOR）值# 如果没有预测或真实边界框，返回0if pred_boxes.shape[0] == 0 or gt_boxes.shape[0] == 0:return 0.0# 计算预测和真实边界框之间的重叠比例矩阵，大小为p x giou_matrix = np.zeros((pred_boxes.shape[0], gt_boxes.shape[0]))for i in range(pred_boxes.shape[0]):for j in range(gt_boxes.shape[0]):iou_matrix[i][j] = iou_3d(pred_boxes[i], gt_boxes[j])# 使用匈牙利算法进行数据关联，得到匹配结果matches = data_association(-iou_matrix)# 计算并返回平均重叠率（AOR）值ace = np.mean(dist_matrix[matches != -1])return ace# 计算成功率（SR）
def success_rate(pred_boxes, gt_boxes, iou_threshold=0.5):# pred_boxes是一个p x 7的矩阵，表示p个预测的3D边界框# gt_boxes是一个g x 7的矩阵，表示g个真实的3D边界框# iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5# 返回成功率（SR）值# 如果没有预测或真实边界框，返回0if pred_boxes.shape[0] == 0 or gt_boxes.shape[0] == 0:return 0.0# 计算预测和真实边界框之间的重叠比例矩阵，大小为p x giou_matrix = np.zeros((pred_boxes.shape[0], gt_boxes.shape[0]))for i in range(pred_boxes.shape[0]):for j in range(gt_boxes.shape[0]):iou_matrix[i][j] = iou_3d(pred_boxes[i], gt_boxes[j])# 使用匈牙利算法进行数据关联，得到匹配结果matches = data_association(-iou_matrix)# 计算并返回成功率（SR）值sr = np.sum(iou_matrix[matches != -1] >= iou_threshold) / pred_boxes.shape[0]return sr# 计算精确率（PR）
def precision_rate(pred_boxes, gt_boxes, dist_threshold=1.0):# pred_boxes是一个p x 7的矩阵，表示p个预测的3D边界框# gt_boxes是一个g x 7的矩阵，表示g个真实的3D边界框# dist_threshold是一个浮点数，表示中心点距离的阈值，默认为1.0# 返回精确率（PR）值# 如果没有预测或真实边界框，返回0if pred_boxes.shape[0] == 0 or gt_boxes.shape[0] == 0:return 0.0# 提取预测和真实边界框的中心点坐标pred_centers = pred_boxes[:, :3]gt_centers = gt_boxes[:, :3]# 计算预测和真实边界框之间的中心点距离矩阵，大小为p x gdist_matrix = pairwise_distances(pred_centers, gt_centers)# 使用匈牙利算法进行数据关联，得到匹配结果matches = data_association(dist_matrix)# 计算并返回精确率（PR）值pr = np.sum(dist_matrix[matches != -1] <= dist_threshold) / pred_boxes.shape[0]return pr# 计算多目标跟踪精度（MOTA）
def multiple_object_tracking_accuracy(pred_boxes, gt_boxes, iou_threshold=0.5):# pred_boxes是一个列表，长度为t，表示t个时间步的预测的3D边界框# gt_boxes是一个列表，长度为t，表示t个时间步的真实的3D边界框# iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5# 返回多目标跟踪精度（MOTA）值# 如果没有预测或真实边界框，返回0if len(pred_boxes) == 0 or len(gt_boxes) == 0:return 0.0# 初始化漏检数、误检数、ID切换数和总真实数为0miss_count = 0false_count = 0switch_count = 0total_count = 0# 初始化上一时间步的匹配结果为空字典prev_matches = {}# 遍历每个时间步for t in range(len(pred_boxes)):# 获取当前时间步的预测和真实边界框pred_box = pred_boxes[t]gt_box = gt_boxes[t]# 计算当前时间步的真实边界框的数量，并累加到总真实数中total_count += gt_box.shape[0]# 如果当前时间步没有预测或真实边界框，跳过该时间步if pred_box.shape[0] == 0 or gt_box.shape[0] == 0:continue# 计算当前时间步的预测和真实边界框之间的重叠比例矩阵，大小为p x giou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0]))for i in range(pred_box.shape[0]):for j in range(gt_box.shape[0]):iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j])# 使用匈牙利算法进行数据关联，得到匹配结果matches = data_association(-iou_matrix)# 初始化当前时间步的匹配结果为空字典curr_matches = {}# 遍历每个预测边界框for i in range(pred_box.shape[0]):# 如果没有匹配的真实边界框，或者重叠比例低于阈值，累加误检数，并跳过该预测边界框if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold:false_count += 1continue# 获取匹配的真实边界框的索引j = matches[i]# 如果上一时间步有匹配的真实边界框，并且ID不同，累加ID切换数if j in prev_matches and prev_matches[j] != i:switch_count += 1# 将当前的匹配结果保存到字典中curr_matches[j] = i# 遍历每个真实边界框for j in range(gt_box.shape[0]):# 如果没有匹配的预测边界框，累加漏检数if j not in curr_matches:miss_count += 1# 更新上一时间步的匹配结果为当前的匹配结果prev_matches = curr_matches# 计算并返回多目标跟踪精度（MOTA）值mota = 1 - (miss_count + false_count + switch_count) / total_countreturn mota# 计算多目标跟踪精确度（MOTP）
def multiple_object_tracking_precision(pred_boxes, gt_boxes, iou_threshold=0.5):# pred_boxes是一个列表，长度为t，表示t个时间步的预测的3D边界框# gt_boxes是一个列表，长度为t，表示t个时间步的真实的3D边界框# iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5# 返回多目标跟踪精确度（MOTP）值# 如果没有预测或真实边界框，返回0if len(pred_boxes) == 0 or len(gt_boxes) == 0:return 0.0# 初始化总匹配数和总重叠率为0match_count = 0sum_iou = 0.0# 遍历每个时间步for t in range(len(pred_boxes)):# 获取当前时间步的预测和真实边界框pred_box = pred_boxes[t]gt_box = gt_boxes[t]# 如果当前时间步没有预测或真实边界框，跳过该时间步if pred_box.shape[0] == 0 or gt_box.shape[0] == 0:continue# 计算当前时间步的预测和真实边界框之间的重叠比例矩阵，大小为p x giou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0]))for i in range(pred_box.shape[0]):for j in range(gt_box.shape[0]):iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j])# 使用匈牙利算法进行数据关联，得到匹配结果matches = data_association(-iou_matrix)# 遍历每个预测边界框for i in range(pred_box.shape[0]):# 如果没有匹配的真实边界框，或者重叠比例低于阈值，跳过该预测边界框if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold:continue# 获取匹配的真实边界框的索引j = matches[i]# 累加匹配数和重叠率match_count += 1sum_iou += iou_matrix[i][j]# 计算并返回多目标跟踪精确度（MOTP）值motp = sum_iou / match_countreturn motp# 计算跟踪长度（TL）
def track_length(pred_boxes, gt_boxes, iou_threshold=0.5):# pred_boxes是一个列表，长度为t，表示t个时间步的预测的3D边界框# gt_boxes是一个列表，长度为t，表示t个时间步的真实的3D边界框# iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5# 返回一个字典，键为真实目标的ID，值为对应的跟踪长度# 如果没有预测或真实边界框，返回空字典if len(pred_boxes) == 0 or len(gt_boxes) == 0:return {}# 初始化跟踪长度字典为空字典tl_dict = {}# 遍历每个时间步for t in range(len(pred_boxes)):# 获取当前时间步的预测和真实边界框pred_box = pred_boxes[t]gt_box = gt_boxes[t]# 如果当前时间步没有预测或真实边界框，跳过该时间步if pred_box.shape[0] == 0 or gt_box.shape[0] == 0:continue# 计算当前时间步的预测和真实边界框之间的重叠比例矩阵，大小为p x giou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0]))for i in range(pred_box.shape[0]):for j in range(gt_box.shape[0]):iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j])# 使用匈牙利算法进行数据关联，得到匹配结果matches = data_association(-iou_matrix)# 遍历每个预测边界框for i in range(pred_box.shape[0]):# 如果没有匹配的真实边界框，或者重叠比例低于阈值，跳过该预测边界框if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold:continue# 获取匹配的真实边界框的索引j = matches[i]# 如果真实目标的ID已经在跟踪长度字典中，累加1if j in tl_dict:tl_dict[j] += 1# 否则，初始化为1else:tl_dict[j] = 1# 返回跟踪长度字典return tl_dict# 计算跟踪片段（TF）
def track_fragment(pred_boxes, gt_boxes, iou_threshold=0.5):# pred_boxes是一个列表，长度为t，表示t个时间步的预测的3D边界框# gt_boxes是一个列表，长度为t，表示t个时间步的真实的3D边界框# iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5# 返回一个字典，键为真实目标的ID，值为对应的跟踪片段数# 如果没有预测或真实边界框，返回空字典if len(pred_boxes) == 0 or len(gt_boxes) == 0:return {}# 初始化跟踪片段字典为空字典tf_dict = {}# 初始化上一时间步的匹配结果为空字典prev_matches = {}# 遍历每个时间步for t in range(len(pred_boxes)):# 获取当前时间步的预测和真实边界框pred_box = pred_boxes[t]gt_box = gt_boxes[t]# 如果当前时间步没有预测或真实边界框，跳过该时间步if pred_box.shape[0] == 0 or gt_box.shape[0] == 0:continue# 计算当前时间步的预测和真实边界框之间的重叠比例矩阵，大小为p x giou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0]))for i in range(pred_box.shape[0]):for j in range(gt_box.shape[0]):iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j])# 使用匈牙利算法进行数据关联，得到匹配结果matches = data_association(-iou_matrix)# 初始化当前时间步的匹配结果为空字典curr_matches = {}# 遍历每个预测边界框for i in range(pred_box.shape[0]):# 如果没有匹配的真实边界框，或者重叠比例低于阈值，跳过该预测边界框if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold:continue# 获取匹配的真实边界框的索引j = matches[i]# 将当前的匹配结果保存到字典中curr_matches[j] = i# 如果真实目标的ID已经在跟踪片段字典中，且上一时间步没有匹配该目标，累加1if j in tf_dict and j not in prev_matches:tf_dict[j] += 1# 否则，初始化为1elif j not in tf_dict:tf_dict[j] = 1# 更新上一时间步的匹配结果为当前的匹配结果prev_matches = curr_matches# 返回跟踪片段字典return tf_dict# 计算ID切换率（ISR）
def id_switch_rate(pred_boxes, gt_boxes, iou_threshold=0.5):# pred_boxes是一个列表，长度为t，表示t个时间步的预测的3D边界框# gt_boxes是一个列表，长度为t，表示t个时间步的真实的3D边界框# iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5# 返回一个字典，键为真实目标的ID，值为对应的ID切换次数# 如果没有预测或真实边界框，返回空字典if len(pred_boxes) == 0 or len(gt_boxes) == 0:return {}# 初始化ID切换率字典为空字典isr_dict = {}# 初始化上一时间步的匹配结果为空字典prev_matches = {}# 遍历每个时间步for t in range(len(pred_boxes)):# 获取当前时间步的预测和真实边界框pred_box = pred_boxes[t]gt_box = gt_boxes[t]# 如果当前时间步没有预测或真实边界框，跳过该时间步if pred_box.shape[0] == 0 or gt_box.shape[0] == 0:continue# 计算当前时间步的预测和真实边界框之间的重叠比例矩阵，大小为p x giou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0]))for i in range(pred_box.shape[0]):for j in range(gt_box.shape[0]):iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j])# 使用匈牙利算法进行数据关联，得到匹配结果matches = data_association(-iou_matrix)# 初始化当前时间步的匹配结果为空字典curr_matches = {}# 遍历每个预测边界框for i in range(pred_box.shape[0]):# 如果没有匹配的真实边界框，或者重叠比例低于阈值，跳过该预测边界框if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold:continue# 获取匹配的真实边界框的索引j = matches[i]# 将当前的匹配结果保存到字典中curr_matches[j] = i# 如果上一时间步有匹配的真实边界框，并且ID不同，累加1if j in prev_matches and prev_matches[j] != i:# 如果真实目标的ID已经在ID切换率字典中，累加1if j in isr_dict:isr_dict[j] += 1# 否则，初始化为1else:isr_dict[j] = 1# 更新上一时间步的匹配结果为当前的匹配结果prev_matches = curr_matches# 返回ID切换率字典return isr_dict