长短焦图像的预处理包括畸变校正和立体校正，旨在消除相机镜头畸变以及对齐长短焦相机的成像平面。

(1) 畸变校正用于矫正相机镜头的径向和切向畸变，使图像变形恢复为真实场景的直观表示。基于现场机车相机的内参矩阵K和畸变系数D，可以使用以下公式进行校正：

$x\prime =K\cdot \left(x+\Delta x\right)$ (1)

其中，x为原始像素坐标，∆x为畸变校正项(包含径向和切向畸变的修正值)。

（2) 立体校正通过对两台相机的旋转和平移进行校正，确保两幅图像的成像平面平行化，从而方便特征匹配与深度估计。校正过程的关键在于计算两个相机的相对旋转矩阵R和相对平移向量T：

$R=R_2\times R_1^{\top }\text{},T=T_2-R\times T_1\text{}$ (2)

其中，R₁和R₂为两相机的旋转矩阵，T₁和T₂为两相机的平移向量。在得到后R和T，使用OpenCV的stereoRectify方法生成校正变换矩阵和重映射参数。

尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)是一种广泛应用于图像特征提取的算法 [14] [15] ，旨在从输入图像中提取具有尺度和旋转不变性的关键点及其描述符。SIFT算法的特征提取过程主要包括尺度空间构建、关键点检测、关键点精确定位、方向分配以及描述符，步骤如下：

(1) SIFT算法首先通过高斯模糊和金字塔下采样构建尺度空间，以检测不同尺度下的特征。高斯金字塔的构建公式为：

$G\left(x,y,\sigma \right)=I\left(x,y\right)\ast G\left(x,y,\sigma \right)$ (3)

其中，G(x, y, σ)表示尺度σ为的高斯模糊核，I(x, y)为输入图像，*表示卷积操作，σ为尺度参数。

(2) 在尺度空间构建完成后，SIFT算法通过计算差分高斯(Difference of Gaussian, DoG)来检测潜在的特征点。差分高斯的计算公式为：

$D\left(x,y,\sigma \right)=G\left(x,y,k\sigma \right)-G\left(x,y,\sigma \right)$ (4)

其中，D(x, y, σ)是尺度σ下的DoG图像，k为尺度空间的倍增因子，通常 $k=\sqrt{2}$。通过在DoG空间中寻找局部极值点，初步确定图像中的潜在特征点。

(3) 初步检测到的关键点需要进一步精确定位，以提高其稳定性和准确性。通过拟合二次曲面，并根据对比度阈值和Hessian矩阵比值R过滤掉低对比度或位于强边缘的特征点：

$R=\frac{Tr{\left(H\right)}^2}{\det \left(H\right)}\text{}$ (5)

其中，Tr(H)是Hessian矩阵的迹，det(H)是其行列式。当比值R大于预设阈值时，认为该特征点位于边缘，需予以剔除。

(4) 最后是方向分配，在以特征点为中心的邻域采样，根据图像小区域计算的梯度方向直方图，分配不同的关键点一个单一或不同的方向。

在完成SIFT特征提取后，下一步是进行特征匹配，以找到长短焦图像之间对应的特征点对。然而，直接进行特征匹配往往会引入误匹配点，因此需要进一步过滤以提高匹配的准确性。在本算法中使用暴力匹配(Brute Force Matching, BFMatcher)搜索对图像中的特征点进行匹配，使用Lowe’s比例测试过滤掉不良匹配 [16] 。

(1) BFMatcher通过逐一比较两个图像中所有特征点的描述符，并计算它们的欧几里得距离。对于两个描述符向量d₁和d₂，其欧几里得距离定义为：

$dist\left(d1,d2\right)=\sqrt{{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(d_{1i}-d_{2i}\right)}^2}}$ (6)

其中，n是描述符的维度。

(2) Lowe’s比例测试则通过将每个特征点的最近邻和次近邻的距离进行比较，计算它们的距离比值：

$Ratio=\frac{d_1\text{}}{d_2}$ (7)

其中，d₁和d₂分别是最近邻和次近邻的欧几里得距离。若比值低于预设阈值(通常为0.75)，则认为该匹配点对为有效匹配；否则，将其视为误匹配点予以舍弃。

在获得高质量的特征匹配点对后，算法利用单应性矩阵(Homography Matrix)实现长短焦图像的初步配准。

(1) 单应性矩阵H是一个描述从一个平面投影到另一个平面的变换矩阵 [17] ，为了估计单应性矩阵H，采用最小二乘法，通过最小化以下误差函数来优化匹配点对的拟合精度：

$E\left(H\right)={\displaystyle \underset{i=1}{\overset{n}{\sum }}{\Vert q_i-H{p}_i\Vert }^2}$ (8)

其中，n为匹配点的数量， $p_i$和 $q_i$分别为长焦图像I₁和短焦图像I₂中的匹配点坐标。即对于长焦图像I₁和短焦图像I₂中的每一对匹配点，通过H可以将I₁中的点 $p_i$映射到I₂中的对应点 $q_i$。

(2) 一旦获得了单应性矩阵H，就可以使用该矩阵对长焦图像进行透视变换。透视变换的公式如下：

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right)=H\cdot \left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$ (9)

其中，(x, y)是长焦图像中的像素坐标，(x', y')是透视变换后的图像坐标。

在第3.2至3.4节中，所描述的方法是基于空间域的特征配准算法，包括SIFT特征提取、特征匹配与过滤以及单应性矩阵对齐。这些方法与文献 [8] - [10] 中的经典空间域特征配准方法类似，均通过提取图像中的局部特征并进行特征匹配以完成图像配准。

现在本研究将这一方法应用于轨道机车长短焦场景中，以解决实际轨交环境中因焦距差异导致的图像融合问题。本算法采用的图像融合算法是加权融合，将配准后的长焦图像I₁和短焦图像I₂在重叠区域使用加权平均公式：

$I_F\left(x,y\right)=\alpha \cdot I_1\left(x,y\right)+\left(1-\alpha \right)\cdot I_2\left(x,y\right)$ (10)

其中， $\alpha \in \left[0,1\right]$是加权系数，用于调整长焦图像和短焦图像在融合结果中的贡献权重。

如 图2 所示，为机车现场采集的原始长短焦图像，可以发现，短焦图像具有较大的视野范围，能够涵盖近处的信号灯、接触网立柱及监控设备等场景；而长焦图像则凭借其优越的高分辨率，能够清晰捕捉远处的目标，例如图中的土挡和信号灯。根据相机的内参参数计算，长焦图像与短焦图像的焦距比约为3.28，长焦图像的内容是短焦图像中心区域。通过将第3.2至3.4节中描述的空间域特征配准算法应用于 图2 中的长短焦图像，生成了 图3 所示的融合图像。结果显示，长焦图像被配准到短焦图像的中心区域，二者在整体结构上实现了较为精确的对齐。然而，在铁轨等边缘区域，仍然存在一定程度的错位，即图像配准的局部误差尚未完全消除。这种误差的出现主要归因于基于空间域特征配准算法的固有局限性：该方法依赖于局部特征点的提取和匹配，而铁轨等边缘区域缺乏明显的拐角和纹理变化，导致其特征点稀疏，因而配准的鲁棒性和精度会显著下降。这表明，仅依靠空间域特征配准难以解决铁轨边缘的配准问题，需进一步结合其他的配准方法予以优化。

在3.5节中，基于空间域的特征配准算法已实现了长短焦图像的初步整体对齐，但在铁轨等边缘区域仍存在一定的错位现象。这种错位问题主要归因于局部特征点匹配的不足，空间域方法对特定场景复杂性的适应能力有限。为了进一步提高配准精度，本文引入了基于变换域的相位相关法(Phase Correlation Method)，用于对铁轨等关键区域进行精细配准。

相位相关法的核心思想是利用图像频域中的相位信息来计算图像之间的平移量，避免了空间域计算中的模糊误差 [18] 。特别是在轨道场景中，铁轨在频域中的表现尤为显著。

相位相关法基于傅里叶变换和移位定理。移位定理表明，若两幅图像之间存在平移变换，那么它们的频谱幅值是相同的，仅在相位上存在差异：

$F_1\text{}\left(u,v\right)=F_2\left(u,v\right)\times e^{j2\pi \left(u\times d_x\text{}+v\times d_y\right)\text{}}$ (11)

其中，F₁(u, v)和F₂(u, v)分别为长焦图像I₁和短焦图像I₂的傅里叶变换，d_x，d_y为图像在空间域中的平移量，u，v为图像在频域中的坐标。

(1) 为了估算图像的平移量，首先计算两幅图像铁轨区域之间的相位差，公式如下：

$\Delta \theta \left(u,v\right)=arg\left(F_{1\text{}}\left(u,v\right)\right)-arg\left(F_2\left(u,v\right)\right)$ (12)

(2) 接着通过逆傅里叶变换将相位差转换回空间域，理想情况下，逆变换后的结果会在某个位置形成一个尖锐的峰值，峰值位置即为两幅图像的平移量(d_x, d_y)。最终公式如下：

$\left(dx,dy\right)=\arg \max \left[F^{-1}\left(\Delta \theta \left(u,v\right)\right)\right]$ (13)

其中， $F^{-1}$表示傅里叶逆变换，arg max表示找到的峰值位置。

(3) 基于长短焦图像在轨交场景应用的先验知识，如 图4 所示，铁轨主要集中在长焦图像中间1/3区域的下半部分。根据此特点，可将相位相关法的计算范围限定于该特定区域，从而有效提高配准效率，减少非目标区域的干扰，实现长焦图像与短焦图像在铁轨区域的进一步精细配准。

YOLO算法作为首个实现单阶段目标检测的框架，将目标检测问题转化为回归问题，通过直接回归目标包络框的类别和位置，展现了卓越的实时性和工程应用价值 [19] 。YOLO11是Ultralytics团队于2024年10月发布的最新模型，通过重新设计网络架构和优化训练流程，进一步提升了模型的精度与效率。如 图5 所示，YOLO11的网络结构主要引入了C3k2 (Cross Stage Partial with kernel size 2)和C2PSA (Convolutional block with Parallel Spatial Attention)等创新组件，增强了特征提取和处理能力。其中，C3k2模块结合C2f和C3模块的优势，通过将BottleNeck的卷积核转变为两个核大小为3的卷积层提升了特征提取能力，并且C3k2模块存在两种结构，支持灵活切换标准Bottleneck或C3k结构，以适应多尺度目标检测任务。

C2PSA模块在C2f的基础上进一步增强了特征的表达能力，主要通过引入位置自注意力(PSA)机制来提升模型性能。它使用改进的多头注意力机制(PSABlock)替代了传统的BottleNeck层，增强了对目标局部特征和位置关系的捕捉能力。引入无激活卷积层替代LayerNorm层，并用两个卷积层代替MLP层，提高了特征提取的效率和适应性。这些改进显著提升了YOLO11的检测性能。相比YOLOv8m，YOLO11m在COCO数据集上的mAP实现提升，同时参数量减少了22%，实现了更高的检测精度和更低的计算成本。

YOLO11凭借其高效的特征提取能力和优化的网络结构，能够在轨道交通环境中实时检测潜在障碍物提供预警，显著提升行车安全性。其多尺度特征提取机制能够有效检测不同距离和尺寸的目标，它优化的训练方法和高效推理能力，使其能够适应轨交场景中高实时性的要求，为动态监控系统提供高效可靠的检测结果。结合YOLO11的创新，我们将在第4章展示其在轨道交通障碍物检测系统中的应用效果和性能表现。

本实验的障碍物检测模型训练并部署于实验室专用视频分析服务器平台，硬件配置包括512 GB RAM、8块NVIDIA A30 GPU (单卡显存24 GB)和2颗Intel Xeon Gold 6342处理器(2.80 GHz，24核心48线程)。软件环境为Ubuntu 20.04 (64位)操作系统，CUDA 12.4和cuDNN 9.1提供计算加速，利用PyTorch深度学习框架搭建深度神经网络模型，构建了高性能实验平台以支持障碍物检测模型的开发与测试。

长短焦视频数据来源于国铁南宁局机务段现场部署的机车联动分析系统，视频分辨率为1920 × 1080，每段视频时长约为15分钟。实验对长焦和短焦视频分别进行抽帧，并根据障碍物检测任务中目标异物的需求制作图像训练和验证数据集。数据集涵盖了土挡、信号灯、行人、体积大于30 × 30 × 30 cm³的障碍物以及车辆等检测目标。长焦和短焦图片各标注了1000张，并按4:1的比例划分为训练集和测试集。

在模型训练过程中，本研究设置输入图片的批量大小(batch size)为64，图像尺寸(imgsz)为640，以确保模型能够有效处理高分辨率图像数据。训练中采用了改进的自适应动量估计算法AdamW (Adaptive Moment Estimation with Weight Decay)，初始学习率(learning rate)设置为0.000714，动量(momentum)为0.9，权值衰减(weight decay)为0.0005。此配置在确保快速收敛的同时，能够有效提升优化过程中的性能表现。训练过程利用8块NVIDIA A30 GPU进行多卡并行计算，显著提高了训练效率。训练总迭代次数(epochs)设置为500，以充分学习复杂场景特征，提升模型的检测精度和鲁棒性。

为了说明融合图像相较于长焦图像和短焦图像的优势，本研究将训练完成的障碍物检测模型分别应用于同一时刻的长焦图像、短焦图像以及融合图像进行检测，检测结果如 图7 所示。场景1模拟了对近处信号灯以及远处土挡和信号灯的检测。从短焦图像的检测结果可以看出，近处的信号灯被准确识别，置信度为0.94，但由于远处土挡和信号灯较为模糊，未能被模型检测到。而在长焦图像的检测结果中，近处信号灯未包含在图像范围内，但远处的土挡和信号灯均被检测到，置信度分别为0.89和0.85。对于融合图像的检测结果，近处的信号灯被检测到，置信度为0.94，远处的土挡和信号灯也被识别，置信度分别为0.77和0.76。

场景2模拟了对近处摩托车以及远处行人的检测。从短焦图像的检测结果中可以看到，近处的摩托车被成功检测，置信度为0.93，但远处行人由于图像模糊仅被低置信度检测，置信度为0.31。长焦图像的检测结果表明，近处摩托车未包含在图像范围内，但远处的行人被准确识别，置信度为0.92。融合图像的检测结果显示，近处的摩托车被成功检测，置信度为0.93，远处的行人也被高置信度检测到，置信度提升至0.81。

试验结果表明，融合图像有效结合了长焦和短焦图像的优势，不仅在远处的细节捕捉方面展现了长焦图像的高分辨率特性，还在全局场景感知上保留了短焦图像的广角能力，从而显著增强了远处目标的细节呈现与整体检测性能。

为了进一步证明融合图像在障碍物检测中的整体优势， 表3 展示了短焦图像和融合图像在障碍物检测模型中的性能对比。由于长焦图像在同一场景下仅能够捕捉部分目标物，未能涵盖全部检测目标，因此无法在同一数据集上进行全面评估。通过在同一时刻场景的短焦图像与融合图像数据集上进行评估，结果表明，融合图像在所有关键指标上均明显优于短焦图像。具体来说，mAP50 (平均准确率，IoU = 0.5)从短焦图像的90.95%提升至融合图像的98.87%，提升幅度达8.71%；mAP50-95 (平均准确率，IoU = 0.5~0.95)从64.19%提升至81.32%，提升幅度高达26.69%。在Precision、Recall和F1-Score方面，融合图像相较短焦图像分别提升了0.83%、17.57%和9.16%。这一结果进一步验证了融合图像在障碍物检测任务中的优势，特别是在同时具备长焦图像的高分辨率和短焦图像的广角特性时，能够有效提升模型对不同距离目标的检测能力。

以上结果表明，改进的长短焦图像融合技术不仅可以克服单一视角图像所存在的局限性，还能够通过集成不同焦段的优点，进一步提升障碍物检测系统的环境感知能力，为轨道交通等智能驾驶系统的安全性和可靠性提供有力支持。