面前备忘录

项目经历

视觉编码器融合悬挂负载状态估计

是疫情期间的项目，当时在学习无人机控制和规划，同时也在coppeliasim仿真器中用无人机进行验证。 所以当时导师也让我尝试悬挂负载的控制。

项目出发点是实现无人机对于悬挂负载的稳定控制和规划。

编码器高帧率

视觉低帧率+张紧判断+STAPLE与编码器结合的重跟踪 控制器切换

minimum snap

实现负载规划放置

Dynamic-VINS

基于VINS-Mono开发的针对动态环境和资源受限平台的RGB-D惯性里程计。 是一个与华为合作的项目，目标是实现通过华为Atlas200DK的边缘计算平台给移动机器人提供实时的反馈。 通过测试和分析，主要资源大头在特征提取跟踪、优化和边缘化上。 由于考虑动态环境，所以重点在特征处理上进行改进。 简单来说通过FAST进行角点提取，IMU进行预测，光流跟踪，对图像进行分块，通过线程池进行并行处理，结合深度信息进行几何验证等， 在不损失精度的情况下，进行加速，同时获得更稳定的特征点。 在华为平台上特征模块原本需要近60ms的耗时可以压缩到20ms以内。 同时得益于更好的特征点质量，尝试过可以通过30个特征点提供反馈实现无人机的抓取任务。 第二部分针对动态环境，考虑实时性要求，无法使用语义分割方法进行动态物体检测。 所以通过YOLO目标检测进行动态物体检测，在华为Atlas的NPU上大概18ms，英伟达的AGX上大概20ms。 通过并行线程，检测的结果能够和特征提取跟踪结果同时到达后端。 若单纯的把检测到的bounding box里的所有特征都剔除，如果动态物体的bounding box占据大部分视角会导致特征点不足， 所以希望通过结合深度信息获得一种近似的语义分割结果。 比较直接的想法是通过类似kmeans，dbscan等聚类方法提取出前景点，但室外环境深度相机噪声很大，这种聚类算法效果不佳。 考虑一般动态物体和背景距离较远，boundingbox上的角点一般也对应背景点，结合中心点附近物体的深度，可以简单高效地获得一个深度阈值，深度小于阈值的地方可以得到一个近似语义分割的结果，同时避免深度不连续导致的聚类效果不佳问题。 后续结合漏检补偿，几何检测，处理物体边缘的bleeding point等实现动态环境下的稳定状态反馈。

改进空间:

• 光流跟踪并行
• 后端加速

隐式主动重建

隐式表达和主动重建的结合尝试，隐式表达在地图的分辨率，大小以及可微特性上都有着很大的优势，应用于物体重建上，传统NeRF都需要手工精心挑选一些视角来获得高质量的重建效果，因此我们的目的就是融合传统主动重建的方法获得又快又好的重建效果。

我们的工作通过RGB-D相机进行重建，深度信息能够保证我们模型收敛的实时性。 通过类直接法的方法，将网络生成的彩色图和深度图跟输入图像构建loss函数进行训练，并同时优化位姿。 在训练过程中我们采用了一种非平均采样方法，结合隐式表达可微的特性（可微是由于点都是通过三线性插值得到的）对射线上的空间进行有效监督，避免通过DDA（Digital differential analysis）来对射线上每个voxel进行监督。 同时针对有限大小的物体，我们有一个预先知道的bounding box，通过计算射线与boundingbox的交点，可以对没有打到物体的空间通过BCE（binary cross entropy）进行监督，能够有效减少模型的floaters(未知区域)

第二部分，考虑隐式表达每个点也是占据概率信息，因此采用基于信息增益来实现NBV。 前面提到的可微特性同时也导致了一些还没有看到的地方也被监督为已被观测，也即对应未知不确定度下降了，会导致NBV选择不准。 因此我们设置了一些三维的anchor points，结合历史view信息可以获得这些anchor points的观测状态，对于那些没有被观测过的anchor points我们会结合他的tsdf作为权重，将其监督为未知状态。

最终我们可以实现基于候选视角的主动重建，并在实物实验中通过带云台的无人机进行在线的主动重建来验证我们的工作。

另外我们的工作也可以实现一种端到端无需候选视角的主动重建，但目前由于采用朴素的直接法进行训练，所以定位功能还不太稳定，只能在仿真环境下实现，或者借助位姿真值实现。

实习经历

科创学院

众包结构化地图调研

语义线地图

通过colmap恢复位姿，line3d++读取恢复的位姿，进行线特征提取和整合，依据图像语义信息，对线段进行筛选，最后进行地图构建。

• 地图信息
  • 路面信息
    • 车道线
    • 斑马线
    • 路标
  • 非路面信息
    • 路灯
    • 交通灯
    • 建筑
    • 交通标志

基于深度特征提取网络的SALM

使用pixloc的特征提取网络：整体效果像是光度鲁棒的边缘提取 同时学出不确定度图，理论上能够提高鲁棒性 Deep-ORB-SLAM：有提升 Deep-DM-VIO: 效果不佳，特征提取光度不一致

云鲸

视角间重叠区域计算，用于进行重定位训练

• 扫地机2d重定位
• 点云投影筛选fov点云，遮挡判断
• 点云match，match点云重投影到图像
• 点云稀疏->深度图形态学滤波计算overlap

视觉-激光融合建图

• 尝试r3live, 但在房间狭窄区域点云过近无有效输出，VIO无法单独运行，导致系统fail
• 改造LVI-SAM-LIVOX，好使，但周期太短，太没有综合loam_livox进行点云补偿，慢速效果还行