# 论文题目：VLA-AN: An Efficient and Onboard Vision-Language-Action Framework for Aerial Navigation in Complex Environments
![image.png](/static/img/865bcc29a4d0ca97a107029187687cf0.image.webp)

## 左侧（Hybrid Datasets）：数据从哪里来？
为了解决“数据鸿沟”，VLA-AN 使用了一个混合数据集。

包含各种室内、室外场景的图片，也包含由导航指令、视觉问答、空间推理等任务构成的多模态数据（下方的饼图展示了数据组成）


### 一、为什么使用混合数据集？多模态数据的作用是什么？
如果只用无人机导航数据：模型可能会变成一个优秀的“飞行员”，但不是一个聪明的“任务理解者”。它可能飞得很稳，但无法理解“去第三个房间的白色椅子右边”这种需要空间推理和物体识别的复杂指令。

如果只用通用互联网图片数据：模型可能会认得猫猫狗狗、桌椅板凳，但它完全不知道从无人机的第一人称视角看世界是什么样子，也不知道该如何运动控制。

### 二、数据组成
#### 1.通用视觉-语言数据：
#### 内容：来自互联网的大规模图像-文本对、视觉问答（VQA）、空间关系描述（如“苹果在盘子里”）等。
#### 作用：建立模型的 “世界观”和“常识” 。让模型学会：
   * 识别万物：什么是椅子？什么是门？什么是“衣服”？
   * 理解关系：“右边”、“后面”、“最近”这些空间概念是什么意思？
   * 逻辑推理：根据指令“找到放着衣服的椅子”，它需要先识别“椅子”，再判断椅子上是否有“衣服”。

#### 2.无人机专属导航数据：
* 内容：在仿真环境（如用3D-GS构建的高保真场景*）中，由无人机视角采集的RGB图像、深度图像，以及与之配对的动作序列（如3D航点、偏航角）。
* 作用：教会模型 “无人机视角”和“飞行技能”。让模型学会：
    * 适应独特视角：理解从空中斜向下看的物体是什么样子的，应对运动模糊等动态场景。
    * 学习运动控制：将语言指令和视觉感知映射到具体的飞行动作上（输出航点，而不是文本）

多模态数据的作用就是将不同形态的信息“对齐”到同一个语义空间中。

对于模型而言，RGB图像提供颜色纹理，深度图提供几何距离，语言指令提供任务目标，将这些信息融合，模型才能对环境和任务有更全面、更深刻的理解，从而做出精准的决策。

## 中间（Training Recipe）：模型如何分阶段学习
### Stage I（基础增强）：用通用数据（VQA，空间定位）训练模型理解图片、理解空间关系。此时模型还不具备飞行能力，只是“看图说话”-（监督微调 SFT）

目标：将一个通用的语言模型，变成一个具备基本视觉理解能力的视觉-语言模型（VLM）

训练数据：主要使用上述的通用视觉-语言数据
### 学习过程：
* 输入一张图片和一段相关问题（如：“图片里有什么？椅子在桌子的哪边？”）。
* 模型尝试生成答案（如：“有一张桌子和一把椅子。”、“椅子在桌子的左边。”）。
* 训练目标是最小化模型生成的答案和标准答案之间的差异。

达成效果：模型不再是“文盲”，它变成了一个能看懂图片、理解空间关系的“视觉专家”。此时，如果你问它问题，它能用文字回答你，但它还不知道如何控制无人机飞行。

### Stage II（导航专项）：导航专项训练（监督微调 SFT）：注入真实的无人机导航数据，模型开始学习输出3D航点和偏航角，具备了控制无人机飞行的基本技能。
目标：让上阶段培养的“视觉专家”学习无人机导航的专项技能

训练数据：主要使用无人机专属导航数据，并混合一部分通用数据以防遗忘基础能力

#### 学习过程：
关键转变：
* 输入是无人机的实时视角图片和语言指令（如：“飞向门口”）。
* 模型的输出改变——不再是回答问题的文本，而是直接输出控制指令：下一个目标的3D坐标（Waypoint）和机头朝向（Yaw）。
* 训练目标是让模型输出的航点尽可能接近数据集中专家规划的理想航点。

达成效果：模型能将语言指令和视觉场景转化为具体的飞行动作，现在能执行基本的导航任务。但面对非常复杂、需要长远规划的任务时，可能还会出错
### Stage III（推理增强）：
目标：超越模仿，培养模型在复杂、未知环境中的主动决策和推理能力。

训练方法：强化学习（RL），特别是GRPO策略（deepseek-R1模型中使用到的强化学习算法）

#### 学习过程：
* 实践：模型在仿真环境中执行一个长序列任务（如：“绕过桌子，飞到最里面的窗户旁边”）。
* 评估：一个“裁判系统”（奖励函数）会根据多项指标给模型的表现打分（Reward）。打分标准包括：
    * 任务成功与否：最终是否到达了正确位置？
    * 动作质量：飞行轨迹是否平滑、高效？
    * 安全系数：是否远离障碍物？
    * 推理正确性：中间的理解和决策步骤是否合理？
* 进化：模型会尝试多种不同的策略来完成同一个任务。通过比较不同策略得到的奖励分数（图中的 Gradient Update），模型会自动倾向于学习能获得更高奖励的行为，并摒弃低效或危险的行为。、

达成效果：模型不再是机械地模仿数据，而是学会了“思考”。它能够为了长远的目标（如完成多步指令）而做出临时的局部决策（如先绕行），表现出强大的长时序任务能力和在陌生环境中的鲁棒性。

## 右侧（Onboard Navigation）：最终要做什么
展示了模型训练的最终目标：在真实无人机上，根据自然语言指令（如“飞到放着衣服的椅子右边”），完成在复杂场景中的飞行导航。

![image.png](/static/img/6e15cd3d434da21fbbc470d64eb281e7.image.webp)
### Tokenizer（分词器）：
这是LLM的“语言处理器”。它的任务是将人类输入的自然语言指令（如“飞到椅子右边”），拆分成模型能够处理的最小单元——Token（令牌/词元）。例如，“飞”、“到”、“椅子”、“右边”可能各自成为一个Token，同时还会添加一些特殊Token来表示句子的开始和结束。

经过Tokenizer处理，一段话就变成了一串数字ID，这串ID就是Language Token（语言令牌），可以输入给LLM理解。
## 实验验证：仿真与真机性能
![image.png](/static/img/df434046f7ed3c340995a956b7e952a3.image.webp)
1. 基准测试对比
任务类型：物体导航、空间定位、长序列导航等8类场景。
结果：
VLA-AN在物体导航任务中成功率最高达 98.1%，显著优于OpenVLA、π₀等基线模型。
长序列任务中，得益于RFT阶段，成功率提升至 85.7%，而基线模型因灾难性遗忘表现较差。
数据泛化性：
仅使用3D-GS数据的模型性能接近真实数据训练结果，而网格数据模型在未见场景中成功率下降约20%。

![image.png](/static/img/203aa9f22a126bd03b2c39a9c9c2d7eb.image.webp)
2. 真机部署表现
平台：搭载Intel RealSense相机与Jetson Orin NX的微型无人机。
能力：
理解复杂指令（如“左转90度后向右飞向黄色柜子，找到钟表图标”），完成多步任务分解与执行。
在目标移动等动态场景中，通过重规划机制维持 90%+​ 成功率。
推理效率：
7B模型解码速度 0.110 s/token，2B模型仅 0.032 s/token，满足实时需求。
#### *高保真混合数据集构建：
* 利用 3D Gaussian Splatting (3D-GS)​ 技术重建真实场景，替代传统网格渲染。

采集真实场景视频，转换为高保真3D-GS模型并导入Unity引擎：
Unity 是一款非常强大且流行的游戏引擎，能够高质量地渲染像3D-GS这样的复杂模型，创造出极其逼真的视觉环境。

为无人机AI创造了一个既安全（在电脑里训练，撞了也没损失）、又极其逼真（因为场景和现实几乎一样）的训练环境。

无人机AI在模拟器里学到的“飞行技巧”（比如如何识别一把真实的椅子、如何绕过一扇真实的门），就能更好地直接应用到真实世界中，从而极大地弥合了“虚拟”和“现实”之间的鸿沟。


无人机+LLM

## 论文标题：A Safer Vision-based Autonomous Planning System for Quadrotor UAVs with Dynamic Obstacle Trajectory Prediction and Its Application with LLMs
### 创新点
1. **融合动态障碍物轨迹预测的视觉规划系统**：将动态障碍物的检测、跟踪与轨迹预测集成到规划系统中。
2. **轻量级深度学习检测器**：采用NanoDet进行动态障碍物检测，提供丰富的语义信息。
3. **B样条轨迹优化**：结合A*算法和多种约束（如避障、速度、加速度）生成平滑安全的轨迹。
4. **与大语言模型（LLM）结合**：探索LLM（如ChatGPT）在无人机控制中的应用，提升人机交互的友好性。
 ### 解决的问题
1. **动态环境中的避障难题**：传统规划方法在静态环境中有效，但难以处理动态障碍物。
2. **计算资源限制**：机载计算能力有限，需平衡效率与精度。
3. **交互复杂性**：用户需专业编程知识控制无人机，LLM提供自然语言交互接口。

该系统通过整合感知、规划与人机交互三大模块，系统性地解决了动态环境下的无人机自主规划问题
### 一、动态障碍物避障难题的解决：
#### 感知：使用RGB图像和深度数据，通过NanoDet检测动态障碍物，结合卡尔曼滤波进行跟踪和轨迹预测。
**问题背景**：传统规划器（如EGO-Planner）在静态环境中表现良好，但无法预测动态障碍物的运动轨迹，导致在行人速度超过0.8m/s时发生碰撞。  
**解决方案**：  
1. **轻量级检测与语义感知**  
   - 采用NanoDet轻量级神经网络检测动态障碍物，在RGB图像中提取2D区域（图2a），结合深度数据（图2b）生成3D信息。相比基于U-depth图的方法（图5e），NanoDet在障碍物与墙壁颜色接近时仍能稳定检测（成功率对比见图6）。  
     
   - 通过匈牙利算法关联多帧检测结果，跟踪障碍物运动状态。

2. **轨迹预测与地图净化**  
   - 使用卡尔曼滤波（KF）估计动态障碍物在水平面的状态向量（位置、速度），通过运动模型（公式1-2）预测短期轨迹。  
   - 从局部占据地图中动态移除障碍物点云（图2c），避免错误路径规划。
### 规划：基于B样条的轨迹搜索算法，通过A*生成初始轨迹，并优化约束条件。
3. **安全轨迹生成**  
   - **初始轨迹搜索**：基于B样条曲线，将控制点搜索问题转化为图优化问题，采用A*算法生成初始轨迹（公式3），确保起点和终点约束。  
   - **轨迹优化**：构建包含碰撞成本（$E_{collision}$）和平滑度成本（$E_{smoothness}$）的优化函数（公式4），结合凸包碰撞检测（图3）和动力学约束（公式5），通过增强拉格朗日法和BFGS算法求解。  
     
   - 优化后轨迹显著提升平滑性与安全性（图4），避免与动态障碍物相交。

### 二、计算资源限制的平衡
**问题背景**：机载计算机需同时处理感知、定位、规划等任务，对算法效率要求极高。  
**解决方案**：  
1. **高效算法选型**  
   - NanoDet检测器在保持高精度（位置误差0.14m）的同时降低计算负载。  
   - KF预测器仅需线性计算，满足实时性要求（规划周期200ms）。

2. **模块化设计**  
   - 感知与规划模块解耦（系统框架图1），通过ROS实现数据同步，避免阻塞关键任务。  
   

### 三、人机交互复杂性的简化
**问题背景**：用户需专业编程知识控制无人机，限制应用场景。  
**解决方案**：  
1. **LLM驱动的自然语言交互**  
   - 用户通过语音输入任务（如“检测墙后人员”），Whisper模型转文本后，ChatGPT解析意图并生成可执行代码（图11a）。  
   - 无人机反馈实时数据（如障碍物位置、任务进度），LLM转换为自然语言回复用户。

2. **任务分解与API集成**  
   - 预定义无人机基础控制API（起飞、转向、检测等），LLM组合API生成复杂任务逻辑（图11b）。  
   - 在仿真环境中验证LLM指令执行效果（图12），如矩形轨迹规划与动态避障。  
   

### 四、实验验证与性能优势
1. **动态避障性能**  
   - 在仿真走廊环境中（图5a），行人速度达1.7m/s时仍可避障（EGO-Planner极限为0.8m/s）。  
   - 多行人场景（Scene II）成功率80%，显著优于基线（表3）。  
   

2. **真实环境部署**  
   - 搭载RealSense D435i和NUC的无人机（图9）在室内场景（图10）成功实现提前绕行动态障碍物。  
   


### 总结
论文通过**感知-规划-交互**三层创新：  
- **感知层**：轻量深度学习模型提升动态障碍物检测鲁棒性；  
- **规划层**：B样条轨迹优化结合动态预测保障安全性；  
- **交互层**：LLM桥接自然语言与底层控制，降低使用门槛。  
三者协同解决了动态环境避障、资源约束与交互复杂性三大挑战，为无人机在复杂场景中的自主飞行提供了完整解决方案。

无人机动态避障

轮盘概率选择
![image.png](/static/img/18c6edd2988bfad4c0e3c87688b7236e.image.webp)

父代如何得到子代
![image.png](/static/img/e60d00d6cf000d67484099d1ddbe1221.image.webp)

基本思想

给定初始值

确定优化方向

参照历史信息（上一代认为好的解）以及这一代认为好的解，各自比例不同

更新这一代的好值

循环迭代

遗传算法

# 什么是"source ROS环境"
简单说，source就是"加载"或"激活"一个环境配置文件，让当前的终端会话能够使用ROS的各种命令和功能

```bash
source /opt/ros/noetic/setup.bash
```
* 作用：激活系统级别的ROS环境
* 做了什么：
    * 将ROS核心命令（如roslaunch、roscore、rostopic等）添加到当前终端的PATH中
    * 设置ROS环境变量（如ROS_ROOT、ROS_PACKAGE_PATH）
    * 设置ROS版本（noetic）

如果不执行，终端会找不到roslaunch命令

# 激活工作环境

```bash
source ~/catkin_ws/devel/setup.bash
```
* 作用：激活您自己工作空间的ROS环境
* 做了什么：
    * 将您自己编译的包（如px4、mavros等）添加到ROS包搜索路径
    * 让roslaunch能找到您自己写的launch文件
    * 让ROS能找到您自己编写的节点
    
如果不执行：

```bash
# 终端能找到roslaunch，但找不到您的包
roslaunch px4 indoor1.launch
# 报错：Cannot locate package [px4]
```

## setup.bash文件实际上修改了：
* PATH环境变量：添加ROS命令的路径
* ROS_PACKAGE_PATH：添加ROS包的搜索路径
* 其他环境变量：

# 为什么需要分开source？
因为ROS的多层结构：

```bash
1. 系统ROS安装
   ├── 核心功能 (roscpp, rospy)
   ├── 基础工具 (roslaunch, rostopic)
   └── 官方包 (gazebo_ros, tf2)

2. 您的工作空间 (~/catkin_ws)
   ├── 您的包 (px4, 您的算法包)
   ├── 修改过的第三方包
   └── 自定义launch文件
```

# 实际工作中的便捷方法
一次性source
在~/.bashrc中添加，每次开终端都会自动配置好所有环境，自动执行：

```bash
# 在.bashrc末尾添加
source /opt/ros/noetic/setup.bash
source ~/catkin_ws/devel/setup.bash
```

检查是否已source

```bash
# 查看环境变量
echo $ROS_PACKAGE_PATH
# 如果有输出，说明已source

# 或者检查特定变量
env | grep ROS
```

即：source是为了找到安装包和指令

当执行source ~/catkin_ws/devel/setup.bash时，主要是让ROS知道您的自定义包在哪里。

## 什么是ROS_PACKAGE_PATH
```bash
export ROS_PACKAGE_PATH=$ROS_PACKAGE_PATH:/root/PX4_Firmware
export ROS_PACKAGE_PATH=$ROS_PACKAGE_PATH:/root/PX4_Firmware/Tools/sitl_gazebo
```
* export ROS_PACKAGE_PATH=$ROS_PACKAGE_PATH:/root/PX4_Firmware
    * 这一行将PX4固件目录添加到ROS包搜索路径，让roslaunch、roscd等ROS命令能找到PX4包里的launch文件和其他资源

* export ROS_PACKAGE_PATH=$ROS_PACKAGE_PATH:/root/PX4_Firmware/Tools/sitl_gazebo
    * 这一行将PX4的Gazebo仿真包也添加到ROS包搜索路径，sitl_gazebo包含关键的仿真launch文件和模型，这是运行roslaunch px4 indoor1.launch所必需的

ROS_PACKAGE_PATH是ROS的"包搜索路径"，相当于：
* Linux的PATH（用于找命令）
* Python的PYTHONPATH（用于找模块）
* ROS的ROS_PACKAGE_PATH（用于找ROS包）

![image.png](/static/img/8460a03b45986436a889d8c4637f74ed.image.webp)

冒号隔离
```bash
#catkin_ws工作空间:
/root/catkin_ws/src/VINS-Fusion/camera_models
:/root/catkin_ws/src/gazebo_ros_pkgs/gazebo_dev
:/root/catkin_ws/src/gazebo_ros_pkgs/gazebo_msgs
:/root/catkin_ws/src/gazebo_ros_pkgs/gazebo_ros
:/root/catkin_ws/src/gazebo_ros_pkgs/gazebo_plugins
:/root/catkin_ws/src/gazebo_ros_pkgs/gazebo_ros_control
:/root/catkin_ws/src/gazebo_ros_pkgs/gazebo_ros_pkgs
:/root/catkin_ws/src/VINS-Fusion/global_fusion
:/root/catkin_ws/src/VINS-Fusion/loop_fusion
:/root/catkin_ws/src/VINS-Fusion/vins_estimator
#系统ROS:
:/opt/ros/noetic/share
#PX4相关
:/root/PX4_Firmware
:/root/PX4_Firmware/Tools/sitl_gazebo
```
ROS_PACKAGE_PATH是ROS中最重要的环境变量之一。

当您运行ROS命令时，ROS会按照这个路径列表的顺序查找所需的包

当运行roslaunch px4 indoor1.launch时，
ROS会：
* 按顺序搜索ROS_PACKAGE_PATH中的每个目录
* 在每个目录下查找名为px4的文件夹
* 找到第一个匹配后就停止

在您的配置中：
* 先搜索/root/catkin_ws/src/...（没找到px4）
* 然后搜索/opt/ros/noetic/share（没找到px4）
* 最后在/root/PX4_Firmware找到px4包
## 如何修改ROS_PACKAGE_PATH
添加新路径（在末尾添加）：

```bash
export ROS_PACKAGE_PATH=$ROS_PACKAGE_PATH:/新路径
```


教程：https://www.yuque.com/xtdrone/manual_cn/basic_config_13


```bash
source ~/catkin_ws/devel/setup.bash
source ~/PX4_Firmware/Tools/setup_gazebo.bash ~/PX4_Firmware/ ~/PX4_Firmware/build/px4_sitl_default
export ROS_PACKAGE_PATH=$ROS_PACKAGE_PATH:~/PX4_Firmware
export ROS_PACKAGE_PATH=$ROS_PACKAGE_PATH:~/PX4_Firmware/Tools/sitl_gazebo
```
使用绝对路径：

```bash
source /opt/ros/noetic/setup.bash
source /root/PX4_Firmware/Tools/setup_gazebo.bash /root/PX4_Firmware /root/PX4_Firmware/build/px4_sitl_default
export ROS_PACKAGE_PATH=$ROS_PACKAGE_PATH:/root/PX4_Firmware
export ROS_PACKAGE_PATH=$ROS_PACKAGE_PATH:/root/PX4_Firmware/Tools/sitl_gazebo
```


![image.png](/static/img/7eb7ba40d882373bdadfa58f0f766ee2.image.webp)


```bash
# 查看~展开为什么
echo ~
# 如果当前用户是root，~是/root
# 如果当前用户是其他用户，~是/home/用户名

# 查看实际路径
ls -d ~/PX4_Firmware
ls -d /root/PX4_Firmware
```
### 验证您应该用哪组命令
运行这些检查：

```bash
# 检查1：您当前的用户
whoami
# 如果是root，~就是/root

# 检查2：PX4实际位置
ls -ld /root/PX4_Firmware
ls -ld ~/PX4_Firmware  # 比较两者

# 检查3：查看您的.bashrc中是否有自动配置
cat ~/.bashrc | grep -A2 -B2 "PX4_Firmware\|ROS_PACKAGE_PATH\|GAZEBO"
```





















 




















source环境是什么意思

# 什么是仿真launch文件
在ROS（机器人操作系统）中，launch文件是一种XML格式的配置文件，它的核心作用是通过一条命令，同时启动多个节点和设置多个参数，从而简化复杂系统的启动过程。

而仿真launch文件特指用于启动机器人仿真的launch文件。在您的PX4无人机仿真场景中，indoor1.launch就是一个典型的仿真launch文件。

## 仿真launch文件的工作原理
运行

```bash
roslaunch px4 indoor1.launch
```
这个launch文件实际上会启动一系列组件：
*  1、 PX4 SITL（软件在环仿真）

```xml

<node name="sitl" pkg="px4" type="px4" ... />
```

* 2、Gazebo仿真环境

```xml

<include file="$(find gazebo_ros)/launch/empty_world.launch">
    <arg name="world_name" value="indoor1.world"/>
</include>
```

* 3、无人机模型

```xml


<node name="spawn_model" pkg="gazebo_ros" type="spawn_model"
    args="-sdf -file $(find mavlink_sitl_gazebo)/models/iris_stereo_camera/iris_stereo_camera.sdf
          -model iris
          -x 0 -y 0 -z 0.5"/>
```
* 4、其他必要的ROS节点
    * MAVROS（与PX4通信的ROS接口）
    * 传感器数据处理节点
    * 可能的控制算法节点


需要修改摄像头模型，把仿真launch文件的iris_stereo_camera换成iris_realsense_camera，这样才能有深度图数据

# 如何修改launch

首先要知道launch文件在哪
![image.png](/static/img/eb47b04e53a2ea6d6db9838e01a6eabd.image.webp)

```bash
cd /root/XTDrone/sitl_config/launch/
vim indoor1.launch
```

搜索关键词iris_stereo_camera（在Vim中），方法如下
* 按下 /键
* 输入要搜索的关键字（如 iris_stereo_camera）
* 按 Enter开始搜索
* 光标会跳到第一个匹配项

浏览搜索结果
* 下一个匹配项：按 n(next)
* 上一个匹配项：按 N(大写 N) 或 Shift+n

修改完成后：
* 按 i 进入插入模式
* 按 Esc 退出插入模式
* 保存退出（：wq）


# 启动launch文件中定义的所有节点无需指定目录
无论在哪个目录下启动launch文件，都会启动launch文件中定义的所有节点。

```bash
# 在任意目录执行，效果完全相同
cd ~
roslaunch px4 indoor1.launch

# 或者在
cd /tmp
roslaunch px4 indoor1.launch

# 或者在其他任何目录
roslaunch px4 indoor1.launch
```
结果：启动的都是launch文件中定义的那些节点（PX4 SITL、Gazebo、MAVROS等）。

## 原理
launch文件中使用的是**绝对路径或ROS包路径**，不依赖当前目录：

### 需要注意的例外：
#### 1. 相对路径问题

如果launch文件中有相对路径，这种写法在不同目录下启动，ROS会找不到文件。

#### 2. 包查找路径
启动命令必须能找到对应的ROS包：

```bash
# 如果当前终端没有source ROS环境
roslaunch px4 indoor1.launch
# 会报错：找不到px4包

# 必须确保在正确的环境中
source /opt/ros/noetic/setup.bash
source ~/catkin_ws/devel/setup.bash
roslaunch px4 indoor1.launch
```

所以，在正确的ROS环境下，无论在哪个目录执行roslaunch px4 indoor1.launch，都会启动launch文件中定义的所有节点，只是当前工作目录会不同（这可能会影响某些依赖当前目录的脚本）