transformer的基础认识


您提到的“上下文预测”任务，是词向量（如Word2Vec）和现代预训练模型（如BERT）最核心的训练思想之一。它本质上是一种**自监督学习**——从文本数据自身构造监督信号，无需人工标注。

这个任务通常通过两种经典模型架构实现：**CBOW** 和 **Skip-gram**。下面我详细解释一下它们的训练过程。

### 核心思想：一个词由其上下文定义
“上下文预测”基于一个语言学假设：**出现在相似上下文中的词，其语义也相似**。模型通过让神经网络学会预测上下文词或中心词，从而将词的语义信息编码到低维稠密向量（即词向量）中。

---

### 经典方法：Word2Vec 的两种模式

#### 1. 连续词袋模型
用上下文词预测中心词。

**训练过程：**
- **输入**：目标词周围固定窗口内的所有上下文词（例如，窗口大小为2，则取前后各2个词）。
- **模型结构**：
  - 有一个**输入层**（上下文词的one-hot向量）、一个**投影层**（共享的嵌入矩阵，用于查找词向量）和一个**输出层**（通过softmax预测中心词）。
  - 上下文词的词向量在投影层**取平均或求和**，得到一个组合的上下文向量。
- **输出**：模型预测这个组合向量对应中心词的概率分布。
- **训练目标**：最大化正确中心词的对数概率。通过反向传播，**同时更新输入和输出层的词向量**。

**示例**：
句子：`"The quick brown fox jumps"`，中心词 = `"brown"`，窗口=2。
- 输入：`["The", "quick", "fox", "jumps"]` 的one-hot向量。
- 模型学习：当看到 `[quick, fox]` 这样的上下文时，中心词很可能是 `"brown"`。

#### 2. 跳字模型
用中心词预测周围上下文词。

**训练过程**：
- **输入**：中心词的one-hot向量。
- **模型结构**：与CBOW类似，但方向相反。中心词通过嵌入层得到其词向量，然后用于预测窗口内每个上下文词。
- **输出**：对窗口内每个位置，模型输出一个概率分布，表示该位置是某个词的概率。
- **训练目标**：最大化所有上下文词的对数概率之和。由于要预测多个词，计算量通常比CBOW大，但对低频词效果更好。

**示例**：
中心词 = `"brown"`，窗口=2。
- 模型学习：当中心词是 `"brown"` 时，周围应该出现 `"quick"`、`"fox"` 等词。

---

### 关键训练技术：负采样
由于词汇表可能非常大（数万到数十万词），计算完整的softmax（即对每个词都计算概率）非常耗时。**负采样** 是解决此问题的关键技术。

**负采样的思想**：
- 将“预测中心词/上下文词”的多分类问题，转化为“判断词对是否相关”的**二分类问题**。
- 对于每个训练样本（中心词，上下文词）：
  - 将这对词作为**正样本**（标签为1）。
  - 从词汇表中随机采样K个（通常5-20个）与中心词不相关的词，与中心词组成**负样本**（标签为0）。
- 模型训练一个二分类器（通常是一个逻辑回归层），判断一个（中心词，候选词）对是否来自真实的上下文。

**优势**：计算量从O(V)（V是词汇表大小）降低到O(K+1)，训练速度大幅提升，且效果通常更好。

---

### 训练流程总结
1. **数据准备**：从大规模语料库中获取句子，进行分词等预处理。
2. **构建训练样本**：对每个词，根据窗口大小，生成（上下文，中心词）对（CBOW）或（中心词，上下文）对（Skip-gram）。
4. **模型前向传播**：通过嵌入层查找词向量，进行平均或拼接等操作，得到上下文或中心词的表示。
5. **计算损失**：
   - 如果是原始softmax，计算交叉熵损失。
   - 如果使用负采样，计算二分类交叉熵损失（正样本和K个负样本）。
6. **反向传播与优化**：通过梯度下降（如SGD）更新模型参数，**最重要的是更新嵌入矩阵（即词向量表）**。
7. **输出**：训练完成后，嵌入矩阵的每一行就是一个词的词向量。这些向量在向量空间中，语义相似的词会彼此靠近。

---

### 从Word2Vec到BERT的演进
Word2Vec的“上下文预测”是静态的（一个词只有一个向量）。后续的模型（如ELMo、BERT）将其发展为**动态上下文预测**：
- **BERT**：使用Transformer编码器，通过**掩码语言模型**任务进行训练。随机遮盖句子中的一些词（如15%），让模型根据**双向上下文**来预测被遮盖的词。这使得每个词的表示会根据上下文动态变化，能更好地处理一词多义。

### 总结
“上下文预测”任务通过让模型学习词语之间的共现规律，将语义和语法信息编码到稠密向量中。其成功得益于：
1. **简单的自监督目标**：从无标注文本中自动生成标签。
2. **高效的优化技术**：如负采样。
3. **分布式假设**：语义由上下文决定，这一语言学基础坚实可靠。

正是通过这种看似简单的预测任务，模型学会了词语的深层语义，为后续所有NLP任务奠定了基础。

词训练上下文预测方法

# 如何获取语义信息
## 上下文预测任务
### 核心思想：通过预测上下文来学习词表示，属于自监督学习。
* Word2Vec：
    * CBOW：用上下文预测中心词
    * Skip-gram：用中心词预测上下文
    * 目标：相近的词在向量空间中距离更近
* BERT：
    * Masked Language Model (MLM)：用上下文预测被遮蔽的词
    * Next Sentence Prediction (NSP)：判断两个句子是否相邻
    * 目标：学习双向上下文表示

## Word2Vec、BERT 与词嵌入的关系
### 词嵌入（Word Embedding）
将词映射为稠密向量的技术，是表示学习的基础。
#### Word2Vec → 静态词嵌入
* 每个词对应一个固定向量
* 不考虑上下文，如“银行”在“存钱”和“河岸”中向量相同
* 轻量、训练快，适合小规模任务
#### BERT → 动态上下文词嵌入
* 同一词在不同上下文中得到不同向量
* 双向编码，能捕捉更丰富的语义
* 参数多、计算量大，但表示能力更强


```
词嵌入（概念）
    ├── Word2Vec（静态词嵌入的实现）
    │   └── 通过上下文预测学习固定向量
    │
    └── BERT（动态上下文词嵌入的实现）
        └── 通过上下文预测学习上下文相关向量    
```
       
## 词嵌入和位置编码的关系
核心关系
互补关系：词嵌入提供“是什么”，位置编码提供“在哪里”。
具体说明
* 词嵌入（Word Embedding）
    * 作用：将词映射为向量，编码语义
    * 特点：相同词在不同位置得到相同向量
    * 局限：不包含位置信息
* 位置编码（Positional Encoding）
    * 作用：为序列中的位置提供向量表示
    * 特点：不同位置得到不同向量
    * 目的：让模型知道词的顺序

在Transformer中的结合方式：
```
输入 = 词嵌入 + 位置编码
```
相加融合：两者维度相同，直接相加后输入模型。

## 通过word2vec，模型学会了什么？学会的信息对于transformer而言有什么用
Word2vec通过一个看似简单的任务——根据上下文预测中心词（CBOW）或根据中心词预测上下文（Skip-gram），学到了以下核心信息：
### 1. 词的“语义地图”

```
示例：vec(“国王”) - vec(“男人”) + vec(“女人”) ≈ vec(“女王”)
```
* 学到了语义类比关系（性别、复数、国家-首都等）
* 意思相近的词在向量空间中彼此靠近
* 这种相似性是基于用法的统计相似性，而非词典定义

### 2.词频和分布信息
* 高频词（如“的”、“是”）向量通常较短，位于空间中心
* 低频词（如“晦涩”、“量子”）向量较长，位于边缘
* 共享相似分布的词会聚集（如各种“水果”名）
### 3.简单句法关系
* 学习到词性信息：名词、动词、形容词会形成不同簇
* 简单的形态变化：cat → cats, run → running

## Word2vec的局限性
静态表示：每个词只有一个固定向量
“苹果”在“我吃苹果”和“苹果股价”中是同一个向量
无法处理一词多义
上下文无关：不考虑句子中其他词的影响
纯粹基于整个语料库的共现统计
仅捕捉浅层关联：无法理解复杂句法、逻辑、长距离依赖

## Word2vec学到的信息对Transformer有什么用




















transformer的结构

参考视频：

https://www.bilibili.com/video/BV1tseyzCEoF?spm_id_from=333.788.videopod.episodes&vd_source=484293edcf94a55e368ecf2e0d1fbfce

https://www.bilibili.com/video/BV1D362YpETh/?spm_id_from=333.337.search-card.all.click&vd_source=484293edcf94a55e368ecf2e0d1fbfce

从局域网通信开始，逐步扩展到跨网络通信
## 第一阶段：局域网内部通信 (核心设备：交换机)

### 起点：MAC地址
* 这是网卡的“物理身份证”，全球唯一，固化在硬件中。它工作在数据链路层，用于**同一个网络内部**的设备标识和寻址。
* 一个设备发送数据时，必须知道目标设备的MAC地址。
* 交换机通过MAC地址学习，实现“这个设备在这个端口上”的映射。因此，MAC地址的可聚合性差，无法用于大规模网络的寻址和路由，因为路由表不可能存储全球所有设备的MAC地址。



### 核心交换：交换机
* 交换机是局域网的交通枢纽。它通过MAC地址表工作，这张表记录了“哪个接口连接着哪个MAC地址”。
* 通信过程：当PC1（MAC_A）想给同局域网的PC2（MAC_B）发数据时：
    * PC1会先发送一个ARP广播（“谁是IP_b？请回答你的MAC地址？”），全网段设备都会收到，但只有PC2会回应，告知自己的MAC_B。
    * PC1将数据封装成“帧”，目标MAC地址写MAC_B，源MAC地址写MAC_A，然后发给交换机。
    * 交换机查看帧中的目标MAC_B，查询自己的MAC地址表，找到对应的端口，精准地将帧转发给PC2。
    * 关键：在这个阶段，通信完全依赖MAC地址。IP地址此时只是上层的一个“逻辑标签”，交换机默认不关心它。
 
![image.png](/static/img/4dc2636f3558c7f00990002b0cb8f608.image.webp)  

![image.png](/static/img/fac228846ab3c3fc966b06d041287376.image.webp)
### 网络划分：子网与子网掩码
* 当一个局域网内的设备太多，广播（如ARP）会泛滥成灾，降低效率。这时需要用子网来分割这个大网络。
* 子网掩码的作用就是和IP地址配合，定义出网络边界。它由连续的1和连续的0组成（如255.255.255.0）。
* 判断逻辑：将源IP地址和目标IP地址分别与子网掩码做“与运算”，得到各自的网络号。
    * 如果两个网络号相同，则它们在同一个子网内。通信走上述“交换机/MAC地址”流程。
    * 如果两个网络号不同，则它们在不同子网。通信就不能单纯靠交换机了，必须寻求网关的帮助。

![image.png](/static/img/aff9594375bf1b2d92cf3a5d36d639ef.image.webp)
![image.png](/static/img/f0fbab8bf52fdc1debd05326472c8e98.image.webp)
![image.png](/static/img/cbd0fb17ec9b7856dc430b90fcf47cfa.image.webp)
## 第二阶段：跨网络通信 (核心设备：路由器/网关)
### 出口与入口：网关
* 网关本质上就是一个路由器接口的IP地址。它是本子网通往外界的“大门”。
* 任何子网内的设备，如果想和子网外的设备通信，都必须先将数据包发送给网关（默认路由）。网关的MAC地址，是子网内所有设备通过ARP首先要知道的。

### 跨网导航：路由
* “路由”是路由器查找路径并转发数据包的过程。路由器是网络层的设备，它依据IP地址工作，核心是路由表。
* 路由表就像一张地图，告诉路由器“要去往某个目标网络，下一个路口（下一跳）该怎么走”。
![image.png](/static/img/4855321b12c5743e2e778d56f73604df.image.webp)



![image.png](/static/img/0be62bb611a4a78115bfed89ecb7a5ee.image.webp)

图中的这些 IP 地址代表了网络中各个设备接口（Interface）的逻辑标识。路由器通常有多个接口，每个接口连接不同的网络，因此每个接口都有一个独立的 IP 地址。


以下是图中主要 IP 地址的具体含义：
#### 1.网关路由器1 (Gateway Router 1)
这是 PC1 所在网络的出口。
* 192.168.1.1：这是路由器的内网接口地址。它是 PC1 的“默认网关”。PC1 发现目标不在自己家（192.168.1.0 网段）时，就会把包发给这个地址。
* 10.0.0.1：这是路由器的外网接口地址。它连接到了中间网络，负责将包发往下一个路由器。
#### 2.路由器2 (Router 2)
这是中间转发节点。
* 10.0.0.2：连接网关路由器 1 的接口地址。它与 10.0.0.1 处于同一个中间网段。
* 10.0.1.1：连接网关路由器 2 的接口地址。它负责将数据推向服务器的方向。
#### 3.网关路由器2 (Gateway Router 2)
这是服务器所在网络的入口。
* 10.0.1.2：接收来自路由器 2 数据的接口地址。
* 10.1.1.1：这是服务器所在网络的网关地址。它是该网段（10.1.1.0/24）的管理者。

总结：
* 192.168.1.10 (PC1) 和 10.1.1.100 (服务器)：是通信的起点和终点（源和目的 IP，全程不变）。
* 中间的 IP（如 192.168.1.1, 10.0.0.1 等）：是通信路径上的中转站门口。
    * 靠近发送方的是接口是“接纳口”。
    * 靠近接收方的接口是“转发口”。
 
这些 IP 地址构成了路由表的基础，路由器通过查询目标 IP（10.1.1.100）属于哪个网段，来决定从哪个“门口”（接口 IP）把数据包扔出去。

在该场景中：
* 交换机：连接 PC1 和网关路由器，在同一子网（192.168.1.0/24）内转发
* 网关路由器：连接 PC1 所在网络和外部网络，负责跨子网转发

![image.png](/static/img/5cc5a27c7737757c1bcbb8512c79eb85.image.webp)

网络层(IP协议)本身没有传输包的功能，包的实际传输是委托给数据链路层，也就是以太网中的交换机来实现的。

简单说：IP协议负责决定“要去哪儿，走哪条路”, 负责将数据包从源主机，经过一系列由路由器组成的异构网络，最终传送到目标主机；而以太网等链路层协议则负责“在当前的这一段路上，怎么把货搬过去”, 负责同一条物理链路（或同一个广播域）上两个直接相连的节点之间的可靠或不可靠帧传输。

路由器的工作是“拆信 + 看新地址 + 重新封装”。它拆掉旧的链路层帧头（源/目标MAC），查看内部IP包的目标地址，规划路径，然后用新的链路层帧头（新的源/目标MAC）重新封装这个IP包，发给下一站。

交换机的工作是“本地分发”。它只看MAC地址，不关心IP，在一个网络内部进行快速转发。


* 交换机（Switch）：
    * 工作在数据链路层（L2）
    * 根据 MAC 地址转发数据帧
    * 在同一网络/子网内转发，用于同一链路/子网内的物理寻址
    * 不处理 IP 地址路由
    
* 网关路由器（Gateway Router）：
    * 工作在网络层（L3）
    * 根据 IP 地址转发数据包
    * 连接不同网络/子网
    * 作为网络的出口，连接外部网络
* MAC地址
    * 数据链路层（第2层）的物理地址
    * 标识网卡硬件
    * 用于**同一网络内**的直接通信，类似“门牌号”，用于本地直接送达
    * 交换机依靠它进行端口转发。帧在每次经过路由器时都会被重写。

* IP地址（Internet Protocol Address）
    * 网络层（第3层）的逻辑地址
    * 用于跨网络路由
    * 全局的逻辑寻址，用于标识网络和设备在**整个互联网**中的位置
    * 是路由的依据。子网掩码用于划分其网络部分和主机部分, 判断“通信目标是否在同一子网”的标尺，决定了数据包是发给交换机还是网关。

* 网关
    * 子网的出口点，通常就是连接本子网的路由器接口的IP地址。
    * 所有出子网的流量都必须发往它。是连接二层交换和三层路由的桥梁。

设备通过 子网掩码判断目标是否在同一子网。如果在，则利用交换机和MAC地址直接通信。如果不在，则将数据包发给网关（路由器），路由器通过查询路由表，根据IP地址在不同网络间跳转，并在每一跳重写MAC地址，最终将数据送达目标网络。

基础概念

### 感知融合的基本逻辑是评估可信度
当多个传感器传回不同的环境信息时，自动驾驶系统不会简单地“少数服从多数”，也不会哪个传感器数据多就听谁的。它的核心思路，是要融合这些信息，构建出一个更靠谱、更完整的环境模型。

现阶段采用的多传感器融合技术，会在算法层面评估每个传感器输出的“可信度”。所谓可信度，是指在当前环境和当前条件下，这个传感器输出结果的可靠程度。在晴朗白天路况清晰的时候，摄像头的图像识别可信度将会更高；在大雾天气里，毫米波雷达的障碍物速度和距离测量会更值得信赖。融合算法根据这种可信度来动态调整每种传感器在环境模型中的权重。

如何去确定这个可信度呢？这个过程不是凭经验规则简单决定，而是通过复杂的数学方法来实现。很多系统会采用统计模型、卡尔曼滤波、贝叶斯推理等方法，把各传感器的测量和不确定性表达成数学概率，然后根据这些概率综合估计目标的状态。统计方法的优点是能够量化传感器不确定性的影响，从而在融合结果中弱化误差较大的数据，并把更可靠的信号放大。

也就是说，在面对传感器之间的“分歧”时，系统是靠算法来评估该信谁，而不是谁声音大就听谁的。一旦某个传感器在特定场景下明显表现失常，融合算法就会自动降低它的权重，甚至暂时把它的数据排除在外。此外，这个权重并不是一成不变的，而是会随着环境变化随时更新，其调整是实时、动态的。

### 动态权重分配让系统更可靠
动态权重分配是感知融合中的一个核心概念，它解决了传感器在不同场景中表现不一致的问题。所谓动态，就是系统不会给某个传感器一个固定的“优先级”，而是每时每刻会根据环境条件和传感器自身状态重新评估它的数据可靠程度，然后再决定在融合中给予多少“话语权”。

举个例子，晴天、下雨天，对同一片道路，摄像头的表现不会一样。在晴天，摄像头的视觉信息清晰，它对车道线、标志牌、行人颜色形态等有丰富信息，因此这种场景下它的数据可能有较高的权重。但在大雨中，镜头可能因为水滴遮挡视线而出现噪声，此时系统会主动将摄像头的权重降低，让激光雷达或毫米波雷达的数据主导判断。权重是系统根据传感器状态自动调整的，它无法人为定义。

动态权重的实现可以是基于经验规则，也可以是通过机器学习模型。在经验规则方式下，基于事先定义好的规则，可以确定在哪些环境条件下应该降低哪些传感器权重，这种方法可靠但灵活性有限。

现阶段，系统通过大量训练样本学习判断哪些场景下哪些传感器更可信，这种方法能适应更加复杂和细微的环境变化。动态权重的核心在于，它让系统具备了感知策略的灵活调整能力，避免了对某一个传感器的盲目依赖，从而大大提高了整体的鲁棒性。经过动态权重调整的融合系统更容易在复杂现实条件下保持可靠的感知结果。

### 为什么这些滤波方法可以实现不同传感器的信息融合
因为它们本质上都在做同一件事：把“运动模型提供的先验信息”和“各传感器观测提供的似然信息”按不确定度合成为同一个状态的后验估计，这在概率论里就是贝叶斯融合。

它们之所以能“融合”，不是因为传感器被硬拼在一起，而是因为：都把多传感器观测当作对同一状态的概率约束，并用不确定度把这些约束合成一个最可信的估计。