前言

本节课我们聚焦多模态大模型最核心的问题：文本、图像、语音这些“不同语言”的信息，是怎么被模型“翻译”并互相理解的？我们从“差异”入手，一步步搞懂其中的逻辑。

一、先搞懂：什么是“模态差异”？

生活中，我们描述同一件事（比如“一只猫”）可以用多种方式：

• 文本：“一只黑色的猫坐在沙发上”（一串有顺序的文字符号）；
• 图像：一张猫的照片（二维像素矩阵，每个点是颜色值）；
• 语音：“喵~”（一段声波信号，随时间变化的频率/振幅）。

这些不同的“信息载体”就是“模态”，而它们的“差异”是多模态模型最头疼的问题。具体来说，差异体现在三个方面：

1. 结构差异：
   文本是“序列结构”（像排队的人，有先后顺序）；
   图像是“二维网格结构”（像棋盘，有行和列）；
   语音是“时间序列结构”（像流水，随时间连续变化）。
   模型处理序列和网格的“思路”完全不同，就像用汉语语法去分析英语句子，肯定行不通。

2. 语义密度差异：
   文本的语义很“精准”：“猫”这个词直接指向特定动物；
   图像的语义很“模糊”：一张猫的照片里，除了猫还有沙发、地板，模型需要“过滤噪音”才能抓住核心；
   语音的语义可能“依赖上下文”：同样的“喵”，可能是撒娇也可能是警告，需要结合语气判断。

3. 数据规模差异：
   文本数据（如书籍、网页）容易获取且规模极大；
   高质量图像/视频数据（如标注清晰的照片）获取成本高；
   语音数据（尤其是多语言/方言）规模相对较小。
   模型“学”得多少不一样，也会导致不同模态的“表达能力”有差距。

二、第一步：把“原始信息”变成模型能懂的“特征”

模型无法直接处理原始数据（比如文本的文字、图像的像素），必须先把它们“翻译”成统一的“数字语言”——这就是“单模态特征提取”。

简单说，“特征”就是原始数据的“浓缩版”：比如一张猫的照片，原始数据是几百万个像素值（无用信息多），特征提取后会变成一串数字（比如768个数字组成的“向量”），这串数字只保留“猫的关键信息”（比如耳朵形状、毛色、姿态）。

不同模态的特征提取工具（举例）：

1. 文本特征提取：
   用“词向量”或“Transformer模型”（如BERT）。
   例：“猫”这个词，会被变成一串数字（比如 [0.2, -0.5, 1.3, ...]，这串数字能代表“猫”的语义——和“狗”的向量距离远，和“ kitten（小猫）”的向量距离近。

2. 图像特征提取：
   用“卷积神经网络（CNN）”或“视觉Transformer（ViT）”。
   例：一张猫的照片，通过CNN处理后，会变成一串数字（比如 [0.8, 0.1, -0.3, ...]），这串数字能代表“猫的视觉特征”（比如“有尾巴”“耳朵尖”）。

3. 语音特征提取：
   用“梅尔频谱”+“语音模型（如Wav2Vec）”。
   例：“喵”的叫声，会被转化为代表“频率变化”的向量，保留“猫叫”的声音特征。

三、核心难题：如何让不同模态的“特征”能“对话”？

即便我们把文本、图像都变成了向量，它们仍然可能“不在一个频道”：比如“猫”的文本向量和猫的图像向量，可能在模型眼里毫无关系——这就需要“模态对齐”。

“模态对齐”的目标：让同一语义的不同模态特征，在“向量空间”里靠得近；不同语义的特征离得远。
打个比方：假设我们把所有特征向量想象成“地图上的点”，“猫”的文本向量和猫的图像向量应该在地图上“挨在一起”，而和“狗”的向量离得远。

模态对齐的两种主流方式：

1. 早期对齐（Early Fusion）：“先统一，再处理”
   思路：在特征提取阶段就把不同模态“拉到同一空间”。
   例：CLIP模型（我们后面会详细讲）就是典型的早期对齐：

   • 文本用“文本编码器”提取特征，图像用“图像编码器”提取特征；
   • 两个编码器在训练时被“强迫”学习同一套“向量规则”——比如“猫”的文本向量和猫的图像向量，计算“相似度”时得分必须高。

2. 晚期对齐（Late Fusion）：“先各自处理，再融合”
   思路：先分别提取文本、图像的特征（可能在不同空间），最后在模型的“后期层”通过“交叉注意力”等方式融合。
   例：视觉问答模型（VQA）：

   • 先单独提取图像特征（“图里有什么”）和问题文本特征（“图中有几只猫？”）；
   • 最后一层用交叉注意力：让文本特征“关注”图像中“猫”的区域，图像特征“回应”文本中的“数量”问题，最终融合出答案。

四、代码示例：用CLIP直观感受“模态对齐”

我们用最简单的代码，看看经过“早期对齐”的模型，如何让文本和图像“对话”。

目标：输入一张猫的图片和3个文本描述（“a cat”“a dog”“a bird”），模型会计算图片与每个文本的“相似度”，相似度最高的就是匹配结果。

步骤1：安装工具库

# 安装Hugging Face的transformers库（模型工具）和pytorch（计算框架）  
pip install transformers torch pillow  

步骤2：加载模型和处理器

CLIP是经过“早期对齐”训练的模型，它的文本编码器和图像编码器已经“懂同一种语言”：

from transformers import CLIPModel, CLIPProcessor  
import torch  
from PIL import Image  # 加载预训练模型和处理器（处理器负责把原始数据转成模型能读的格式）  
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")  
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")  

步骤3：准备输入（图像+文本）

# 准备一张猫的图片（可以用自己的图片，路径替换成实际地址）  
image = Image.open("cat.jpg")  # 假设当前文件夹有一张猫的照片  # 准备3个候选文本描述  
texts = ["a cat", "a dog", "a bird"]  

步骤4：提取特征并计算相似度

# 用处理器处理输入（自动转成模型需要的格式）  
inputs = processor(text=texts, images=image, return_tensors="pt", padding=True)  # 模型输出文本特征和图像特征  
outputs = model(**inputs)  
text_features = outputs.text_embeds  # 文本特征（3个向量，对应3个文本）  
image_features = outputs.image_embeds  # 图像特征（1个向量，对应猫的图片）  # 计算图像特征与每个文本特征的相似度（余弦相似度，值越高越匹配）  
similarity = torch.nn.functional.cosine_similarity(image_features, text_features)  # 打印结果  
print("文本描述：", texts)  
print("相似度：", similarity.detach().numpy())  

预期结果：

文本描述： ['a cat', 'a dog', 'a bird']  
相似度： [0.85, 0.32, 0.21]  

可以看到，“a cat”与猫的图片相似度最高——这就是“模态对齐”的效果：模型知道“猫的图像”和“a cat”指的是同一个东西。

总结

这节课我们搞懂了：

1. 不同模态（文本、图像等）因为结构、语义密度、数据规模不同，天生“难沟通”；
2. 必须先把原始数据转成“特征向量”（模型的“数字语言”）；
3. 核心是“模态对齐”——让同一语义的不同模态特征在向量空间里“靠近”，早期对齐（如CLIP）和晚期对齐（如VQA）是两种主要方式。

下节课，我们会具体看这些“对齐”思路是如何被用到实际模型中的。