Note

VLM 如何实现视觉与语言的对齐和融合？

从模态鸿沟出发，整理多模态表示对齐与信息融合的主要思路。

多模态大模型（如 VLM）的核心挑战是什么？即如何实现不同模态信息（如视觉和语言）的有效对齐和融合？

多模态大模型（VLM）的核心挑战在于解决 “模态鸿沟”（Modality Gap） 。视觉信息（如图像、视频）是以像素矩阵的形式存在的，密集、具体且连续；而语言信息是以离散的符号（token）序列存在的，稀疏、抽象且结构化。如何让模型跨越这两种完全不同的数据形式，实现有效的理解和推理，是VLM研究的中心问题。

这个挑战的解决方案主要包含两个关键环节：

  1. 对齐（Alignment）：建立跨模态的语义连接

    • 目标： 对齐的目标是让模型理解视觉世界中的“概念”和人类语言中的“符号”是指代的同一事物。例如，模型需要知道图片中的一只奔跑的狗的像素集合，和文本描述“a running dog”在语义上是等价的。
    • 实现方式： 主流方法是表示空间对齐。通过设计一个训练任务，将图像和其对应的文本描述映射到一个共享的或可比较的向量空间中。在这个空间里，匹配的图文对的向量表示距离很近，而不匹配的图文对则距离很远。CLIP模型使用的对比学习就是实现对齐的经典范式。

  2. 融合（Fusion）：实现跨模态信息的深度交互

    • 目标： 在对齐的基础上，让两种模态的信息能够深度地交互，以完成更复杂的推理任务，而不仅仅是识别。例如，回答“图片中穿红色衣服的人在做什么？”就需要同时理解“红色衣服”（视觉属性）和“做什么”（动作识别），并将它们结合起来推理。
    • 实现方式： 主流的融合方法包括：
      • 连接器（Connector）： 将视觉编码器提取的视觉特征，通过一个小的、可训练的模块（如MLP或Q-Former），转换为LLM能够理解的“视觉词元”（Visual Tokens），然后与文本词元拼接起来，送入LLM统一处理。LLaVA是这种方式的代表。
      • 跨模态注意力（Cross-Attention）： 在LLM的某些层中插入跨模态注意力模块，让文本表示（作为Query）能够“查询”视觉表示（作为Key和Value），从而在生成文本的每一步都能动态地关注到图像的不同区域。Flamingo和BLIP-2是这种方式的代表。