不同 VLM 架构范式有哪些优劣？

请对比至少两种不同的 VLM 架构范式，并分析它们的优劣。

当前主流的VLM架构范式，根据视觉和语言信息融合方式的不同，主要可以分为两大类：基于连接器的架构 和 基于跨模态注意力的架构。

架构范式	基于连接器（Connector-based）	基于跨模态注意力（Cross-Attention-based）
代表模型	LLaVA, MiniGPT-4	Flamingo, BLIP-2
核心思想	前期对齐，后期融合。将视觉特征通过一个轻量级模块“翻译”成LLM能理解的“视觉词元”，然后与文本词元拼接，让LLM统一处理。	边生成边融合。在LLM内部插入跨模态注意力层，允许文本特征在生成的每一步都动态地“查询”和“参考”视觉特征。
工作流程	1. 视觉编码器提特征 2. 连接器将视觉特征转为定长的Visual Tokens 3. [Visual Tokens] + [Text Tokens] 送入LLM	1. 视觉编码器提特征 2. LLM在生成文本时，其内部的Query会与视觉特征的Key/Value进行Cross-Attention计算，动态注入视觉信息。
优势	1. 训练和推理效率高： 只需训练一个轻量级的连接器，且可以复用强大的预训练视觉和语言模型，成本较低。 2. 架构简洁优雅： 实现简单，易于扩展和复现。 3. 性能强大： 在许多基准上证明了其有效性，尤其是在视觉指令跟随方面。	1. 深度融合： 视觉和语言信息的交互发生在LLM的每一层或多层，融合得更充分、更深入。 2. 少样本学习能力强： Flamingo证明了这种架构在上下文少样本学习（in-context few-shot learning）上表现极其出色。 3. 对视觉细节的动态捕捉： 在生成长文本时，可以根据需要动态地关注图像的不同部分。
劣势	1. 信息瓶颈： 视觉信息被连接器压缩成固定数量的“视觉词元”，可能在转换过程中丢失部分细节，存在信息瓶颈。 2. 融合深度较浅： 视觉和语言的融合完全依赖于LLM自身的自注意力机制，不如显式的跨模态注意力来得直接。	1. 架构复杂，训练成本高： 需要修改LLM的内部结构，并进行大规模的训练，计算开销巨大。 2. 推理速度较慢： 额外的跨模态注意力计算增加了推理时的延迟。

总结： 基于连接器的架构是当前实现高性价比、高性能VLM的主流方案，追求效率和简洁。而基于跨模态注意力的架构则代表了追求极致性能和深度融合的方向，但成本更高。