Note

相比静态图片，VLM 处理视频要解决哪些问题？

整理时序建模、帧间信息、计算开销与长视频理解的挑战。

在处理视频等多模态数据时，相比于静态图片，VLM 需要额外解决哪些问题？（例如，如何表征时序信息？）

处理视频数据引入了时间维度，这带来了相比静态图片额外且独特的挑战：

  1. 时序信息表征（Temporal Information Representation）：

    • 挑战： 视频的核心在于动态变化、动作和事件的发生顺序。模型必须能够理解帧与帧之间的时序关系，例如物体的运动轨迹、动作的连续性、事件的因果关系等。
    • 解决方案：
      • 帧采样+融合： 从视频中抽取部分关键帧，分别提取它们的特征，然后通过一个时间融合模块（如时间注意力、3D卷积或简单的拼接池化）来聚合时序信息。
      • 时空建模： 使用能够直接处理时空数据的网络结构，如3D CNN或Video Transformer (ViViT)，在提取特征的阶段就同时考虑空间和时间维度。

  2. 巨大的计算和存储开销：

    • 挑战： 视频本质上是图像序列，一个短视频可能包含数百甚至数千帧，数据量远超单张图片。这导致了巨大的计算（模型前向传播）和显存（存储特征）开销。
    • 解决方案：
      • 稀疏采样： 采用智能的帧采样策略，只处理变化显著或具有代表性的帧。
      • 特征压缩： 对逐帧提取的特征进行压缩或池化，减少送入后续模型的Token数量。

  3. 长距离依赖建模：

    • 挑战： 视频中的关键因果关系可能跨越很长的时间窗口（例如，一个视频开头的铺垫可能要到结尾才揭示其意义）。模型需要具备捕捉这种长距离时间依赖的能力。
    • 解决方案： 采用类似Transformer的架构来建模帧之间的关系，利用其全局感受野的优势。

  4. 多模态融合的复杂性增加：

    • 挑战： 视频通常还伴随着音频（语音、背景音）和字幕等模态。VLM需要解决将视觉时序信息、音频流信息和文本信息同步对齐和融合的难题。
    • 解决方案： 设计更复杂的对齐和融合模块，能够处理多个异步或同步的时间序列数据。