什么是视觉 Grounding？如何评估定位能力？

请解释Grounding在 VLM 领域中的含义。我们如何评估一个 VLM 是否能将文本描述准确地对应到图片中的特定区域？

在VLM领域，Grounding（定位或指代） 指的是将语言中的某个特定概念或短语（a phrase or a concept）与图像中的特定像素区域（a specific pixel region） 建立准确对应关系的能力。简单来说，就是模型不仅知道图片里“有什么”，还要知道“在哪里”。

例如，对于指令“请告诉我图片中那只戴着红色项圈的黑猫”，一个具备Grounding能力的模型，其内部注意力机制应该能够准确地聚焦在图片中黑猫所在的区域，而不是图片中的其他物体或背景。

如何评估Grounding能力？

评估Grounding能力通常需要带有位置标注的数据集（如RefCOCO, Visual Genome），评估方法主要有：

1. 指代短语定位（Referring Expression Grounding）：

   • 任务： 给定一张图片和一个描述图片中某个物体的短语（如“the woman in the red dress”），模型需要输出该物体的位置，通常是一个边界框（Bounding Box）。
   • 评估指标： 将模型预测的边界框与人工标注的真实边界框（Ground Truth BBox）进行比较，计算它们的交并比（Intersection over Union, IoU）。

   $$\text{IoU} = \frac{\text{Area of Overlap}}{\text{Area of Union}}$$

   通常会设定一个IoU阈值（如0.5或0.75），如果模型预测的IoU超过该阈值，则认为定位正确。最后计算准确率（Accuracy@IoU>threshold）。

2. 视觉Grounding对话：

   • 任务： 在对话中，当模型生成引用了图片中某个物体的文本时，同时输出该物体的位置。
   • 评估： 这类评估更复杂，可能需要人工判断模型生成的文本和其对应的边界框是否一致且准确。一些新的基准（如Shikra, GPT4-ROI）正在探索这类评估方式。

3. 注意力图可视化（定性分析）：

   • 方法： 虽然不是一个定量的指标，但通过可视化模型在生成与某个物体相关的文本时，其内部注意力机制的激活区域，可以直观地判断模型是否“看对”了地方。如果生成“猫”这个词时，注意力主要集中在猫的区域，说明其具备一定的隐式Grounding能力。