Note

VLM 的幻觉与纯文本 LLM 有何不同？

结合对象、属性与关系等例子，说明多模态生成中的幻觉表现。

VLM 在生成内容时，同样会遇到“幻觉”（Hallucination）问题，但它的表现形式和纯文本 LLM 有何不同？请举例说明。

VLM和纯文本LLM都会产生“幻觉”，即生成与事实不符或无中生有的内容。但VLM的幻觉是基于视觉输入的，其表现形式与纯文本LLM有显著不同，主要体现在将错误的、不存在的视觉事实强行“植入”到描述中。

VLM幻觉的主要表现形式：

  1. 物体幻觉（Object Hallucination）：

    • 描述： 这是最常见的幻觉形式，即模型描述了图像中完全不存在的物体。
    • 与LLM区别： 纯文本LLM的物体幻觉是凭空捏造（如编造一个不存在的书名），而VLM的物体幻觉是错误地“看”到了图像中没有的东西。
    • 举例：
      • 输入图像： 一只猫坐在沙发上。
      • VLM幻觉输出： “一只猫和一只小狗正舒适地躺在沙发上。”（图像中并没有狗）

  2. 属性幻觉（Attribute Hallucination）：

    • 描述： 模型正确识别了图像中的物体，但错误地描述了该物体的属性，如颜色、形状、大小、数量等。
    • 与LLM区别： 纯文本LLM的属性幻觉是记错了事实（如“法国的首都是柏林”），而VLM的属性幻觉是看错了图像细节。
    • 举例：
      • 输入图像： 一个穿着蓝色衬衫的男人。
      • VLM幻觉输出： “一个穿着红色衬衫的男人站在窗前。”（颜色错误）
      • 输入图像： 桌子上有两个苹果。
      • VLM幻觉输出： “桌上放着三个苹果。”（数量错误）

  3. 关系幻觉（Relationship Hallucination）：

    • 描述： 模型正确识别了多个物体，但错误地描述了它们之间的空间位置或交互关系。
    • 与LLM区别： 纯文本LLM的关系幻觉是混淆了概念关系（如“牛顿发现了相对论”），而VLM的关系幻觉是混淆了物理空间关系。
    • 举例：
      • 输入图像： 一本书放在一个杯子旁边。
      • VLM幻觉输出： “一本书放在一个杯子里面。”（空间关系错误）
      • 输入图像： 一个女孩在追逐一个皮球。
      • VLM幻觉输出： “一个皮球在追逐一个女孩。”（动作关系错误）