[25' CVPR Highlights] MASH-VLM: Mitigating Action-Scene Hallucination in Video-LLMs through Disentangled Spatial-Temporal Representations

# Introduction

다음 논문은 Action-Scene Hallucination 문제를 해결하기 위해 제안되었다.

이는, 모델이 장면을 잘못 해석하거나, 관찰된 행동을 기반으로 scene을 잘못 추론하는 경우를 의미한다.

예를 들어, 도서관에서 복싱을 하는 영상을 보여주면, 모델은 이를 실제 복싱 경기장(boxing ring)으로 잘못 인식한다. 이는 ‘복싱’이라는 동작만 보고 그에 맞는 전형적인 장소를 상상해버리는 오류이다.
또 다른 예로, 눈 덮인 산에 아무도 등장하지 않는 영상을 제시했을 때, 모델은 실제로 보이지도 않는 스키 타는 사람이나 스노보더가 있다고 잘못 예측하기도 한다.

 

 

저자들은 Video-LLM에서의 action-scene hallucination문제가 아래 두 한계 때문이라고 보고 있다.

첫번째 원인은 sptial과 temporal feature의 얽힘이다.

기존 Video-LLM들은 spatial과 temporal 정보를 효과적으로 분리하지 못하고 섞어서 처리하는 경우가 많다.
이러한 얽힘은 영상 속에서 행동과 장면 간의 우연한 상관관계(spurious correlation)를 학습하게 만들고, 이는 잘못된 추론으로 이어지는 것이다.

일부 연구에서는 이러한 문제를 해결하기 위해, 입력 단계에서 공간과 시간 특징을 분리(disentangle)하려는 시도를 하고 있다. 하지만 대부분은 LLM에 입력되기 전 전처리 수준에만 집중하고, LLM 내부에서는 여전히 이 두 정보가 attention 연산 과정에서 다시 얽히는 현상이 발생한다.

실제로 Figure 2 (a)에서 확인할 수 있듯이, 입력에서는 분리된 정보가 모델 내부에서 재결합(re-entangle)되며, 결국 action-scene hallucination이 발생하게 되는 것이다.

 

두 번째 원인은 대부분의 LLM들이 위치 정보를 인코딩할 때 RoPE(Rotary Position Embedding)에 의존하고 있다는 점이다.

RoPE는 단일 모달리티(single modality)에서는 효과적으로 위치 정보를 인코딩하지만, 멀티모달(multimodal) 환경에서는 한계가 존재한다. RoPE는 입력 토큰에 1차원 위치 정보를 부여하기 때문에, 멀티모달 입력에 그대로 적용하면 text token이 시공간적(spatial 또는 temporal) 토큰 중 어느 한 쪽에 과도하게 주의를 기울이는 문제가 발생할 수 있다.

Figure 2(a)에서 볼 수 있듯이, 만약 spatial token이 text token 가까이에 위치한다면, text token은 시간 정보를 무시하고 공간 정보에 과도하게 집중할 수 있다. 이러한 불균형은 특정 토큰 타입에 편향된 처리를 초래하며, 이는 동작이나 장면에 대한 hallucination을 유발할 수 있다.

 

이 두문제를 해결하기 위해 저자들은 MASH-VLM을 제안한다.

이 방법은 spatial과 temporal representation을 disentagle함으로써
Video Large Language Model에서의 Action-Scene Hallucination 문제를 완화한다.

<1>

첫번째 방법은 바로 DST-attention이다. 이는 LLM 내부에서 spatial과 temporal token을 분리한다.

Figure 2(b)에서 볼 수 있듯이, masked attention을 통해 spatial과 temporal token 사이에서의 interaction을 막는다.

• temporal tokens 간에 casual attention 사용 >>  순차적 의존성와 시간적 순서 유지
• spatial tokens 간에는 bi-directional attention 사용 >> 공간 차원은 양방향성을 갖기 때문에
• text token이 spatial과 temporal 모두에게 attention할 수 있도록 >> 텍스트 토큰이 시공간 정보 고르게 통합

이렇게 attention 흐름을 구조적으로 조정함으로써, DST-attention은 시공간 정보를 효과적으로 분리하고, 결과적으로 환각을 줄이며 비디오 이해 성능을 향상시킨다.

<2>

두번째로는 기존의 RoPE 문제를 해결한 Harmonic-RoPE이다.

기존 RoPE는 spatial token과 temporal token에 동일하거나 균형 잡힌 positional ID를 제공하지 않기 때문에, 위치 정보가 왜곡될 수 있다.

이를 해결하기 위해 저자들은 positional ID의 차원을 확장하여, 각 token 유형이 텍스트 토큰 기준으로 균형 잡힌 positional ID를 가질 수 있도록 한다(Figure 2(b) 참고).

이러한 방식은 spatial과 temporal 정보의 균형 있는 표현을 가능하게 하며, 모델이 시공간 정보를 조화롭게 이해할 수 있도록 돕는다.

 

 

Contribution을 정리하면 아래 세가지와 같다.

1. MASH-VLM 아키텍처

DST-attention을 통해 spatial과 temporal token을 disentangle
Harmonic-RoPE를 통해 spatial과 temporal token에 균형 맞춘 relative position ID 부여
--> Video-LLM에서의 hallucination 문제를 완화

2. UNSCENE benchmark
1,320 video와 4,078 QA pair로 이루어진 벤치마크
: Unusual action-scene 조합을 포함한 비디오
: 사람의 행동이 포함되지 않은 scene-only 비디오

3. UNSCENE benchmark & 기존의 video QA benchmark에서 SOTA

 

 

---

# Related Works

Multimodal LLMs for Video Understanding.

MLLM (vision) 에서 Video-LLM (video)로 확장되는 연구 진행 중이다.

video-based MLLM은
(1) temporal dynamic을 학습해야 하고 (time축)
(2) 여러 frame에 따른 많은 양의 visual token을 학습해야 한다.

이에 따라 최근의 Video-LLM 모델들은
(1) visual token을 줄이거나

• Mvbench: A comprehensive multimodal video understanding benchmark. In CVPR, 2024.
• Video-llama: An instruction-tuned audio-visual language model for video understanding.

(2) visual token을 통합하거나

• Chat-univi: Unified visual representation empowers large language models with image and video understanding. In CVPR, 2024.

(3) temporal dynamics를 모델링 하는 방법으로 해결하고 노력 중이다.

• Video-llava: Learning united visual representation by alignment before projection. In EMNLP, 2024.
• Bt-adapter: Video conversation is feasible without video instruction tuning. In CVPR, 2024.

 

이 논문과 가장 관련있는 Video-ChatGPT는 pooling 방법을 이용하여 LLM에 들어가기 전에 spatial과 temporal feature을 구분하였다.
그러나 이 방법은 LLM의 attention mechanism으로 인해 다시 entagle되기도 한다.
따라서 LLM 내에서 조작하는게 필요하다는 얘기를 하고 있다.

 

---

# Method