[25’ NeurlPS] Slot-VLM: SlowFast Slots for Video-Language Modeling

# Introduction

Vision-Language >>> Video-Language

이미지 수준의 VLM은 MiniGPT-4, LLaVA 같은 모델들로 큰 진전을 이뤘다. 이들은 이미지의 특징을 텍스트와 잘 정렬하기 위해 다양한 구조(Q-Former, projection layers 등)를 활용했다. 하지만 "영상"은 또 다른 이야기이다.

이미지는 한 장으로 정보를 담을 수 있지만, 영상은 시간 축을 따라 연속된 수많은 프레임으로 구성되어 있다. 그래서 영상 이해를 위해선 여러 프레임을 샘플링하고, 각 프레임에서 추출한 특징을 언어 모델에 넣는 방식이 자주 사용된다.

예를 들어, 프레임별로 토큰을 뽑아 그대로 LLM에 쌓아 넣는 방식이 대표적이다.

하지만 이 방식엔 치명적인 한계가 있다. 예를 들어 디테일을 살리기 위해 프레임을 촘촘히 샘플링하거나, 영상의 길이가 길어져서 많은 프레임을 사용해야 하는 경우, 토큰 수가 기하급수적으로 늘어나게 된다. 10분짜리 영상에서 초당 1프레임만 뽑아도, 프레임당 32개의 토큰이 필요하다면 총 19,200개의 토큰이 생긴다. 이는 메모리나 연산 비용 측면에서 매우 부담스럽고, 중복되거나 덜 중요한 정보가 많아 비효율적이다.

 

Slot-VLM: 영상도 단어처럼 쪼개서 생각하자

Slot-VLM은 이 문제를 "사람처럼 생각하는 방식"에서 힌트를 얻었다.

우리가 영상을 볼 때, 그냥 픽셀 덩어리로 보지 않고, 물체, 사건, 움직임 등을 분리해서 이해하는 것에 기인했다. Slot-VLM도 영상에서 이런 '의미 중심의 토큰', 즉 슬롯(Slots) 을 뽑아 LLM과 연결하려 한다.

이를 위해 SF-Slots라는 구조를 도입하였고 이 구조는 두 가지 브랜치로 구성된다:

• Slow-Slots: 고해상도 프레임을 낮은 속도로 뽑아, 장면 속의 객체 중심 정보 (object-centric)를 추출 
  • High Spatial Resolution (공간 해상도 높음):
    프레임 한 장 한 장을 크고 자세하게(=H, W 큼) 본다.
    객체(사람, 사물 등)의 모양이나 위치, 구조 같은 공간 정보를 잘 포착할 수 있다.
  • Low Frame Rate (프레임 수 적음):
    대신 프레임은 적게 뽑는다. 예: 1초에 한 장 정도만 사용. 왜냐면 "물체"는 빠르게 변하지 않기 때문
• Fast-Slot: 저해상도지만 높은 속도로 프레임을 뽑아, 시간에 따른 이벤트 중심 정보 (event-centric)를 추출
  
  • High Temporal Resolution (시간 해상도 높음):
    프레임을 빽빽하게(=T 큼) 뽑는다. 예: 30fps로 뽑기. 시간에 따라 어떻게 움직임이 바뀌는지 자세히 파악
  • Low Spatial Resolution (공간 해상도 낮음):
    대신 프레임 한 장 한 장의 크기는 줄임 (H, W를 작게). 빠른 처리와 요약을 위해서

이 둘을 합쳐서, 객체와 이벤트 모두를 잘 반영한 토큰을 생성하고, 이를 LLM에 전달해 영상에 대해 더 잘 "이해"하고 "대답"할 수 있도록 만드는 것이다.

용어	의미	예시	왜 쓰는가?
High Spatial Resolution	프레임 한 장당 해상도가 높음 (H, W 큼)	224×224 이미지	사물, 물체를 정확하게 보기 위해
Low Frame Rate	프레임을 적게 사용함 (T 작음)	1fps 샘플링	프레임 간 변화가 적은 객체 중심 분석
High Temporal Resolution	프레임을 많이 사용함 (T 큼)	30fps 샘플링	시간에 따라 변하는 행동/이벤트 분석
Low Spatial Resolution	프레임 해상도가 낮음 (H, W 작음)	32×32 이미지	빠르게 처리하고 변화 포착용

---

 

# Method