[25’ ICLR] VIDEOGRAIN: MODULATING SPACE-TIME ATTENTION FOR MULTI-GRAINED VIDEO EDITING

# Introduction

논문에서는 multi-grained video editing이라는 개념을 소개한다. 이는 편집의 세밀한 수준에 따라 class-level, instance-level, part-level의 세 가지로 구분된다. (Figure 2  왼쪽)

• Class-level editing은 동일한 클래스 내에서 객체를 교체하는 작업을 의미한다.
• Instance-level editing은 서로 다른 객체 인스턴스를 구분하고 수정하는 것이다.
• Part-level editing은 새로운 객체를 추가하거나 기존 객체의 속성(attribute)을 부분적으로 변경하는 작업을 포함한다.

 

기존의 방법들은 instance-agnostic(객체를 구분하지 못함)하기에 editing을 할 때 서로 다른 instance의 feature이 혼합된다.
Figure 2의 오른쪽을 보면, 최신 T2V 모델들은 multi-grained editing에는 취약한 면을 보인다.

 

이 문제를 해결하기 위해 본 논문은 다음 두 가지를 핵심 모티베이션으로 삼는다.

1. 텍스트로 특정 영역(region) 을 제어할 수 있는 text-to-region control을 가능하게 하고,
2. 영역 간 feature가 섞이지 않도록 feature separation을 유지하는 것이다.

일반적인 diffusion 모델에서

• Cross-attention layer는 text feature를 활용해 각 spatial region을 제어하고,
• Self-attention layer는 시간 축을 따라 프레임 간 토큰을 연결하며 global coherence을 형성한다.

하지만 기존 방식에는 다음과 같은 문제가 존재한다.

 

Cross-Attention Layer의 문제와 해결

• 문제점: 모든 프레임 토큰에 동일한 글로벌 텍스트 프롬프트가 적용되어,
  → 각 영역에 맞지 않는 의미적 불일치(semantic misalignment)가 발생한다.
• 해결책: 각 로컬 프롬프트(local prompt)가 그에 대응되는 공간 분리된 영역(spatially-disentangled region)에 집중할 수 있도록 cross-attention을 조정(amplify)하여, 불필요한 영역에 대한 주의를 억제한다.

 

Self-Attention Layer의 문제와 해결

• 문제점: 한 영역의 픽셀이 같은 클래스 내의 외부 영역이나 유사한 인접 영역까지 영향을 미쳐
  → feature coupling과 texture mixing이 발생한다.
• 해결책: self-attention이 intra-region (영역 내) 관계에 집중하고, inter-region (영역 간) 관계는 억제할 수 있도록 조정하여 → 각 query가 자신의 대상 영역(target region)에만 집중하도록 한다.

 

이러한 문제를 통합적으로 해결하기 위해, 우리는 Spatial-Temporal Layout-Guided Attention (ST-Layout Attn)을 제안한다.
이는 spacetime cross-attention과 self-attention을 함께 조절함으로써,
정확한 text-to-region control과 feature separation을 동시에 달성한다.

 

Contribution

- multi-grained video editing에 대한 첫 시도

- cross attention을 통해 text-to-region control을 하고, self-attention을 통해 feature separation을 하는 VideoGrain

- parameter tuning을 하지 않고도 SOTA 성능 도달

---

# METHOD

## 3.1 Motivation

본 논문은 DDIM Inversion과정에서 Self-Attention을 분석하였다.

각 프레임에서 self-attention feature을 K-Means로 클러스팅했을 때, semantic segmentation은 어느정도 되지만, 두 남자를 구분하는 것은 실패했다.
클러스터 수를 늘려도 개별 인스턴스를 분리하지 못하고 이는 instance-level editing이 어려운 이유를 보여준다.

또한, SDEdit을 사용해서 왼쪽 남자를 Iron Man, 오른쪽 남자를 Spiderman으로 edit하려고 했다.
그러나 cross-attention map을 보면 Iron Man과 Spiderman의 attention이 모두 왼쪽 남자에 집중되고, blossom의 attention은 오른쪽 남자에게까지 퍼져서 실패하였다.

따라서, 저자들은 다음과 같은 아이디어를 제시했다.
"각 지역(local)의 attention이 정확하게 분포되도록 조절할 수 있는가?"

 

이 문제를 해결하기 위해 VideoGrain이라는 방법 제안한다.

• (1) Cross-attention modulation: text embedding이 올바른 spatial region에 집중하도록 조절.
• (2) Self-attention modulation: 지역 내 focus는 높이고 지역 간 간섭은 줄이도록 설계.

 

---

## 3.3 Overall Framework

전체 파이프라인은 다음과 같다.

Input: Video frames $V$, Text prompt

Step 1: DDIM Inversion → Noisy latent $x_t$

• Clean latent $x_0$를 DDIM Inversion으로 역추론하여 $x_t$ 획득
• 이는 high-fidelity reconstruction을 위한 초기 단계

 

Step 2: Semantic layout condition $e$

• Self-attention features를 clustering하여 semantic layout 생성
• 하지만 3.1절에서 보았듯, self-attention만으로는 instance 구분이 불가능
• 따라서 SAM-Track을 활용해 각 인스턴스를 분리(segment)
• 필요에 따라 ControlNet condition $e$  적용 가능 (e.g., pose map or depth map for structural guidance)

Step 3. Spatial-Temporal Layout-Guided Attention

• Cross-attention과 self-attention 모두에 layout mask를 적용하여
  → 텍스트가 올바른 위치(region) 에 집중하도록 유도
  → 서로 다른 인스턴스 간 feature interference를 방지

Step 4: DDIM Denoising → Output frames $V'$

• 조절된 attention을 기반으로 최종 영상 생성

 

## 3.4 SPATIAL-TEMPORAL LAYOUT-GUIDED ATTENTION

Cross-attention은 가중치 분포가 편집 결과에 직접적인 영향을 주는 역할을 하고

Self-attention은 프레임 간 일관성을 유지하는 데 중요한 역할을 한다.

 

본 논문에서는 두 종류의 attention 모두에 대해 "긍정 쌍은 강조, 부정 쌍은 억제"하는 방식으로 score를 조절한다.

• 기존 attention score $QK^T$에 mask $M$을 더해서 modulation
• $\lambda$: modulation 강도를 조절하는 하이퍼파라미터
• 결과적으로 긍정 관계는 강조되고, 부정 관계는 약화됨

• $R_i$: 어떤 query-key 쌍이 positive pair인지 negative pair인지 알려주는 binary mask
• $M_i^{pos}$: 강조할 관계의 score
• $M_i^{neg}$: 억제할 관계의 score

즉, "강조할 쌍은 pos score 사용, 억제할 쌍은 neg score 사용"의 unified 포뮬레이션이다.

 

[Modulate Cross-Attention for Text-to-Region Control.]

Cross-attention에서는 텍스트 임베딩이 key/value로 사용되고, 비디오 latent에서 온 feature가 query로 사용된다.

그리고, 이 query가 어떤 key에 집중하냐에 따라, 어느 위치에 어떤 텍스트 조건이 반영될지 결정된다.

 

1. Attention Modulation Score 계산

• positive: 원래 attention score와 최대값의 차로 계산
  • --> 큰 attention score일수록 작게 나오므로, 양의 modulation으로 반영될 것
• negative: 원래 score에서 최소값을 빼서 음의 영향을 주도록 구성

 

2. 어떤 쌍이 positive/negative인가?

 

• $x$: query index (비디오 latent의 공간 위치)
• $y$: key index (텍스트 토큰 위치)
• $\tau_k$: 해당 텍스트가 타겟으로 하는 인스턴스
• $m_{i,k}$: 인스턴스 $k$의 마스크에서 위치 $x$가 속해 있는지 여부

--> 즉, 텍스트 $\tau_k$가 특정 인스턴스에 대응된다고 할 때, 그 인스턴스의 위치에만 positive modulation을 주고, 나머지는 0 처리 (negative)

 

 

[Modulate Self-Attention to Keep Feature Separation.]

기존 Text-to-Image(T2I) 모델은 단일 프레임만 보지만, 영상 편집에서는 여러 프레임을 보며 시간적인 일관성도 고려해야 한다. --> 그래서 spatial attention → spatial-temporal self-attention으로 확장함

하지만, 단순한 self-attention은 다른 인스턴스끼리 잘못 연결될 수 있다는 문제가 발생한다.

아래 그림을 봐도 self-attention modulation을 하기 전에는 두 인스턴스 간에 feature가 섞여버린 것을 발견할 수 있다.

 

이를 위해서 같은 instance 내에서 attention을 강화하고, 다른 instance 간에는 attention을 억제하는 구조를 설계한다.

• positive: 같은 인스턴스의 토큰들끼리 attention을 주게끔 강조
  --> max 기준으로 평준화하여 강하게 연결되도록 유도
• negative: 서로 다른 인스턴스 간의 attention은 줄이도록 조정
  --> min 기준으로 낮추도록 유도

 

• 만약 $x$와 $y$가 다른 인스턴스에 속하면 → 0 (attention 차단)
• 같은 인스턴스에 속하면 → 1 (attention 허용)

→ 즉, 이 mask는 인스턴스 간 경계를 명확히 하기 위한 바이너리 필터 역할

 

---

# Evaluation Result