[25' CVPR] DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation

# Introduction

DiTCtrl: 프롬프트마다 장면이 바뀌는 자연스러운 영상 생성, 훈련 없이도 가능하다?

영상 생성 AI가 점점 더 똑똑해지고 있다. 텍스트를 입력하면 영상 전체를 만들어주는 Text-to-Video(T2V) 모델은 Sora 같은 모델을 통해 이미 큰 주목을 받고 있다. 하지만 아직 해결되지 않은 중요한 문제가 하나 있다.

바로 “다양한 프롬프트에 따라 장면이 바뀌는 자연스러운 긴 영상”을 만드는 것이다.

왜 멀티 프롬프트 영상 생성은 어려울까?

현재 대부분의 T2V 모델은 하나의 프롬프트에 대해 하나의 짧은 영상을 생성하도록 훈련되어 있다. 그래서 여러 프롬프트를 순서대로 넣으면 영상이 툭툭 끊기듯 이어지지 않고, 프롬프트를 하나로 합쳐도 각각의 장면 전환이 자연스럽지 않게 나타난다.

예를 들어 “a man running → the man jumps → the man flies”와 같은 여러 개의 이벤트를 순차적으로 표현하려 하면, 각각의 프롬프트에 맞는 영상은 만들어지지만 사이의 연결이 어색하거나 단절되어 버린다.

기존 시도들은 있긴 했지만, 대부분 UNet 기반이었고 모델을 처음부터 다시 훈련해야 했다. 이는 계산량도 많고, 데이터도 많이 필요했다.

 

DiTCtrl: 훈련 없이 자연스러운 멀티 프롬프트 영상 만들기

이번에 소개할 DiTCtrl은 이런 문제를 해결하기 위해 제안된 새로운 방법이다.

핵심 아이디어는 간단하다:

멀티 프롬프트 영상 생성 문제를 "시간에 따른 편집 + 전환" 두 단계로 나눠 해결한다:

1. Video Editing over Time: 프롬프트가 바뀔 때, 기존 영상에서 자연스럽게 내용을 바꾸는 편집.
2. Video Transition over Time: 프롬프트가 바뀔 때, 장면 전환이 부드럽게 이어지도록 만들기.

 

 어떻게 해결했을까?

DiTCtrl은 MM-DiT라는 새로운 구조를 기반으로 한다. 이 구조는 이미지를 만드는 Transformer 모델(예: Stable Diffusion 3, FLUX)처럼, 텍스트와 영상을 하나의 시퀀스로 정렬하여 처리하는 멀티모달 디퓨전 트랜스포머이다.

DiTCtrl에서는 이 구조의 attention module을 활용하여 두 가지를 한다:

• KV-Sharing: 서로 다른 프롬프트에서 생성된 클립 사이에 Key-Value 정보를 공유함으로써, 객체의 정체성을 유지하고 내용의 일관성을 확보한다.
• Latent Blending: 클립과 클립 사이를 잠재 공간에서 자연스럽게 섞어서 전환을 부드럽게 만든다.

이 두 가지 조작만으로도 별도 훈련 없이, 기존 모델 그대로 멀티 프롬프트 영상을 생성할 수 있게 된 것이다.

 

MPVBench: 멀티 프롬프트 성능 평가도 새롭게

DiTCtrl은 성능을 검증하기 위해 새로운 벤치마크도 제안했다. 이름은 MPVBench (Multi-Prompt Video Benchmark).

이 벤치마크는 다음과 같은 특징을 갖는다:

• 다양한 유형의 전환(예: 인물 전환, 배경 변화 등)
• 멀티 프롬프트 특화 평가 지표 제공 (일관성, 부드러움, 전환 품질 등)

실험 결과, DiTCtrl은 기존 방식보다 더 자연스럽고 일관된 영상을 생성하면서도, 추가 훈련 없이 효율적으로 동작했다.

---

# Method