[24’ Neurlps] ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models

0. Abstract

— 학습 없이도 MLLM에 시각적 지시를 가능하게 만든 ControlMLLM

ControlMLLM은 멀티모달 대형 언어 모델(MLLM)에 추가 학습 없이 시각적 프롬프트(박스, 마스크, 점 등)를 주입하는 새로운 방법이다.
핵심은 attention 메커니즘을 활용해, 텍스트 토큰이 사용자가 지시한 시각적 영역에 주목하도록 시각 토큰을 테스트 시점에서만 최적화하는 것이다.

• 추가 학습 불필요: 파인튜닝 없이 적용 가능
• 정확한 영역 지시: attention을 제어해 referring 성능 향상
• 범용성: 다양한 입력 형식 지원 + 일반화 가능성 확인

---

1. Introduction

최근 Multimodal Large Language Models (MLLMs)은 텍스트와 이미지를 함께 처리하며 다양한 응용 분야에서 활약하고 있다. 그러나 대부분의 기존 MLLM은 이미지 전체 수준에서 정보를 정렬하는 coarse image-level alignment 방식에 의존한다.

이로 인해 세밀한 영역 설명이나 추론이 필요할 경우,
사용자 입력은 텍스트 프롬프트에만 의존해야 하고, 이는 이미지 속 복잡한 시각적 뉘앙스(intricate visual nuance)를 충분히 반영하지 못한다.

 

 

이를 보완하기 위해, 최근 연구들은 사용자가 박스, 포인트, 마스크 등 시각적 지시(referring input)를 직접 제공하는 방식을 도입했다. 이러한 접근은 보다 정밀한 시각-언어 정렬을 가능하게 하지만, 모델을 다시 학습해야 한다는 점에서 유연성이 떨어지고, 도메인이 바뀌거나 모델 구조가 달라질 경우 반복적인 재학습이 필요하다는 한계가 있다.

이 논문은 이러한 문제를 해결하기 위해, 추가 학습 없이 visual prompt를 MLLM에 주입하는 새로운 방법을 제안한다.
핵심 아이디어는, MLLM 디코더의 attention map이 텍스트 토큰과 시각 정보 간의 관계를 세밀하게 모델링하고 있다는 점에 착안하는 것이다.

기존 MLLM에서는 visual encoder에서 얻은 feature를 MLP를 통해 언어 공간으로 투영한 후, 해당 visual token을 디코더의 attention에 활용한다. 이때 MLP의 출력은 text token이 어떤 시각 정보에 주목할지를 간접적으로 제어하게 된다.

저자들은 이 구조적 특징을 활용해, visual token에 learnable한 latent variable을 추가하고, 이를 테스트 시점에서만 energy-based objective를 통해 최적화함으로써, attention map 내에서 사용자가 지정한 시각적 영역으로 모델의 주의를 효과적으로 유도한다.

이 방식은 별도의 fine-tuning이나 구조 변경 없이도, box, mask, scribble, point 등 다양한 형식의 시각적 입력을 지원하며, 도메인 일반화 및 해석 가능성 측면에서도 기존 방식과 비교해 경쟁력 있는 성능을 보여준다.

---

2. Related Works

Visual Prompt

Hard Visual Prompt: 이미지를 직접 조작하여 모델의 주의를 특정 부분에 집중시키는 방식

ex) 이미지 내 특정 영역을 색으로 강조(color guidance) / 마우스로 특정 위치를 클릭하거나, bounding box를 제공

장점) Training-Free: 별도의 학습 없이 사용 가능

단점) 이미지 구조가 훼손될 수 있음 (ex. 색 보정이 원래 정보를 왜곡) / 모델이 해당 시각적 지시를 이해할 수 있어야 함 → 기존 모델의 이해 능력에 의존

Soft Visual Prompt: 이미지로부터 유도된, 학습 가능한 벡터나 토큰을 프롬프트로 사용하는 방식

장점) 모델에 유연하게 통합 가능 / 다양한 downstream task에 맞게 fine-tune 가능

단점) fine-tuning이 필요함 (downstream task 데이터 요구) / Hard prompt처럼 명시적인 지역(region) 지시 불가능

항목	Hard Visual Prompt	Soft Visual Prompt	본 연구 (Latent Prompt)
입력 방식	이미지 직접 조작	학습 가능한 시각 토큰	Latent 벡터 최적화
학습 필요 여부	X (Training-free)	O 필요함	X (Test-time만 사용)
지역 유도 (Region Guidance)	가능	어려움	가능
구조 보존	손상될 수 있음	보존됨	보존됨

 

4. Method

4.1 Analysis of the Attention in LVLMs

" input과 output 사이의 관계에 영향을 미치는 요소가 무엇인가? " 이에 대해 분석한다.

MLLM은 visual prompt와 text prompt 사이에서 가장 가능성 높은 출력을 예측하는 모델이다.

모델은 텍스트 프롬프트를 조건(condition)으로 삼아, 이미지의 어떤 부분이 출력에 중요한지를 판단할 수 있다.

Figure 2의 그림(top line)에서 보면, Attention Layer마다 text token "hat"에 대해 visual token이 어디가 가장 많이 활성화되는지 보여주는 것으로부터 증명할 수 있다.

결론적으로, attention map은 (1) 모델의 출력이 이미지의 어떤 픽셀과 관련 있는지를 해석할 수 있게 해주고, (2) 더 나아가 모델이 출력할 내용을 유도하는 데에도 활용될 수 있다.

 

아이디어는, attention map을 수정함으로써 model의 output을 바꿀 수 있다는 것이다.

모델의 attention map에 직접적으로 가중치를 추가하여 특정 시각 영역 (visual token)의 중요도를 의도적으로 높였다.

(2)가 원래 MLLM의 수식이고, (4)가 본 논문의 수식이다.

관심 있는 영역(r)을 지정하고, 그 영역의 attention score을 η만큼 boost하고 나머지는 0으로 처리하는 binary mask를 더해준다고 생각하면 된다.

 

이때 당연하게도 η값을 어떻게 설정해줄지가 중요하다.

Figure 3은 값에 따라 Attention을 보여주고 있는데

η이 너무 작으면 Figure-3a처럼 잘못된 결과를 초래하고, 너무 크면 Figure-3c처럼 LLM모델 자체의 성능이 이상해질 수 있다.

추가로, inference 중 0번째 step(첫번째 attention layer)에서 text token의 영향이 제일 크기 때문에 이때 attention map을 조정하는게 좋다고 한다.

step by step으로 조절하는 것(Figure-3d)도 Figure-3c처럼 LLM모델 자체의 성능이 이상해진다.

 

대부분의 MLLM에서는 MLP layer가 image-text alignment를 학습한다.

다시 말해 LLM안에 들어가는 visual token이 attention map의 값을 결정하는 것이다.

(물론 text token도 영향을 미치지만, 이미지와 출력 사이의 관계성을 분석하고자 text token의 영향은 고려 대상에서 제외)

 

 

4.2 Manipulating Attention via Latent Variable Learning

4.1에 기반하여, energy function을 통해 learnable latent variable을 최적화하는 아이디어를 세웠다.

이제 어떤 attention map을 사용할지 결정해야 한다.

첫 번째 접근은, 각각의 text token과 모든 visual token 간의 attention map을 사용하는 것이다.

그러나 visual token은 소수의 text prompt만으로도 강한 연관성을 보이기 때문에, 모든 attention map을 사용하는 것은 계산적으로 비효율적이다.

또한 이러한 소수의 중요한 text token을 찾는 것은 쉽지 않다.

따라서 우리는 각 text prompt에 대해 생성된 attention map을 average pooling하여 global context token을 만들었다.

Figure 2에서 볼 수 있듯이, 이와 같은 방식으로 생성된 context token은 중요한 text token인 "hat"과 유사한 attention 분포를 보인다.

 

또한, 본 방법은 4가지 종류의 referring shape(box, mask, scribble, point)를 지원한다.

두 종류의 energy function을 사용하는데 box & mask에 대한 hard masked-based energy function과

scribble & point에 대한 soft masked-based energy function이다.

 

Hard Mask-based Energy Function (box, mask)

latent vector $p_v$을 $e_v$와 같은 차원을 만들어 0으로 초기화하고, $e_v$와 concat한다.

context token과 새로운 visual token사이의 $N$개의 attention layer을 구한다.

 box와 mask는 binary mask로 만든다.

그리고 $N$개의 attention map을 average pool하여 얻어낸 attention map과 mask에 기반한 mask-based energy function을 계산한다.

 

 

Soft Mask-based Energy Function (scribble, point)

SAM을 이용해 Hard Mask-based Energy function에 사용할 mask를 구한다

이게 inference cost를 증가시키므로, distance matrix $D$에 의한 optimal soft mask-based energy function을 제안한다.

$D$는 scribble이나 point에 대해 OpenCV distanceTransform function을 사용해서 얻는다.

 

 

---

5. Experiments

5.2 Applications

Referring with Different Visual Prompts. & Impact on Hallucinations.

다음 방법을 적용했을 때 대답을 더 정확하게 하는 것을 확인할 수 있었다.

Out-of-Domain Task.

 

 

5.3 Comparisons

Comparison on Referring Object Classification Task.

Comparison on Referring Text Classification Task.

 

+ Blur, + Color, + Edit Att 추가한 이유

LLaVA + Blur: Upper bound (최적 조건) 비교

• 배경을 흐리게 처리해서 모델이 자연스럽게 관심 영역에만 집중하도록 유도
• 성능이 높게 나옴 → LLaVA가 "무엇을 봐야 하는지"만 정확히 알면 좋은 성능을 낸다는 점을 보여줌
• 하지만 이건 현실적인 방법이 아니며, 실제 region이 명시되지 않으면 불가능함

--> “LLaVA가 시각적으로 도움만 받으면 잘 작동함”이라는 상한선을 제시

---

LLaVA + Color: 다른 hard visual prompt 방식과 비교

• 관심 영역을 색으로 강조 (예: 빨간색 box)
• 시각적으로 단순하지만 많은 기존 연구에서 자주 쓰이는 방식
• LLaVA의 기본 표현력과 결합할 때 어느 정도 유효하지만,
  → 구조 정보 손실, 해석의 불안정성 등의 한계 존재

--> 우리 방식이 color prompt보다 더 정교하고 안정적인 attention 유도 가능함을 보이기 위함

---

LLaVA + Edit Att: 이전 attention 직접 조작 방식과 비교 (baseline)

• Equation (4) 및 Figure-3b의 방법
• attention score에 η를 더해 직접 조작
• 본 논문이 비판하는 방식:
  • 지나치게 개입적이며
  • 표현력 손상을 유발
  • Figure 3(b, c, d)에서 부작용이 드러남

--> attention 직접 수정 방식의 한계를 실험적으로 보여주기 위해 포함

 

 

---

6. Limitations

1) inference overhead

: Ollama같은 툴이 해결해줄 수 있을 듯

2) white-box model에만 적용 가능하고 모델 그 자체의 성능에 영향을 미침

:이건 training-free니 어쩔 수 없지만 추후의 여러 foundation model에 적용 가능함

3) 하나의 region을 갖는 경우, single visual prompt에 대해서만 가능함

: multi는 future work로 확장할 수 있음

4) 단순한 최적화 전략이기에, 텍스트 프롬프트 선택이 결과에 영향을 주는데 그 부분을 제대로 다루지 못했음.

: 추후에 이쪽도 분석

 

 

---

🤔

사실 어떻게 보면 기존에 참여했던 t2i optimal transport로 attention map을 조정하는 것과 비슷한 아이디어가 등장했었다

diffusion에서는 잘 작동을 했는데 여기서는 어려운걸까 생각이 들었다.. 분포 조절해볼까 했는데