Tech blog

1. Introduction 배경프롬프트 튜닝(Prompt Tuning)은 원래 자연어처리(NLP) 분야에서 대규모 파운데이션 모델을 효율적으로 적응시키기 위한 방법으로 도입되었으며, 이후 비전 분야로 확장되었다.현재는 이미지 분류, 객체 탐지, 분할 등 다양한 비전 태스크에 적용되어 전체 파라미터를 재학습하는 방식보다 훨씬 가볍고 효과적인 방법으로 자리잡고 있다.그러나 프롬프트 튜닝에는 여전히 중요한 과제가 존재한다.바로, 사전학습 데이터와 파인튜닝 데이터 간의 도메인 차이가 클수록 성능이 급격히 저하된다는 점이다.이 문제는 프롬프트 튜닝의 범용성을 제한하며,연구자들에게 “프롬프트 튜닝은 다양한 도메인 간 일반화가 가능한가?”라는 근본적인 질문을 던지게 만든다. 인간 시각 인지에서 영감을 얻다연구팀은 ..

0. Abstract최근 대형 언어 모델(LLM)의 폭발적인 발전과 함께, 그 능력을 시각 영역으로 확장하려는 시도가 활발히 이루어지고 있다.VLM(Vision-Language Model)은 고수준의 텍스트 설명만으로 이미지를 생성하거나, 시각적 장면을 언어로 이해하는 등우리의 기술 환경에 큰 변화를 가져올 응용 가능성을 보여주고 있다.하지만 시각 정보는 언어와 달리 고차원 연속 공간에 존재하며, 개념을 명확히 구분하거나 표현하기 어렵다는 근본적인 특성이 있다. 따라서 시각 정보를 언어로 정확히 연결(mapping)하는 데에는 여전히 많은 기술적 과제가 남아 있다.본 논문은 이러한 배경 속에서, VLM의 개념과 학습 방법, 평가 방법을 소개하는 입문서로 기획되었다.특히 이미지를 넘어서 비디오까지 확장되는..

문제 수현이는 일년의 날짜가 1일부터 365일로 표시되어있는 달력을 가지고있다. 수현이는 너무나도 계획적인 사람이라 올 해 일정을 모두 계획해서 달력에 표시해놨다. 여름이 거의 끝나가자 장마가 시작되었고, 습기로 인해 달력에 표시한 일정이 지워지려고 한다. 지워지는 것을 막고자 수현이는 일정이 있는 곳에만 코팅지를 달력에 붙이려고 한다. 하지만 너무 귀찮았던 나머지, 다음과 같은 규칙을 따르기로 한다.연속된 두 일자에 각각 일정이 1개 이상 있다면 이를 일정이 연속되었다고 표현한다.연속된 모든 일정은 하나의 직사각형에 포함되어야 한다. 연속된 일정을 모두 감싸는 가장 작은 직사각형의 크기만큼 코팅지를 오린다.달력은 다음과 같은 규칙을 따른다.일정은 시작날짜와 종료날짜를 포함한다.시작일이 가장 앞선 일정부..