Tech blog

1. Introduction 배경프롬프트 튜닝(Prompt Tuning)은 원래 자연어처리(NLP) 분야에서 대규모 파운데이션 모델을 효율적으로 적응시키기 위한 방법으로 도입되었으며, 이후 비전 분야로 확장되었다.현재는 이미지 분류, 객체 탐지, 분할 등 다양한 비전 태스크에 적용되어 전체 파라미터를 재학습하는 방식보다 훨씬 가볍고 효과적인 방법으로 자리잡고 있다.그러나 프롬프트 튜닝에는 여전히 중요한 과제가 존재한다.바로, 사전학습 데이터와 파인튜닝 데이터 간의 도메인 차이가 클수록 성능이 급격히 저하된다는 점이다.이 문제는 프롬프트 튜닝의 범용성을 제한하며,연구자들에게 “프롬프트 튜닝은 다양한 도메인 간 일반화가 가능한가?”라는 근본적인 질문을 던지게 만든다. 인간 시각 인지에서 영감을 얻다연구팀은 ..

0. Abstract최근 대형 언어 모델(LLM)의 폭발적인 발전과 함께, 그 능력을 시각 영역으로 확장하려는 시도가 활발히 이루어지고 있다.VLM(Vision-Language Model)은 고수준의 텍스트 설명만으로 이미지를 생성하거나, 시각적 장면을 언어로 이해하는 등우리의 기술 환경에 큰 변화를 가져올 응용 가능성을 보여주고 있다.하지만 시각 정보는 언어와 달리 고차원 연속 공간에 존재하며, 개념을 명확히 구분하거나 표현하기 어렵다는 근본적인 특성이 있다. 따라서 시각 정보를 언어로 정확히 연결(mapping)하는 데에는 여전히 많은 기술적 과제가 남아 있다.본 논문은 이러한 배경 속에서, VLM의 개념과 학습 방법, 평가 방법을 소개하는 입문서로 기획되었다.특히 이미지를 넘어서 비디오까지 확장되는..

0. Abstract기존의 visual recognition 연구는 딥 뉴럴 네트워크(DNN)를 각 visual recognition task 마다 별도로 학습시켜야 했다.--> 이는 대규모의 수작업 라벨 데이터에 의존하며 많은 시간과 인력 자원이 소모되는 구조이러한 문제를 해결하기 위해 최근 주목받고 있는 것이 바로 Vision-Language Models (VLMs)이다.VLM은 (1) 웹에서 거의 무한히 얻을 수 있는 대규모 이미지-텍스트 쌍을 활용하여 시각-언어 간의 풍부한 상관관계를 학습하며,(2) 단 하나의 모델로 다양한 visual recognition task에 대해 제로샷(Zero-Shot) 예측이 가능하다는 강점을 가진다.이 논문은 VLM을 기반으로 한 시각 인식 기술에 대해 다음과 같..

QLoRA: 16-bit의 성능을 유지하면서 65B개의 파라미터를 가진 모델을 Single 48GB GPU에 올려 finetuning 할 수 있게 한다.# ContributionQLoRA 방법론1. 4-bit NormalFloat(NF4): 정규분포된 가중치에 대해 정보 이론적으로 최적인 새로운 데이터 타입2. Double Quantization: 양자화 상수를 다시 양자화함으로써 평균 메모리 사용량 절감3. Paged Optimizers: 메모리 사용량이 급증하는 상황을 효과적으로 제어# IntroductionLLM을 Finetuning 하는건 특정 도메인에서의 성능을 향상시키기 위해 필요한 과정이다.기존에는 16-bit finetuning을 하기 위해서는 LLaMA 65B 기준으로, 780GB 크기의..

# Base Model, Instruct Model Base Model: 단순히 다음 토큰 예측이라는 목표로 사전 학습만을 거친 모델Instruct Model: 특정한 목적의 태스크를 수행하도록 별도의 파인튜닝을 거친 모델 아래 사진처럼,아무것도 붙어있지 않으면 base이고 instruct 모델은 뒤에 Instruct, it, chat 등 뭔가 추가로 붙어 있다. 쉽게 말하면 GPT와 ChatGPT 같은 느낌이다.ChatGPT도 원래는 InstructGPT라는 모델을 베이스로 하는데,이 모델이 바로 사용자의 입력에 맞는 적절한 응답을 생성하도록 별도로 학습이 된 모델이다.물론 본질적으로 다음 토큰을 예측한다는 사실은 변하지 않지만,사전 학습만 된 Base Model은 말 그대로, 입력이 질문인지 아닌지에..

0. Abstract1. 많은 Gaussian들이 similar parameters를 공유한다는 점을 발견했다2. 따라서, Gaussian parameters를 quantize하기 위해 K-means 기반의 vector quantization 방법론을 제시한다.이때 각각의 Gaussian의 코드 index와 함께 codebook을 저장한다.추가로 인덱스는 정렬한 후 run-length encoding과 비슷한 방법론을 사용함으로써 압축한다.3. Gaussian 수를 줄이기 위해 zero opacity (invisible Gaussian)을 장려하는 regularizer도 제안한다.이 방법은 모델을 압축하고 rendering 속도를 빠르게 하는데 효과적이다.4. 결론적으로 기존 3DGS에 비해 성능은 약간..

K-means has two steps: updating centroids given assignments, and updating assignments given centroids. We note that the latter is more expensive while the former is a simple averaging. Hence, we update the centroids after each iteration and update the assignments once every t iterations.출처) Compact3D: Smaller and Faster Gaussian Splatting with Vector Quantization 논문을 읽다가 왜 그렇지? 이해가 잘 안되는 부분이 있어서..

2024년 3월에 arxiv에 올라온 논문으로,기존에 3DGS의 가우시안 수 혹은 차원을 줄이기 위한 시도들(LightGaussian, Compact3DGS 등..)의 한계를 언급하며새로운 아이디어를 주장한다는 점에서 흥미로워 읽게 되었다.  Mini-Splatting: Representing Scenes with a Constrained Number of GaussiansIn this study, we explore the challenge of efficiently representing scenes with a constrained number of Gaussians. Our analysis shifts from traditional graphics and 2D computer vision to t..

3DGS 논문을 읽다가 수식을 보고 든 궁금증이다. 먼저, world 좌표계에서 covariance matrix(공분산행렬)은,(1) 크기변환행렬(scaling matrix) S와 (2) 회전변환행렬(rotation matrix) R을 이용해서 $$\sum = RSS^{T}R^{T}$$다음과 같은 식으로 변환한다. 또한, image 좌표계에서 공분산행렬은,(1) world좌표계에서 camera좌표계로 변환하는 viewing transform과 (2) camera좌표계에서 image좌표계로 변환하는 projective transformation에 대한 아핀근사의 Jacobian을 이용해서 $$  \sum^{'} = JW \sum W^{T}J^{T} $$위의 식으로 표현한다.  두 식을 살펴보면 왜 전치행렬..

Radsplat 논문을 읽다가 3DGS의 한계점으로,휴리스틱 기법으로 인해 optimization하기 어렵다는 얘기가 있었다.3DGS, however, suffers from a challenging optimization landscape and an unbounded model size.The number of Gaussian primitives is not known as a priori, and carefully-tuned merging, splitting, and pruning heuristics are required to acheive satisfactory results.The brittlenenss of these heuristics become particularly evident in..