EasyOCR 커스텀 데이터셋에서 finetuning 하기 (1) - EasyOCR 모델 구조

https://github.com/JaidedAI/EasyOCR

GitHub - JaidedAI/EasyOCR: Ready-to-use OCR with 80+ supported languages and all popular writing scripts including Latin, Chines

 

EasyOCR이란?

EasyOCR은 PyTorch 기반의 오픈소스 OCR(Optical Character Recognition) 라이브러리로,

전 세계 80개 이상의 언어를 지원하며, 간단한 코드 한 줄로 이미지 속 텍스트를 읽어낼 수 있는 매우 직관적인 OCR 도구이다.

 

---

파이프라인

 

위 그림은 EasyOCR의 end-to-end 파이프라인을 도식화한 것이다.

1️⃣ Pre-Process
: 이미지 크기 조정, 색상 정규화 등 기본 전처리 수행

2️⃣ Detection (CRAFT)
: 텍스트가 어디에 있는지를 찾는 단계
: 탐지된 영역은 bounding box로 출력되어 recognition 단계로 전달

3️⃣ Mid-Process
: Bounding Box를 기준으로 crop
: Recognition 모델에 넣기 위한 정렬과 리사이징 수행

4️⃣ Recognition (CNN + LSTM + CTC)
: cropped 이미지 → 문자열로 변환
: CNN > 이미지 특징 추출, BiLSTM > 시퀀스 모델링, CTC > Connectionist Temporal Classification loss로 학습

5️⃣ Decoder (Greedy or Beam Search)
: 예측된 시퀀스를 문자열로 변환

6️⃣ Post-Process
: 예측 결과 정렬하고 Confidence Threshold 적용

 

EasyOCR에서 커스터마이징 가능한 영역은 그림에서 표시된 회색 부분으로, 아래와 같다.

구성 요소	변경 가능 여부	설명
Detection	가능 (CRAFT 외 모델 사용)	특정한 배경이나 텍스트 위치에 맞게 튜닝 가능
Recognition	가능 (Fine-tuning or custom 학습)	대부분의 커스텀 OCR 작업에서는 이 부분만 수정
Decoder	가능	Greedy, BeamSearch, Attention 기반 디코더 등 교체 가능

 

---

 

나의 경우에는, 일단 Recognition 부분만 finetuning해서 모델의 성능을 올릴 생각이다.

+ 참고로 원래 성능이 더 좋다고 알려진 paddleocr finetuning을 시도했는데 버전에 따라 코드가 안 돌아가는 오류가 많이 생겼다. 그리고 document도 중국어 위주로 되어 있어서 포기했다. 익숙한 tool인 pytorch를 사용할 수 있는 easyocr이 더 적합했다.