픽셀 네이티브 RAG로 시각 문서 검색 시스템 만들기 — 텍스트 없이 이미지로 문서를 인덱싱하는 실전 가이드

RAG가 직면한 현실 문제

검색 증강 생성(RAG, Retrieval-Augmented Generation)은 외부 문서를 검색한 뒤 그 결과를 큰 언어 모델(LLM)에 함께 넣어 답변을 만드는 AI 프레임워크입니다. Google Cloud, AWS, IBM, NVIDIA 같은 주요 플레이어가 모두 RAG를 핵심 기술로 채택하면서 빠르게 표준이 되어가고 있습니다.

하지만 실제 문서 코퍼스에 RAG를 적용하려고 하면 곧바로 현실적 난관에 부딪힙니다.

• 사이트마다 HTML 구조가 달라 파서(parser) 코드가 모두 다릅니다.
• PDF, 스캔본, 팩스, 대시보드, 스프레드시트 등 형식이 제각각입니다.
• 표, 차트, 수식, 다단 레이아웃은 텍스트 추출 과정에서 정보가 훼손됩니다.
• 고정된 청킹 규칙은 문장이 두 조각으로 잘려 검색 정확도를 망가뜨립니다.

즉, 텍스트 추출 자체가 검색 품질의 병목이 되는 경우가 많습니다.

픽셀 네이티브 접근법이란?

픽셀 네이티브(Pixel-Native)란 문서를 텍스트로 바꾸지 않고, 처음부터 이미지 그대로 다루는 방식입니다. 사람은 책의 페이지를 OCR로 다시 타이핑하지 않아도 읽을 수 있듯이, AI 모델도 화면을 보는 것만으로 내용을 이해할 수 있습니다.

이 접근법의 핵심 통찰은 단순합니다.

픽셀 네이티브 RAG의 부수 효과는 의외로 큽니다. 표 구조, 그림, 수식, 코드 블록, 시각적 레이아웃이 모두 보존되기 때문에 단순한 텍스트 RAG가 놓치던 정보를 잘 잡아냅니다.

5단계 파이프라인 한눈에 보기

이 튜토리얼의 전체 파이프라인은 다음 다섯 단계로 요약됩니다.

1단계. 문서를 스크린샷 타일로 렌더링

먼저 모든 문서를 이미지로 만듭니다. 웹 페이지는 헤드리스 브라우저로, PDF는 PyMuPDF로 페이지별 비트맵으로 변환합니다. 브라우저가 동작하지 않는 환경을 위한 텍스트 폴백과 오프라인 PDF 합성기까지 함께 제공해 파이프라인이 어떤 상황에서도 멈추지 않도록 설계합니다.

그리고 한 페이지를 통째로 임베딩하지 않고 타일(tile)이라는 작은 단위로 분할합니다.

• 타일 크기: 가로 1024px
• 타일 높이: 1024px
• 수직 겹침(overlap): 128px
• 문서당 최대 타일 수: 12개

또한 공백만 있는 타일은 GPU에 보내기 전에 미리 버리고, 평균 해시(aHash)로 거의 비슷한 헤더·푸터도 중복 제거합니다.

2단계. 멀티모달 임베딩 생성

멀티모달 임베딩(Multimodal Embedding)은 텍스트, 이미지 등 서로 다른 종류의 데이터를 하나의 공유 의미 공간(임베딩 공간)에 매핑하는 기술입니다. 이렇게 하면 "텍스트로 이미지를 검색"하거나 "이미지로 텍스트 문서를 찾"는 크로스모달 검색이 가능해집니다.

이 튜토리얼에서는 세 가지 백엔드를 선택할 수 있습니다.

① Dual-Encoder (SigLIP / CLIP)

SigLIP(시지엘아이피, Sigmoid Loss for Language Image Pre-Training)은 Google이 제안한 이미지-텍스트 듀얼 인코더입니다. CLIP과 비슷하게 이미지와 텍스트를 같은 벡터 공간에 넣되, 배치의 모든 쌍을 한꺼번에 비교하는 소프트맥스 대신 시그모이드 손실을 사용해 더 가볍게 학습합니다. 기본값으로 google/siglip-base-patch16-224 모델을 사용합니다.

정직한 주의사항이 있습니다. SigLIP과 CLIP은 본래 자연 이미지와 짧은 캡션(64~77 토큰)으로 학습되었기 때문에, 스크린샷의 요지(레이아웃, 주제, 그림)는 이해하지만 세부 텍스트 한 줄 한 줄은 잘 읽지 못합니다.

② Qwen3-VL 임베딩 (옵션)

Qwen3-VL-Embedding-2B 같은 비전 언어 모델(VLM, Vision-Language Model) 백엔드는 약 8GB VRAM이 필요하지만, 스크린샷 안의 빽빽한 텍스트까지 훨씬 잘 처리합니다. "검색을 위해 이 문서 스크린샷을 묘사하세요." 같은 프롬프트로 이미지를 같은 벡터 공간에 정렬합니다.

③ 모든 타일에서 OCR 추출

하이브리드 검색을 위해 광학 문자 인식(OCR, Optical Character Recognition)으로 타일의 텍스트를 추출합니다. Tesseract OCR을 사용해 각 타일에서 실제 단어들을 뽑아 둡니다. 이렇게 얻은 텍스트는 BM25 인덱스의 입력으로 사용됩니다.

3단계. FAISS 벡터 인덱스 구축

임베딩이 끝나면 모든 벡터들을 벡터 데이터베이스(Vector Database)에 저장합니다. 벡터 데이터베이스는 고차원 벡터 간의 거리(코사인 유사도, 유클리드 거리 등)를 기반으로 가장 가까운 이웃을 빠르게 찾는 최근접 이웃 검색(ANN, Approximate Nearest Neighbor)에 특화된 데이터베이스입니다.

여기서는 Meta의 FAISS(Facebook AI Similarity Search)를 사용합니다. 임베딩을 L2 정규화한 뒤 내적(inner-product)을 계산하면 코사인 유사도와 같은 결과가 됩니다.

• 벡터 수가 적으면(2,000 미만) → Flat 인덱스로 정확 검색
• 벡터 수가 많으면 → IVF 인덱스로 근사 검색(nprobe 튜닝 필요)

또한 인코더를 다시 실행하지 않고도 벡터만 교체할 수 있도록 원시 벡터를 그대로 메모리에 보관합니다. 어댑터 학습 후 재투영(reproject)에 사용됩니다.

4단계. BM25 + RRF 하이브리드 검색

검색 시점에는 두 경로를 동시에 사용합니다.

① Dense 경로 — 의미 검색

쿼리를 임베딩 모델로 벡터화한 뒤 FAISS 인덱스에서 코사인 유사도가 가장 높은 타일을 찾습니다. "페이지 스크린샷 시 왜 겹치는 타일을 쓰는가" 같은 의도 기반 질문도 잘 잡힙니다.

② Sparse 경로 — 키워드 검색

OCR로 추출한 텍스트에 BM25(베스트 매칭 25, Okapi BM25)를 적용합니다. BM25는 흔한 단어의 영향을 줄이면서도 쿼리와 겹치는 단어가 많은 문단을 높은 점수로 올려주는 키워드 기반 랭킹 알고리즘입니다. Elasticsearch 5.0 이후 기본 알고리즘으로도 채택되어 있습니다.

③ Reciprocal Rank Fusion (RRF)으로 결합

두 경로의 점수 체계를 그대로 더하면 스케일이 달라 망가집니다. 대신 상호 순위 융합(RRF, Reciprocal Rank Fusion)을 사용해 각 결과의 순위만 가지고 융합합니다.

RRF 점수 = Σ (가중치 / (k + 순위))

여기서 k는 보통 60 정도로 둡니다. 튜닝이 거의 필요 없고, 점수 체계가 전혀 다른 두 검색 결과를 균형 있게 섞어 줍니다.

마지막으로 같은 문서 안의 여러 타일 점수를 max-pool로 합칩니다. 긴 페이지 안에 단 하나의 강한 타일만 있어도 그 문서가 표면으로 올라오게 됩니다.

5단계. 어댑터 학습과 VLM 답변 생성

잔차 어댑터(Residual Adapter) 학습

SigLIP/CLIP이 스크린샷의 세부 텍스트를 잘 읽지 못한다는 약점을 메우기 위해 대조 학습(Contrastive Learning)으로 작은 어댑터를 학습시킵니다.

대조 학습은 "비슷한 데이터는 임베딩 공간에서 가깝게, 다른 데이터는 멀게" 정렬하는 머신러닝 패러러다임입니다. 라벨 없이도 의미 있는 임베딩을 만들 수 있어 표현 학습의 주류 방법이 되었으며, CLIP과 SimCLR 같은 모델이 모두 이 방식으로 학습됩니다.

구체적인 학습 신호는 다음과 같습니다.

1. 각 타일의 OCR 텍스트에서 무작위로 문장 일부를 뽑아 의사 쿼리(pseudo-query)를 만든다.
2. 의사 쿼리를 임베딩한 벡터와 원래 타일 벡터를 InfoNCE 손실로 가깝게 끌어당긴다.
3. 같은 문서의 다른 타일은 음성 샘플로 두고 멀리 밀어낸다.

이 어댑터는 두 층짜리 잔차 MLP(Residual MLP)로, 가중치를 0으로 초기화했기 때문에 학습 초기에는 항등 함수입니다. 따라서 학습이 잘 안 되더라도 검색 결과가 갑자기 망가지지 않는 안전장치 역할도 합니다.

VLM으로 근거 기반 답변 생성

검색 결과로 나온 상위 타일 이미지를 비전 언어 모델(VLM, Vision-Language Model)에 그대로 넣어 답변을 생성합니다. 챗GPT, 제미나이 같은 생성형 AI에 시각 지능을 추가한 형태라고 생각하면 됩니다.

중요한 설계 원칙은 "검색은 픽셀을 반환하므로, 생성도 픽셀을 받아들여야 한다"는 점입니다. 텍스트로 환원했다가 다시 묘사하는 과정에서 정보 손실이 발생하기 때문입니다.

검색 품질 평가: Recall@k와 MRR

질적인 예시만으로는 시스템 개선 효과를 정량적으로 비교하기 어렵습니다. 튜토리얼에는 작은 평가용 벤치마크가 포함되어 있으며 다음 두 가지 지표를 사용합니다.

예시 벤치마크 결과(베이스라인)는 Recall@1 ≈ 0.43, MRR ≈ 0.65 수준에서 출발하며, 어댑터를 학습한 뒤에는 같은 데이터셋에서 MRR이 소폭 개선되는 것을 관찰할 수 있습니다. 작은 코퍼스에서는 변화가 미미할 수 있는데, 이는 어댑터 학습이 대규모 코퍼스에서 더 큰 효과를 내기 때문입니다.

마치며: 언제 픽셀 네이티브를 선택할까

픽셀 네이티브 RAG는 마법의 만능 도구는 아닙니다. 하지만 다음과 같은 상황에서는 매우 매력적인 선택지가 됩니다.

• 파서 작성을 위한 시간을 줄이고 싶을 때
• PDF·웹·스캔본이 뒤섞인 비정형 코퍼스를 다뤄야 할 때
• 표, 차트, 레이아웃 등 시각적 정보가 검색 결과의 정확도에 중요할 때
• 코드 한 줄로 검색 API까지 띄우고 싶을 때

반대로 이미 텍스트가 깔끔하게 추출되는 사내 위키 같은 환경에서는 전통적인 텍스트 RAG가 더 빠르고 가볍습니다.

이 튜토리얼의 진짜 가치는 "문서를 픽셀로 다루는 사고방식"에 있습니다. 렌더 → 타일 → 임베드 → FAISS → 서빙이라는 다섯 단계 파이프라인은 그대로 둔 채, 더 강력한 멀티모달 임베딩 모델로 백엔드만 교체하거나, 더 큰 코퍼스로 확장하거나, VLM 답변 생성까지 활성화하는 식으로 손쉽게 확장할 수 있습니다.

다음 글에서는 이 파이프라인을 실제 사내 문서 코퍼스에 적용하면서, BM25 가중치, tile_overlap, 어댑터 학습률을 함께 튜닝한 실험 결과를 공유할 예정입니다.