Contextual Retrieval

Contextual Retrieval은 Anthropic이 2024년에 발표한 RAG (Retrieval-Augmented Generation) 시스템의 검색 정확도를 개선하는 기법이다.

개요

전통적인 RAG 시스템은 문서를 작은 청크(chunk)로 분할할 때 맥락 정보가 손실되는 문제를 겪는다. Contextual Retrieval은 각 청크를 임베딩하거나 인덱싱하기 전에 문맥 정보를 추가하여 이 문제를 해결한다.

핵심 기술

1. Contextual Embeddings (맥락적 임베딩)

각 청크에 대해 LLM을 호출하여 전체 문서의 맥락을 반영한 설명을 추가한다.

변환 예시:

• 원본 청크: “회사의 매출은 전 분기 대비 3% 성장했다.”
• 맥락화된 청크: “이 청크는 ACME 코퍼레이션의 2023년 2분기 실적에 관한 SEC 보고서에서 발췌한 것이다. 이전 분기의 매출은 3억 1,400만 달러였다. 회사의 매출은 전 분기 대비 3% 성장했다.”

2. Contextual BM25

BM25 알고리즘에도 동일한 맥락화 기법을 적용하여 키워드 기반 검색의 정확도를 향상시킨다.

3. 하이브리드 검색

임베딩 기반의 시맨틱 검색과 BM25 기반의 키워드 검색을 결합한다:

1. 문서를 청크로 분할
2. 각 청크에 대해 TF-IDF 인코딩과 시맨틱 임베딩 생성
3. BM25로 정확한 매칭 기반 상위 청크 검색
4. 임베딩으로 의미론적 유사도 기반 상위 청크 검색
5. Rank fusion 기법으로 결과 결합 및 중복 제거
6. 상위 K개 청크를 프롬프트에 추가하여 응답 생성

구현 방법

프롬프트 템플릿

Anthropic은 Claude를 사용하여 다음과 같은 프롬프트로 맥락을 생성한다:

<document>
{{WHOLE_DOCUMENT}}
</document>
Here is the chunk we want to situate within the whole document
<chunk>
{{CHUNK_CONTENT}}
</chunk>
Please give a short succinct context to situate this chunk within the overall document for the purposes of improving search retrieval of the chunk.
Answer only with the succinct context and nothing else.

프롬프트 캐싱

문서 청크를 캐싱하여 반복적인 처리를 최소화함으로써 API 사용 비용을 크게 절감할 수 있다¹.

성능 향상

Contextual Retrieval은 다양한 지식 도메인(코드베이스, 소설, ArXiv 논문, 과학 논문)에서 테스트되었으며, “1 minus recall@20” 메트릭으로 평가되었다:

• Contextual Embeddings 단독: 검색 실패율 35% 감소 (5.7% → 3.7%)
• Contextual Embeddings + Contextual BM25: 검색 실패율 49% 감소
• 리랭킹 추가: 검색 실패율 67% 감소 (5.7% → 1.9%)

주요 고려사항

청크 설정

• 청크 크기: 문서 특성에 따라 적절한 크기 선택
• 청크 경계: 의미 단위를 고려한 분할
• 청크 개수: 20개의 청크가 가장 효과적으로 확인됨

임베딩 모델

Gemini와 Voyage 임베딩이 특히 효과적인 것으로 나타났다.

적용 제외 조건

지식 베이스가 200,000 토큰(약 500페이지) 미만인 경우, RAG 없이 전체 내용을 프롬프트에 직접 포함하는 것이 더 효율적이다.

주요 이점

1. 맥락 보존: 청크 분할 시 손실되는 문맥 정보 보완
2. 정확도 향상: 시맨틱 검색과 키워드 검색의 장점 결합
3. 비용 효율: 프롬프트 캐싱으로 구현 비용 절감
4. 모델 독립적: 다양한 AI 모델에 적용 가능
5. 확장성: 다양한 문서 유형과 도메인에 적용 가능

참고 자료

• Introducing Contextual Retrieval - Anthropic
• Magic Behind Anthropic’s Contextual RAG for AI Retrieval - Analytics Vidhya

Footnotes

1. Anthropic의 프롬프트 캐싱 기능을 사용하면 전체 문서를 여러 청크에 대해 반복적으로 전달할 때 비용을 절감할 수 있다. ↩