OpenSearch RRF (Reciprocal Rank Fusion)

개요

OpenSearch의 RRF(Reciprocal Rank Fusion)는 하이브리드 검색에서 여러 쿼리의 결과를 순위 기반으로 결합하는 기능이다. OpenSearch 2.19에서 score-ranker-processor의 일부로 도입되었으며¹, Neural Search 플러그인을 통해 제공된다.

RRF는 점수(score) 대신 순위(rank)를 기반으로 결과를 결합하여, 서로 다른 검색 방식(키워드 검색, 벡터 검색 등)의 점수 스케일 차이 문제를 해결한다.

배경

기존 하이브리드 검색의 한계

OpenSearch 2.10부터 지원된 하이브리드 검색은 normalization-processor를 사용하여 점수를 정규화하고 결합했다. 이 방식은 다음과 같은 문제가 있었다:

• 점수 정규화의 복잡성: Min-max, L2 등 정규화 기법 선택 필요
• 이상치 민감성: 극단적인 점수 값이 결과를 왜곡
• 가중치 조정 필요: 각 검색 방식의 가중치를 수동으로 튜닝

RRF의 해결책

RRF는 점수가 아닌 순위를 기반으로 결과를 결합하여:

• 점수 정규화 불필요
• 이상치에 강건
• 파라미터 튜닝 최소화 (기본값 k=60)

작동 원리

RRF 공식

각 문서의 최종 점수는 다음과 같이 계산된다:

$$\text{RRF}(d)=\sum _{q\in Q}\frac{1}{k+{\text{rank}}_q(d)}$$

여기서:

• $d$ = 문서
• $Q$ = 쿼리 집합 (hybrid query의 서브쿼리들)
• $k$ = 순위 상수 (기본값: 60)
• ${\text{rank}}_q(d)$ = 쿼리 $q$에서 문서 $d$의 순위 (1부터 시작)

예시

하이브리드 쿼리 구성:

• 쿼리 1 (BM25): 문서 A(1위), 문서 B(2위), 문서 C(3위)
• 쿼리 2 (Neural): 문서 C(1위), 문서 A(2위), 문서 D(3위)

RRF 점수 계산 (k=60):

• 문서 A: $\frac{1}{60+1}+\frac{1}{60+2}=0.0164+0.0161=0.0325$
• 문서 B: $\frac{1}{60+2}+0=0.0161$
• 문서 C: $\frac{1}{60+3}+\frac{1}{60+1}=0.0159+0.0164=0.0323$
• 문서 D: $0+\frac{1}{60+3}=0.0159$

최종 순위: A → C → B → D

구성 방법

1. Search Pipeline 생성

RRF를 사용하려면 먼저 score-ranker-processor를 포함하는 search pipeline을 생성해야 한다.

기본 설정 (k=60)

PUT /_search/pipeline/rrf-pipeline
{
  "description": "RRF 기반 하이브리드 검색 파이프라인",
  "phase_results_processors": [
    {
      "score-ranker-processor": {
        "combination": {
          "technique": "rrf"
        }
      }
    }
  ]
}

커스텀 rank constant

PUT /_search/pipeline/rrf-pipeline
{
  "description": "커스텀 rank constant를 사용하는 RRF",
  "phase_results_processors": [
    {
      "score-ranker-processor": {
        "combination": {
          "technique": "rrf",
          "rank_constant": 40
        }
      }
    }
  ]
}

rank_constant의 역할:

• 값이 작을수록: 상위 문서의 영향력 증가 (순위 차이 강조)
• 값이 클수록: 순위 간 점수 차이 평탄화 (균등한 영향)
• 제약: 1 이상이어야 함

가중치 적용

서브쿼리마다 다른 가중치를 부여할 수 있다 (기본값은 모두 1.0):

PUT /_search/pipeline/weighted-rrf-pipeline
{
  "description": "가중치가 적용된 RRF",
  "phase_results_processors": [
    {
      "score-ranker-processor": {
        "combination": {
          "technique": "rrf",
          "rank_constant": 60,
          "parameters": {
            "weights": [0.7, 0.3]
          }
        }
      }
    }
  ]
}

위 예시에서:

• 첫 번째 쿼리 (예: BM25): 가중치 0.7
• 두 번째 쿼리 (예: Neural): 가중치 0.3

2. 하이브리드 쿼리 실행

생성한 pipeline을 사용하여 하이브리드 쿼리를 실행한다.

BM25 + Neural Search

GET /my-index/_search
{
  "query": {
    "hybrid": {
      "queries": [
        {
          "match": {
            "content": "OpenSearch vector search"
          }
        },
        {
          "neural": {
            "content_embedding": {
              "query_text": "OpenSearch vector search",
              "model_id": "your-model-id",
              "k": 10
            }
          }
        }
      ]
    }
  },
  "search_pipeline": "rrf-pipeline"
}

여러 검색 방식 결합

GET /my-index/_search
{
  "query": {
    "hybrid": {
      "queries": [
        {
          "match": {
            "title": "machine learning"
          }
        },
        {
          "neural": {
            "embedding": {
              "query_text": "machine learning",
              "model_id": "model-id"
            }
          }
        },
        {
          "neural_sparse": {
            "sparse_embedding": {
              "query_text": "machine learning",
              "model_id": "sparse-model-id"
            }
          }
        }
      ]
    }
  },
  "search_pipeline": "weighted-rrf-pipeline"
}

사용 사례

1. 키워드 + 의미 검색

시나리오: 정확한 키워드 매칭과 의미적 유사성을 모두 고려

{
  "query": {
    "hybrid": {
      "queries": [
        {
          "multi_match": {
            "query": "OpenSearch",
            "fields": ["title^2", "content"]
          }
        },
        {
          "neural": {
            "content_embedding": {
              "query_text": "OpenSearch",
              "model_id": "dense-model"
            }
          }
        }
      ]
    }
  },
  "search_pipeline": "rrf-pipeline"
}

효과:

• BM25가 “OpenSearch” 키워드를 정확히 포함한 문서 우선
• Neural search가 “Elasticsearch”, “vector database” 등 관련 개념 포함

2. Sparse + Dense 벡터 검색

시나리오: 희소 벡터와 밀집 벡터의 장점 결합

{
  "query": {
    "hybrid": {
      "queries": [
        {
          "neural_sparse": {
            "sparse_embedding": {
              "query_text": "vector similarity search",
              "model_id": "opensearch-neural-sparse-encoding-v2"
            }
          }
        },
        {
          "neural": {
            "dense_embedding": {
              "query_text": "vector similarity search",
              "model_id": "sentence-transformers"
            }
          }
        }
      ]
    }
  },
  "search_pipeline": "rrf-pipeline"
}

효과:

• Sparse: 명시적 단어 매칭 + term expansion
• Dense: 깊은 의미적 유사성

3. 다중 필드 검색

시나리오: 제목과 본문에 서로 다른 검색 전략 적용

{
  "query": {
    "hybrid": {
      "queries": [
        {
          "match": {
            "title": {
              "query": "OpenSearch tutorial",
              "boost": 2.0
            }
          }
        },
        {
          "match": {
            "content": "OpenSearch tutorial"
          }
        },
        {
          "neural": {
            "content_embedding": {
              "query_text": "OpenSearch tutorial",
              "model_id": "model-id"
            }
          }
        }
      ]
    }
  },
  "search_pipeline": "weighted-rrf-pipeline"
}

RRF vs Normalization

OpenSearch 2.10~2.18에서 사용된 normalization 방식과 비교:

측면	Normalization	RRF
기반	점수(score)	순위(rank)
정규화	필요 (min-max, L2 등)	불필요
이상치 영향	높음	낮음
파라미터 튜닝	복잡 (기법, 가중치)	단순 (k 값)
투명성	낮음 (점수 변환)	높음 (순위 기반)
도입 버전	2.10	2.19
3.0 추가 기능	Z-score normalization 추가	계속 지원

언제 RRF를 사용할까?

RRF 권장 상황:

• 서로 다른 점수 스케일의 검색 방식 결합
• 파라미터 튜닝 시간이 제한적인 경우
• 강건한 검색 결과가 중요한 경우
• 순위가 점수보다 신뢰할 만한 경우

Normalization 고려 상황:

• 점수 자체의 의미가 중요한 경우
• 매우 세밀한 가중치 조정이 필요한 경우
• 특정 정규화 기법에 대한 도메인 지식이 있는 경우

모범 사례

1. rank_constant 선택

{
  "combination": {
    "technique": "rrf",
    "rank_constant": 60  // 기본값, 대부분의 경우 적합
  }
}

• k=60: 대부분의 경우 권장 (원 논문 기준)
• k=20~40: 상위 문서 영향력 증가, 명확한 관련성 차이 있을 때
• k=80~100: 순위 간 차이 완화, 탐색적 검색

2. 가중치 설정

{
  "combination": {
    "technique": "rrf",
    "parameters": {
      "weights": [0.6, 0.4]  // BM25: 60%, Neural: 40%
    }
  }
}

가중치 결정 기준:

• 키워드 중심 도메인 (법률, 기술 문서): BM25 가중치 높임 (0.7~0.8)
• 의미 중심 도메인 (뉴스, 블로그): Neural 가중치 높임 (0.6~0.7)
• 균형 접근: 동일 가중치 (0.5, 0.5) 또는 생략 (기본값 1.0)

3. 쿼리 순서

{
  "hybrid": {
    "queries": [
      { "match": { ... } },      // 1번: BM25 (가중치 weights[0])
      { "neural": { ... } }       // 2번: Neural (가중치 weights[1])
    ]
  }
}

중요: weights 배열의 순서는 queries 배열 순서와 일치해야 함.

4. 성능 최적화

인덱스 크기에 따른 전략:

• 소형 인덱스 (< 100만 문서): 모든 쿼리 동등하게 실행
• 대형 인덱스 (> 1000만 문서):
  • BM25로 1차 필터링 (상위 1000개)
  • Neural로 2차 정밀 검색
  • RRF로 최종 순위 결정

제한사항

1. 버전 요구사항

• OpenSearch 2.19 이상 필요
• Neural Search 플러그인 설치 필수

2. 쿼리 제약

• hybrid 쿼리 타입 사용 필수
• 각 서브쿼리는 독립적으로 실행 가능해야 함
• 일부 쿼리 타입과 호환 불가 (bool 쿼리 내부 등)

3. 가중치 제약

• 가중치 배열 길이는 쿼리 개수와 동일해야 함
• 가중치는 양수여야 함 (음수 불가)
• 가중치 합이 1일 필요는 없음 (자동 정규화)

관련 기술

• RRF (Reciprocal Rank Fusion)
• OpenSearch Neural Sparse Search
• 희소 벡터와 밀집 벡터
• BM25
• Learned Sparse Retrieval

참고 자료

공식 문서

• Score ranker processor - OpenSearch Documentation
• Hybrid search - OpenSearch Documentation
• Normalization processor - OpenSearch Documentation

블로그 및 튜토리얼

• Explore OpenSearch 2.19 - OpenSearch
• Improve search relevance with hybrid search - OpenSearch
• Hybrid Search with Amazon OpenSearch Service - AWS Blog

GitHub

• RFC: Design for Incorporating RRF into Neural Search
• Feature: Add Rank based combination technique
• Feature: Add custom weights for RRF

Footnotes

1. RFC: Design for Incorporating Reciprocal Rank Fusion into Neural Search ↩