Sparse Vectors (희소 벡터)

개요

희소 벡터(Sparse Vector)는 대부분의 차원이 0인 고차원 벡터로, 데이터를 수치적으로 표현하는 전통적인 방식이다. 각 차원은 명시적인 특징(예: 특정 단어, n-gram, 카테고리)에 대응되며, 해당 특징이 존재할 때만 0이 아닌 값을 가진다.

예를 들어, 어휘 크기가 10,000인 Bag-of-Words 벡터는 10,000차원을 가지지만, 특정 문서는 수백 개의 단어만 포함하므로 대부분의 값이 0이다. 희소 벡터는 전통적인 정보 검색과 텍스트 분류에서 널리 사용되어 왔다.

특성

• 고차원: 보통 수천에서 수만 차원
• 높은 희소성: 대부분의 값이 0 (보통 95% 이상)
• 명시적 표현: 각 차원이 알려진 특징에 직접 대응
• 해석 가능: 어떤 특징이 활성화되었는지 명확히 확인 가능

생성 방법

Bag-of-Words

단어의 등장 유무나 빈도를 벡터로 표현한다. 어휘 크기만큼의 차원을 가지며, 문서에 등장한 단어에 해당하는 차원만 값을 가진다.

예를 들어, 어휘가 [“사과”, “바나나”, “오렌지”]이고 문서가 “사과 바나나 사과”라면, 벡터는 [2, 1, 0]이 된다.

One-Hot Encoding

단 하나의 차원만 1이고 나머지는 모두 0인 극단적인 희소 벡터다. 주로 범주형 데이터를 표현할 때 사용된다.

예를 들어, 색상 [“빨강”, “파랑”, “초록”]에서 “파랑”은 [0, 1, 0]으로 표현된다.

TF-IDF

TF-IDF는 단어의 중요도를 반영한 가중치를 부여한 희소 벡터를 생성한다. 각 차원은 단어에 대응하며, 값은 TF-IDF 점수다.

문서에서 자주 등장하지만 전체 문서 집합에서는 드문 단어에 높은 가중치를 부여하여, 단순 빈도보다 의미 있는 표현을 제공한다.

N-gram

연속된 n개 단어의 조합을 특징으로 사용한다. 단일 단어보다 더 많은 문맥 정보를 담지만, 차원이 기하급수적으로 증가한다.

예를 들어, bi-gram (n=2)은 “머신 러닝”, “러닝 알고리즘” 같은 단어 쌍을 특징으로 사용한다.

BM25

BM25는 희소 벡터 기반의 확률적 랭킹 함수로, TF-IDF를 개선하여 용어 빈도 포화와 문서 길이 정규화를 적용한다.

장점

• 해석 가능성: 각 차원이 구체적인 특징(단어, n-gram)에 대응하여 모델 결정을 추적하기 쉽다
• 정확한 매칭: 키워드 기반 검색에서 정확한 일치를 찾는 데 유리하다
• 저장 효율성: 0이 아닌 값만 키-값 쌍으로 저장하면 메모리를 절약할 수 있다
• 구현 단순성: 복잡한 학습 없이 규칙 기반으로 생성 가능하다
• 도메인 지식 활용: 전문가가 정의한 특징을 직접 반영할 수 있다

단점

• 의미 이해 부족: “자동차”와 “차”를 완전히 다른 특징으로 취급한다
• 문맥 무시: 단어 순서나 문맥 정보를 잃는다
• 차원의 저주: 고차원으로 인해 거리 계산이 비효율적이다
• 희소성 문제: 새로운 단어나 드문 조합을 처리하기 어렵다
• 동의어 미처리: 유사한 의미의 단어들을 별개의 특징으로 간주한다

사용 사례

전통적 검색 엔진

키워드 기반 문서 검색에서 희소 벡터를 사용한다. 사용자가 입력한 검색어와 문서에 포함된 단어를 직접 매칭하여 결과를 찾는다.

정보 검색 랭킹

BM25 같은 알고리즘이 희소 벡터를 기반으로 검색 결과의 순위를 결정한다. Elasticsearch, Apache Lucene 등 주요 검색 엔진에서 기본 랭킹 함수로 사용된다.

특징 엔지니어링

전통적인 머신러닝 모델(예: Logistic Regression, SVM)의 입력 특징으로 희소 벡터를 사용한다. 텍스트 분류, 스팸 필터링, 감성 분석 등에 활용된다.

로그 분석

시스템 로그나 보안 이벤트에서 명시적 패턴을 탐지할 때 희소 벡터를 사용한다. 특정 키워드나 패턴의 출현을 추적하기에 적합하다.

추천 시스템

협업 필터링에서 사용자-아이템 상호작용 행렬을 희소 벡터로 표현한다. 대부분의 사용자가 소수의 아이템만 평가하므로 자연스럽게 희소한 구조를 가진다.

밀집 벡터와의 비교

희소 벡터는 명시적 특징 표현과 해석 가능성에서 강점을 가지지만, 의미적 이해가 부족하다. 이를 보완하기 위해 밀집 벡터가 개발되었으며, 최근에는 두 방식을 결합한 하이브리드 접근이 주목받고 있다.

참고 자료

• Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval, Chapter 6
• Elasticsearch: Sparse Vector Embedding
• Scikit-learn: Feature Extraction