Dense Vectors (밀집 벡터)

개요

밀집 벡터(Dense Vector)는 대부분의 차원에 0이 아닌 의미 있는 값이 들어있는 저차원 벡터다. 신경망을 통해 학습되며, 의미적 유사성을 벡터 공간상의 거리로 표현한다.

일반적으로 100~1000 차원 정도의 상대적으로 낮은 차원을 가지며, 유사한 의미를 가진 데이터는 벡터 공간에서 가까이 위치한다. 현대 딥러닝 기반 자연어 처리와 추천 시스템에서 핵심적인 표현 방식으로 자리 잡았다.

특성

• 저차원: 보통 100~1000 차원
• 밀집성: 거의 모든 차원이 0이 아닌 값
• 학습 기반: 신경망이 데이터에서 자동으로 표현을 학습
• 의미 표현: 유사한 의미는 벡터 공간에서 가까운 위치에 배치
• 연속적: 실수 값으로 구성되어 미분 가능

생성 방법

Word2Vec

단어를 저차원 벡터로 매핑하는 초기 임베딩 기법이다. Skip-gram 또는 CBOW(Continuous Bag of Words) 방식을 사용하여 단어의 문맥을 기반으로 벡터를 학습한다.

유명한 예시로 “king - man + woman ≈ queen” 같은 의미적 연산이 가능하다. 2013년 Google이 발표하여 단어 임베딩의 대중화를 이끌었다.

주요 특징:

• Skip-gram: 중심 단어로 주변 단어를 예측
• CBOW: 주변 단어로 중심 단어를 예측
• 일반적으로 300차원 정도 사용

GloVe

Global Vectors의 약자로, 단어 동시 출현(co-occurrence) 통계를 활용하여 벡터를 학습한다. Word2Vec과 유사하지만 전역 통계 정보를 더 잘 활용한다.

Stanford NLP 그룹이 2014년 발표했으며, 단어 간 유사도와 유추 문제에서 우수한 성능을 보인다.

주요 특징:

• 전역 단어 동시 출현 행렬 기반
• 로그 이중선형 회귀 모델
• 사전 학습된 모델 공개 (Wikipedia, Common Crawl)

Transformer 기반 모델

BERT, GPT, Sentence-BERT 등 Transformer 아키텍처를 사용한 모델은 문맥을 고려한 풍부한 임베딩을 생성한다.

BERT (Bidirectional Encoder Representations from Transformers)

BERT는 양방향 문맥을 이해하여 같은 단어도 문맥에 따라 다른 벡터를 생성한다. 예를 들어, “은행에 가다”와 “강의 은행”에서 “은행”은 서로 다른 벡터를 가진다.

주요 특징:

• 사전 학습 + 미세 조정(fine-tuning) 방식
• 마스킹된 언어 모델링(MLM)
• 일반적으로 768차원 (BERT-base) 또는 1024차원 (BERT-large)

Sentence-BERT

문장 전체의 의미를 단일 벡터로 표현한다. BERT를 개선하여 문장 간 유사도 계산을 효율적으로 수행할 수 있다.

활용:

• 시맨틱 검색
• 문장 유사도 측정
• 텍스트 클러스터링

CLIP (Contrastive Language-Image Pre-training)

텍스트와 이미지를 같은 벡터 공간에 매핑하여 크로스모달 검색을 가능하게 한다. OpenAI가 2021년 발표했다.

주요 특징:

• 텍스트와 이미지의 공통 임베딩 공간
• 제로샷 이미지 분류 가능
• 멀티모달 검색 지원

Dense Passage Retriever (DPR)

질문-응답 시스템을 위해 설계된 모델로, 질의와 문서를 같은 밀집 벡터 공간에 인코딩한다. Facebook AI Research(FAIR)가 개발했다.

주요 특징:

• 질의 인코더와 문서 인코더 분리
• 대규모 문서 검색에 효과적
• HNSW 같은 근사 최근접 이웃 검색과 결합

장점

• 의미적 이해: 동의어, 유사 개념을 벡터 공간에서 가까운 위치에 배치한다
• 문맥 고려: Transformer 기반 모델은 단어의 문맥적 의미를 반영한다
• 효율적 표현: 낮은 차원으로 풍부한 정보를 압축한다
• 일반화 능력: 학습 데이터에 없던 새로운 표현도 처리 가능하다
• 전이 학습: 사전 학습된 모델을 다양한 태스크에 재사용 가능하다
• 수치 연산: 벡터 산술 연산으로 의미적 관계를 표현할 수 있다

단점

• 해석 어려움: 각 차원이 무엇을 의미하는지 명확하지 않다
• 학습 비용: 대규모 데이터와 컴퓨팅 자원이 필요하다
• 블랙박스: 왜 특정 결과가 나왔는지 설명하기 어렵다
• 정확한 매칭 약점: 키워드의 정확한 일치가 중요한 경우 희소 벡터보다 약할 수 있다
• 편향 위험: 학습 데이터의 편향이 임베딩에 반영될 수 있다

사용 사례

시맨틱 검색

질의의 의미를 이해하여 관련 문서를 찾는다. 사용자가 “파이썬으로 웹 크롤링 하는 방법”을 검색하면, “Python web scraping tutorial” 같은 문서도 높은 순위로 반환한다.

적용 분야:

• 문서 검색 엔진
• 코드 검색
• 법률/의료 문서 검색

추천 시스템

아이템과 사용자를 밀집 벡터로 표현하여 유사도 기반 추천을 수행한다.

예시:

• YouTube: 동영상과 사용자 임베딩
• Spotify: 음악과 사용자 취향 임베딩
• Netflix: 영화/드라마와 시청 패턴 임베딩

문서 분류

텍스트의 의미를 기반으로 카테고리를 분류한다. 감성 분석, 주제 분류, 스팸 필터링 등에 활용된다.

이미지-텍스트 매칭

CLIP 같은 모델을 사용하여 텍스트 설명으로 이미지를 검색하거나, 이미지로 관련 텍스트를 찾는다.

활용:

• 이미지 검색 엔진
• 자동 이미지 캡셔닝
• 시각적 질문 응답

질문-응답 시스템

질의와 관련 문서를 밀집 벡터로 인코딩하여 매칭한다. DPR, ColBERT 같은 모델이 대표적이다.

예시:

• 고객 서비스 챗봇
• 지식 베이스 검색
• 문서 기반 QA

다국어 NLP

다국어 BERT(mBERT), XLM-RoBERTa 같은 모델은 여러 언어를 같은 벡터 공간에 매핑하여 언어 간 전이 학습을 가능하게 한다.

희소 벡터와의 비교

밀집 벡터는 의미적 이해와 일반화 능력에서 강점을 가지지만, 해석 가능성이 낮고 학습 비용이 크다. 키워드의 정확한 매칭이 중요한 경우 희소 벡터가 더 적합할 수 있으며, 최근에는 두 방식을 결합한 하이브리드 접근이 주목받고 있다.

참고 자료

• Mikolov, T., et al. (2013). “Efficient Estimation of Word Representations in Vector Space” - Word2Vec 논문
• Pennington, J., et al. (2014). “GloVe: Global Vectors for Word Representation”
• Devlin, J., et al. (2018). “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”
• Reimers, N., & Gurevych, I. (2019). “Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks”
• Radford, A., et al. (2021). “Learning Transferable Visual Models From Natural Language Supervision” - CLIP 논문
• Pinecone: Dense Vector Embeddings for NLP