TF-IDF

개요

TF-IDF(Term Frequency-Inverse Document Frequency)는 문서 집합(코퍼스)에서 특정 단어가 한 문서 내에서 얼마나 중요한지를 나타내는 통계적 수치다. 정보 검색과 텍스트 마이닝에서 널리 사용되며, 단어의 중요도를 정량화하여 문서 표현, 검색 랭킹, 문서 분류 등에 활용된다.

TF-IDF의 핵심 아이디어는 다음과 같다:

• 특정 문서에서 자주 등장하는 단어는 그 문서를 잘 설명한다 (TF)
• 하지만 모든 문서에서 자주 등장하는 단어는 변별력이 떨어진다 (IDF)

구성 요소

TF (Term Frequency)

단어 빈도(Term Frequency)는 특정 문서에서 해당 단어가 등장하는 횟수를 나타낸다.

가장 단순한 형태는 원시 빈도(raw count)를 그대로 사용하는 것이다:

$$\text{tf}(t,d)=f(t,d)$$

여기서 $f(t,d)$는 문서 $d$에서 단어 $t$가 등장한 횟수다.

문서 길이의 영향을 줄이기 위해 정규화된 빈도를 사용하기도 한다:

$$\text{tf}(t,d)=\frac{f(t,d)}{{\sum }_{t^{\prime }\in d}f(t^{\prime },d)}$$

IDF (Inverse Document Frequency)

역문헌빈도(Inverse Document Frequency)는 단어가 전체 문서 집합에서 얼마나 희귀한지를 나타낸다. 모든 문서에 자주 등장하는 일반적인 단어는 낮은 가중치를, 특정 문서에만 등장하는 단어는 높은 가중치를 받는다.

$$\text{idf}(t,D)=\log \frac{N}{|\{d\in D:t\in d\}|}$$

• $N$: 전체 문서 수
• $|\{d\in D:t\in d\}|$: 단어 $t$를 포함하는 문서의 수

분모가 0이 되는 것을 방지하기 위해 스무딩을 적용한 변형도 있다:

$$\text{idf}(t,D)=\log \frac{N}{1+|\{d\in D:t\in d\}|}$$

TF-IDF 수식

TF-IDF는 TF와 IDF의 곱으로 계산된다:

$$\text{tfidf}(t,d,D)=\text{tf}(t,d)\times \text{idf}(t,D)$$

이 값은 다음과 같은 특성을 가진다:

• 문서 내에서 자주 등장하는 단어일수록 값이 크다
• 전체 문서 집합에서 흔한 단어일수록 값이 작아진다
• 특정 문서를 잘 설명하는 핵심 단어가 높은 값을 받는다

계산 예시

다음 3개의 문서로 구성된 문서 집합에서 “검색” 단어의 TF-IDF를 계산해보자:

• 문서 1: “머신러닝은 데이터를 학습한다”
• 문서 2: “정보 검색 시스템은 검색 알고리즘을 사용한다”
• 문서 3: “데이터 과학은 통계와 프로그래밍을 활용한다”

1단계: TF 계산

문서 2에서 “검색” 단어의 TF를 계산한다.

• 문서 2의 총 단어 수: 6개
• “검색” 등장 횟수: 2회

원시 빈도 방식:

$$\text{tf}(\text{"검색"},d_2)=2$$

정규화된 빈도 방식:

$$\text{tf}(\text{"검색"},d_2)=\frac{2}{6}=0.333$$

2단계: IDF 계산

전체 문서 집합에서 “검색” 단어의 IDF를 계산한다.

• 전체 문서 수 $N=3$
• “검색”을 포함하는 문서 수: 1개 (문서 2만 포함)

$$\text{idf}(\text{"검색"},D)=\log \frac{3}{1}=\log 3\approx 1.099$$

3단계: TF-IDF 계산

TF와 IDF를 곱하여 최종 TF-IDF 값을 구한다.

원시 빈도 기반:

$$\text{tfidf}(\text{"검색"},d_2,D)=2\times 1.099=2.198$$

정규화된 빈도 기반:

$$\text{tfidf}(\text{"검색"},d_2,D)=0.333\times 1.099=0.366$$

비교: 일반적인 단어

“데이터” 단어는 문서 1과 3에 등장한다 (총 2개 문서).

문서 1에서 “데이터”의 TF-IDF:

• $\text{tf}(\text{"데이터"},d_1)=1$
• $\text{idf}(\text{"데이터"},D)=\log \frac{3}{2}\approx 0.176$
• $\text{tfidf}(\text{"데이터"},d_1,D)=1\times 0.176=0.176$

“검색” (2.198)이 “데이터” (0.176)보다 훨씬 높은 TF-IDF 값을 가진다. 이는 “검색”이 특정 문서(문서 2)를 더 잘 설명하는 특징적인 단어임을 의미한다.

사용 사례

정보 검색

검색 엔진에서 질의어와 문서 간 유사도를 계산할 때 TF-IDF를 사용한다. 질의어에 포함된 각 단어의 TF-IDF 값을 기반으로 문서의 관련도를 평가한다.

문서 분류

기계 학습 기반 텍스트 분류에서 문서를 벡터로 표현할 때 TF-IDF를 특징(feature)으로 사용한다. 각 단어의 TF-IDF 값이 벡터의 차원을 구성한다.

키워드 추출

문서에서 중요한 키워드를 자동으로 추출할 때 TF-IDF가 높은 단어들을 선택한다.

문서 유사도 계산

두 문서의 TF-IDF 벡터 간 코사인 유사도를 계산하여 문서 간 유사성을 측정한다.

장단점

장점

• 단순하고 효율적: 계산이 간단하며 구현이 쉽다
• 해석 가능성: 각 단어의 중요도를 명확하게 수치화한다
• 언어 독립적: 모든 언어에 적용 가능하다
• 일반 단어 억제: “의”, “는” 같은 불용어의 영향을 자동으로 줄인다

단점

• 단어 순서 무시: Bag-of-Words 모델로 문맥과 어순 정보를 잃는다
• 동의어 미처리: “자동차”와 “차”를 별개로 취급한다
• 선형 TF: 단어 빈도가 증가할수록 선형적으로 가중치가 커져, 과도하게 반복된 단어가 지나치게 높은 점수를 받을 수 있다¹
• 희소성: 어휘 크기만큼의 차원을 가진 희소 벡터가 생성된다

TF-IDF의 발전

TF-IDF는 정보 검색의 초기 표준으로 자리 잡았으나, 현대 검색 시스템에서는 여러 개선 모델이 사용된다:

• BM25: TF-IDF를 확률적 모델로 발전시켜, 용어 빈도 포화와 문서 길이 정규화를 도입했다
• 밀집 벡터: Word2Vec, GloVe 등 밀집 벡터 표현 방식이 의미적 유사성을 더 잘 포착한다
• Transformer 기반 모델: BERT, GPT 등 문맥을 이해하는 딥러닝 모델이 등장했다

그럼에도 TF-IDF는 여전히 빠른 프로토타이핑, 베이스라인 모델, 특정 도메인에서 효과적으로 사용된다.

참고 자료

• Salton, G., & McGill, M. J. (1983). Introduction to Modern Information Retrieval
• Scikit-learn TF-IDF Vectorizer 문서
• Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval, Chapter 6

Footnotes

1. 이 문제를 해결하기 위해 BM25는 포화 함수를 사용하여 용어 빈도의 영향을 제한한다. ↩