KLUE (Korean Language Understanding Evaluation)

개요

KLUE(Korean Language Understanding Evaluation)는 한국어 자연어 이해(NLU) 능력을 평가하기 위한 종합 벤치마크다¹. 2021년 NAVER AI Lab, KAIST, 서울대, 연세대, Upstage, Kakao Enterprise 등 10여 개 기관과 31명의 연구자가 협력하여 개발했다.

KLUE는 8개의 다양한 NLU 과제와 데이터셋, 평가 지표, 그리고 사전 학습된 언어 모델(KLUE-BERT, KLUE-RoBERTa)을 포함한다. 모든 데이터는 저작권을 준수하며 처음부터(from scratch) 구축되어 누구나 제약 없이 접근할 수 있다.

배경 및 동기

한국어 NLP의 과제

한국어는 교착어(agglutinative language)로 복잡한 형태론적 특성을 가지며, 영어 중심의 NLP 연구 성과를 그대로 적용하기 어렵다. 기존 한국어 NLP 리소스는 다음과 같은 한계가 있었다:

• 저작권 문제로 접근이 제한적
• 다양한 과제를 포괄하지 못함
• 일관된 평가 프레임워크 부재
• 개인정보 보호 및 윤리적 고려 부족

KLUE의 설계 원칙

1. 과제 다양성: 8개의 서로 다른 NLU 과제 포괄
2. 접근성: 저작권 문제 없이 누구나 사용 가능
3. 정확한 어노테이션: 체계적인 주석 프로토콜과 품질 관리
4. AI 윤리: 개인정보 보호 및 편향 완화 고려

8가지 벤치마크 과제

1. Topic Classification (TC)

뉴스 헤드라인을 정치, 경제, 사회, 문화, 세계, IT/과학, 스포츠 등의 주제로 분류하는 과제다.

데이터셋 크기: 약 47,000개 샘플

2. Semantic Textual Similarity (STS)

두 문장의 의미적 유사도를 0(완전히 다름)부터 5(의미가 동일함)까지의 실수 값으로 평가하는 과제다.

데이터셋 크기: 약 11,000개 문장 쌍

3. Natural Language Inference (NLI)

전제(premise) 문장이 주어졌을 때 가설(hypothesis) 문장이 참(entailment), 거짓(contradiction), 또는 중립(neutral)인지 판단하는 과제다.

데이터셋 크기: 약 24,000개 문장 쌍

4. Named Entity Recognition (NER)

텍스트에서 인명(PS), 지명(LC), 기관명(OG), 날짜(DT), 시간(TI), 수량(QT) 등의 개체명을 인식하고 분류하는 과제다.

데이터셋 크기: 약 21,000개 문장

5. Relation Extraction (RE)

문장 내 두 개체 간의 관계를 추출하는 과제다. 예를 들어 “김철수는 서울대학교를 졸업했다”에서 (김철수, 졸업, 서울대학교) 관계를 파악한다.

데이터셋 크기: 약 33,000개 샘플

6. Dependency Parsing (DP)

문장의 구문 구조를 분석하여 단어 간 의존 관계(dependency)를 파악하는 과제다. 한국어의 복잡한 구조를 이해하는 데 필수적이다.

데이터셋 크기: 약 10,000개 문장

7. Machine Reading Comprehension (MRC)

지문을 읽고 주어진 질문에 대한 답을 지문에서 찾아내는 과제다. SQuAD와 유사한 형식이다.

데이터셋 크기: 약 17,000개 질문-답변 쌍

8. Dialogue State Tracking (DST)

대화 맥락에서 사용자의 의도와 필요한 정보(슬롯)를 추적하는 과제다. 챗봇이나 음성 비서 개발에 중요하다.

데이터셋 크기: 약 8,000개 대화

KLUE 사전 학습 모델

KLUE 프로젝트는 벤치마크와 함께 두 가지 사전 학습 언어 모델을 공개했다:

KLUE-BERT

BERT 아키텍처를 기반으로 한국어 데이터로 사전 학습한 모델이다.

모델 변형:

• KLUE-BERT-base: 12 레이어, 768 hidden units, 12 attention heads (약 1억 1천만 파라미터)
• KLUE-BERT-large: 24 레이어, 1024 hidden units, 16 attention heads (약 3억 4천만 파라미터)

KLUE-RoBERTa

RoBERTa 아키텍처를 기반으로 BERT의 학습 방식을 개선한 모델이다. NSP(Next Sentence Prediction) 과제를 제거하고 더 큰 배치와 학습 데이터를 사용한다.

모델 변형:

• KLUE-RoBERTa-small: 6 레이어, 768 hidden units (경량화 모델)
• KLUE-RoBERTa-base: 12 레이어, 768 hidden units
• KLUE-RoBERTa-large: 24 레이어, 1024 hidden units

성능

벤치마크 결과 KLUE-RoBERTa-large가 전반적으로 가장 높은 성능을 보였으며, 기존 다국어 모델이나 다른 한국어 모델들을 능가했다.

주요 특징

1. 저작권 준수

모든 데이터셋을 처음부터 구축하여 라이센스 문제 없이 연구 및 상업적 활용이 가능하다.

2. 개인정보 보호

개인 식별 정보(PII)를 제거하는 프라이버시 보호 기법을 적용했으며, 실험 결과 성능 저하가 거의 없음을 확인했다.

3. 윤리적 고려

데이터 수집 및 주석 과정에서 편향을 최소화하고, 윤리 가이드라인을 준수했다.

4. 재현 가능성

각 과제별로 상세한 평가 지표와 파인튜닝 레시피를 제공하여 연구 재현성을 높였다.

5. 토크나이제이션

BPE(Byte Pair Encoding)와 형태소 기반 사전 토크나이제이션을 결합하여 한국어의 형태론적 특성을 효과적으로 처리했다.

활용

연구

• 한국어 NLP 모델 개발 및 평가의 표준 벤치마크
• 새로운 언어 모델의 성능 측정 기준
• 다국어 모델의 한국어 성능 비교

산업

• 한국어 챗봇 및 대화 시스템 개발
• 검색 엔진 및 질의응답 시스템
• 감성 분석 및 문서 분류
• 정보 추출 및 지식 그래프 구축

교육

• 한국어 NLP 교육 자료
• 학생 및 연구자를 위한 학습 리소스
• 경진대회 및 공유 과제(shared task)

접근 방법

공식 웹사이트

https://klue-benchmark.com/에서 리더보드, 데이터셋, 논문 등을 확인할 수 있다.

GitHub

KLUE-benchmark GitHub에서 코드, 베이스라인 모델, 평가 스크립트를 제공한다.

Hugging Face

Hugging Face klue에서 사전 학습된 모델을 직접 사용할 수 있다:

• klue/bert-base
• klue/roberta-small
• klue/roberta-base
• klue/roberta-large

의의

KLUE는 한국어 NLP 연구의 이정표로 평가받는다:

1. 한국어 NLP 생태계 활성화: 접근 가능한 고품질 리소스 제공
2. 국제 수준의 벤치마크: GLUE, SuperGLUE, MMLU와 같은 영어 벤치마크에 필적하는 체계
3. 협업 모델: 학계와 산업계의 긴밀한 협력 사례
4. 윤리적 AI: 개인정보 보호와 편향 완화를 고려한 데이터셋 구축 방법론 제시
5. 재현 가능한 연구: 상세한 프로토콜과 코드 공개로 연구 투명성 확보

참여 기관

• 호스팅: Upstage
• 주요 연구 기관: NAVER AI Lab, KAIST, 서울대학교, NYU
• 협력 기관: 연세대학교, 고려대학교, 경희대학교, 한밭대학교, 서강대학교, Kakao Enterprise, Scatter Lab, Riiid
• 후원: Google, NAVER Clova, Upstage, Kakao Enterprise

참고 자료

• KLUE 논문 (arXiv)
• KLUE 논문 (NeurIPS 2021 Datasets and Benchmarks Track)
• KLUE 공식 웹사이트
• KLUE GitHub 저장소
• KLUE Hugging Face

Footnotes

1. Park, S., Moon, J., Kim, S., et al. (2021). “KLUE: Korean Language Understanding Evaluation”. arXiv:2105.09680. NeurIPS 2021 Datasets and Benchmarks Track. ↩