BERT (Bidirectional Encoder Representations from Transformers)

개요

BERT(Bidirectional Encoder Representations from Transformers)는 Google AI가 2018년 10월에 발표한 자연어 처리를 위한 언어 표현 모델이다¹. 트랜스포머(Transformer)의 인코더 부분만을 사용하며, 양방향(bidirectional) 문맥을 모두 고려하여 텍스트를 이해하는 것이 핵심 특징이다.

BERT는 대규모 텍스트 데이터로 사전 학습(pre-training)을 수행한 후, 하나의 추가 출력 레이어만으로 다양한 자연어 처리 과제에 파인튜닝(fine-tuning)할 수 있도록 설계되었다. 발표 당시 11개의 NLP 과제에서 최고 성능(state-of-the-art)을 달성하며 큰 영향을 미쳤다.

아키텍처

모델 구조

BERT는 트랜스포머의 인코더(encoder-only) 아키텍처를 사용한다. 초기에는 두 가지 크기의 모델이 공개되었다:

• BERT-BASE: 12개 레이어, 768 hidden units, 12 attention heads, 약 1억 1천만 개 파라미터
• BERT-LARGE: 24개 레이어, 1024 hidden units, 16 attention heads, 약 3억 4천만 개 파라미터

토크나이저

BERT는 WordPiece 토크나이저를 사용하며, 30,000개의 토큰 어휘를 가진다. 특수 토큰으로 [CLS](문장 시작), [SEP](문장 구분), [MASK](마스킹된 토큰)를 사용한다.

사전 학습 방식

BERT의 혁신은 두 가지 비지도 학습 과제를 통한 사전 학습 방식에 있다:

1. Masked Language Modeling (MLM)

• 입력 토큰의 15%를 무작위로 선택하여 예측하도록 학습
• 선택된 토큰 중:
  • 80%는 [MASK] 토큰으로 교체
  • 10%는 무작위 단어로 교체
  • 10%는 그대로 유지
• 이를 통해 양방향 문맥을 모두 활용하여 단어를 예측하는 능력 학습

2. Next Sentence Prediction (NSP)

• 두 문장이 연속적으로 나타나는지 예측하는 이진 분류 과제
• 50%는 실제 연속된 문장, 50%는 무작위로 선택된 문장 쌍
• 문장 간 관계를 이해하는 능력 학습

학습 데이터

BERT는 다음 데이터로 학습되었다:

• BookCorpus: 약 8억 단어
• 영어 Wikipedia: 약 25억 단어

BERT-BASE 모델은 16개의 TPU 칩으로 약 4일간 학습되었으며, 학습 비용은 약 $500로 추정된다.

성능

BERT는 발표 당시 여러 NLP 벤치마크에서 획기적인 성능 향상을 보였다:

• GLUE: 80.5% (7.7%p 향상)
• MultiNLI: 86.7% 정확도
• SQuAD: 질의응답 과제에서 큰 성능 개선

2020년 기준으로 BERT는 NLP 실험의 기본 베이스라인으로 자리잡았으며, 모델의 해석 가능성을 연구하는 “BERTology”라는 연구 분야까지 생겨났다.

주요 변형 모델

BERT의 성공 이후 다양한 변형 모델들이 개발되었다:

• RoBERTa: 학습 방식 개선 (NSP 제거, 더 큰 배치, 더 많은 데이터)
• DistilBERT: 지식 증류(knowledge distillation)를 통해 크기와 속도 개선
• ALBERT: 레이어 간 파라미터 공유로 모델 크기 감소
• ELECTRA: 생성적 적대 학습(GAN) 방식 적용

한국어 BERT 모델

KoBERT

SKT AI(구 SKT Brain)가 개발한 한국어 특화 BERT 모델이다. 구글의 다국어 BERT가 한국어에서 보이는 성능 한계를 극복하기 위해 개발되었다.

주요 특징:

• 학습 데이터: 한국어 Wikipedia (약 500만 문장, 5,400만 단어)
• 아키텍처: 12 레이어, 768 units, 512 max sequence length, 12 attention heads
• 어휘 크기: 8,002 토큰 (다국어 BERT보다 작음)
• 파라미터: 약 9,200만 개 (다국어 BERT는 1억 1천만 개)
• 토크나이저: SentencePiece (한국어 위키 데이터로 학습)
• 학습 환경: 32개 V100 GPU, Horovod 사용

성능:

• 네이버 감성 분석 데이터셋에서 90.1% 정확도 (다국어 BERT 87.5%)

지원 프레임워크:

• PyTorch, ONNX, MXNet-Gluon

KR-BERT

서울대학교 자연어처리 연구실에서 개발한 소규모 한국어 특화 모델이다².

주요 특징:

• 다국어 BERT보다 약 1/10 크기의 작은 코퍼스로 학습
• 한국어는 형태론적으로 풍부하면서 비라틴 문자 체계를 사용하는 저자원 언어
• 여러 토크나이저 실험 (음절 단위, 자소 단위 등)
• “BidirectionalWordPiece Tokenizer” 제안

성과:

• 작은 데이터셋으로도 기존 사전학습 모델과 동등하거나 더 나은 성능 달성
• 언어별 특성을 반영한 소규모 특화 모델의 효과성 입증

기타 한국어 BERT 모델

• KcBERT: 이준범이 개발한 모델로, 온라인 뉴스 댓글 데이터(2019-2020, 약 1억 1천만 문장)로 학습하여 구어체, 신조어, 비표준 표현을 잘 처리
• KoreALBERT: ALBERT 구조를 한국어에 적용한 경량화 모델
• KLUE: 한국어 자연어 이해 벤치마크 프로젝트의 일환으로 공개된 KLUE-BERT와 KLUE-RoBERTa 모델

영향과 의의

BERT는 자연어 처리 분야에 다음과 같은 영향을 미쳤다:

1. 전이 학습(Transfer Learning) 대중화: 사전 학습 후 파인튜닝하는 방식이 NLP의 표준이 됨
2. 양방향 문맥 활용: 이전 모델들(GPT 등)이 단방향이었던 것과 달리 양방향 문맥 활용
3. 개념적 단순성: 복잡한 과제별 구조 없이도 높은 성능 달성
4. 연구 생태계 형성: 수많은 BERT 변형 모델과 BERTology 연구 분야 생성

참고 자료

• BERT 논문 (arXiv)
• BERT 논문 (ACL Anthology)
• Google Research BERT GitHub
• Hugging Face BERT 문서
• KoBERT GitHub
• KR-BERT GitHub

Footnotes

1. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”. arXiv:1810.04805 ↩

2. Lee, S., Jang, H., Baik, Y., Park, S., & Shin, H. (2020). “KR-BERT: A Small-Scale Korean-Specific Language Model”. arXiv:2008.03979 ↩