Common Crawl (커먼 크롤)

개요

Common Crawl은 2007년 Gil Elbaz에 의해 설립된 501(c)(3) 비영리 조직으로, 웹을 크롤링하고 수집한 아카이브와 데이터셋을 무료로 공개하는 프로젝트다.¹ “오픈 웹 데이터의 대규모 추출, 변환, 분석을 연구자들이 접근할 수 있도록 만든다”는 미션을 가지고 있다.

역사 및 규모

Common Crawl은 2008년부터 정기적으로 웹 데이터를 수집해왔으며, 대략 월 1회 크롤링을 수행한다.² 15년 이상 축적된 데이터는 500억 개 이상의 웹 페이지를 포함하고 있으며, 매달 수억 개의 새로운 페이지가 추가된다. 전체 코퍼스는 페타바이트 규모에 달한다.

2012년부터 Amazon Web Services(AWS)에 호스팅되어 있으며, AWS Public Data Sets 프로그램을 통해 무료로 접근 가능하다.

기술 구조

크롤링 방식

Common Crawl은 2013년부터 Apache Nutch 웹크롤러를 사용하여 데이터를 수집한다. 크롤링 시 robots.txt와 nofollow 등의 웹 크롤링 정책을 준수한다.³

데이터 형식

수집된 데이터는 세 가지 주요 형식으로 제공된다:

• WARC 파일: 크롤링 원시 데이터로, 크롤링 프로세스를 직접 매핑한 형태
• WAT 파일: WARC 형식에 저장된 레코드의 중요한 메타데이터 포함
• WET 파일: 추출된 순수 텍스트만 포함

2013년 11월부터 기존 .arc 형식에서 .warc 형식으로 전환했다.

데이터 접근

Common Crawl 데이터는 누구나 무료로 접근할 수 있다:

• AWS S3 버킷 (s3://commoncrawl/)에서 제공
• HTTP(S)를 통해 다운로드 가능
• AWS 클라우드 내에서 직접 분석 가능
• URL 인덱스를 통한 코퍼스 검색 지원

언어 구성

Common Crawl은 다양한 언어를 자동으로 식별하여 분류한다. 언어별 데이터 분포는 다음과 같다:

주요 언어 비율 (2023년 3월 기준)

• 영어: 46%⁴
• 독일어, 러시아어, 일본어, 프랑스어, 스페인어, 중국어: 각 6% 미만
• 한국어: 약 0.75-0.78% (2025년 크롤 아카이브 기준)⁵

한국어 데이터

Common Crawl의 한국어 데이터는 비록 영어에 비해 적은 비중이지만, 다국어 자연어 처리 연구와 한국어 언어 모델 개발에 중요한 역할을 한다.

2025년 크롤 아카이브 통계:

• CC-MAIN-2025-30: 0.7753%
• CC-MAIN-2025-33: 0.7565%
• CC-MAIN-2025-38: 0.7754%

한국어는 Common Crawl의 중간 규모 언어군에 속하며, 일관되게 약 0.75-0.78%의 비율을 유지하고 있다.

파생 데이터셋

Common Crawl을 기반으로 한 여러 정제된 다국어 데이터셋이 개발되었다:

OSCAR (Open Super-large Crawled Aggregated coRpus)

151개 언어를 지원하는 다국어 코퍼스로, Common Crawl의 WET 파일에서 추출된 평문 텍스트를 기반으로 구축되었다. BLOOM 모델 등의 학습에 활용되었다.

OSCAR-2301 한국어 데이터⁶:

• 문서 수: 15,147,698개
• 단어 수: 3,435,866,935개 (약 34억 단어)
• 크기: 38.1 GB

mC4 (Multilingual C4)

101개 언어를 지원하는 대규모 정제 코퍼스로, Common Crawl의 71개 월별 크롤을 CLD3로 언어 식별하여 구축했다. 총 27TB에 달하며, mT5 모델의 학습에 사용되었다.

mC4 특징:

• 총 6.6억 페이지, 6.3조 토큰
• 한국어 포함 (구체적 크기는 공개 통계에서 확인 필요)
• 높은 품질의 정제된 텍스트 제공

활용 사례

Common Crawl과 파생 데이터셋은 다양한 분야에서 활용되고 있다:

• 연구: 10,000개 이상의 학술 논문에서 인용됨¹
• 자연어 처리: 웹 과학, 인터넷 검열, 언어 매핑, 프라이버시 분석 등
• AI 모델 훈련: OpenAI의 GPT-3, Google의 mT5, BigScience의 BLOOM 등 주요 언어 모델 학습에 사용됨³
• 다국어 모델: mC4(mT5), OSCAR(BLOOM) 등의 다국어 코퍼스를 통해 한국어를 포함한 저자원 언어 지원

커뮤니티 및 지원

Common Crawl은 활발한 연구 커뮤니티를 지원하며, 다음과 같은 리소스를 제공한다:

• 메일링 리스트, Discord, Hugging Face 등 커뮤니티 채널
• 크롤 통계 및 웹 그래프 분석 도구
• IBM의 GneissWeb 품질 및 카테고리 주석
• AI 에이전트를 통한 데이터 탐색 지원
• 옵트아웃 레지스트리 제공

또한 SURFsara와 협력하여 Norvig Web Data Science Award를 제공한다.

참고 자료

공식 리소스

• Common Crawl 공식 웹사이트
• Common Crawl Overview
• Common Crawl 언어 통계
• Common Crawl on Wikipedia
• Common Crawl on AWS Open Data

파생 데이터셋

• OSCAR-2301 (Hugging Face)
• mC4 (Hugging Face)
• mT5 논문 - mC4를 사용한 다국어 T5 모델

Footnotes

1. Common Crawl 공식 웹사이트 (https://commoncrawl.org) ↩ ↩²

2. Common Crawl Overview 페이지 (https://commoncrawl.org/overview) ↩

3. Wikipedia - Common Crawl (https://en.wikipedia.org/wiki/Common_Crawl) ↩ ↩²

4. Wikipedia - Common Crawl (https://en.wikipedia.org/wiki/Common_Crawl) ↩

5. Common Crawl 통계 페이지 (https://commoncrawl.github.io/cc-crawl-statistics/plots/languages) ↩

6. OSCAR-2301 데이터셋 (https://huggingface.co/datasets/oscar-corpus/OSCAR-2301) ↩